Origin of Ray

一、线性回归的统计本质：高斯噪声与平方损失的渊源

线性回归并非简单“拟合直线”，而是基于概率假设的参数估计问题，其核心逻辑围绕“高斯噪声假设”与“最大似然估计”展开。

本文面向数学零基础的读者理解QKV机制的原理，并附加python代码，python的环境安装和语法不会过多介绍。

核心概念与核心问题

机器学习的核心目标是让模型发现泛化模式（能对未见过的数据有效预测），而非仅记忆训练数据。关键矛盾在于：模型在有限训练样本上学习时，可能出现 “无法捕捉数据规律” 或 “过度记忆训练噪声” 的问题，即欠拟合与过拟合，需通过合理模型选择平衡泛化能力。

现在让我们尝试自己实现一个多层感知机。 为了与之前softmax回归获得的结果进行比较， 我们将继续使用Fashion-MNIST图像分类数据集。

我们之前已经对线形模型有了一定的了解，现在我们可以开始对深度神经网络的探索。

就像我们从零开始实现线性回归一样， 我们认为softmax回归也是重要的基础，因此应该知道实现softmax回归的细节，这一篇博客可以与上一篇原理介绍的博客对照着看。

回归可以用于预测多少的问题。 比如预测房屋被售出价格，或者棒球队可能获得的胜场数，又或者患者住院的天数。

事实上，我们也对分类问题感兴趣：不是问“多少”，而是问“哪一个”：

• 某个电子邮件是否属于垃圾邮件文件夹？
• 某个用户可能注册或不注册订阅服务？
• 某个图像描绘的是驴、狗、猫、还是鸡？
• 某人接下来最有可能看哪部电影？

本节一起跟随李沐老师的课程动手学习线形回归的基本思想，并从零实现。

从这一篇博客开始介绍一些机器学习常用的算法的原理及其实战代码，本次博客介绍的是决策树以及从决策树上发展出来的随机森林和Gradient Boosting决策树

这篇博客简单梳理下机器学习的算法，训练方法和训练一个模型的步骤。