机器学习算法概述第一章——线性回归
一、机器学习是什么
机器学习是人类用数学的语言通过大量的数据训练"教会"计算机做出一系列的行为。
二、机器学习的主要算法
①线性回归算法
衍生的：正则化
②逻辑回归算法
③KNN算法
衍生的KD-tree
三、算法介绍
①线性回归算法
运用线性模型y=ax+b，去拟合数据集，进行数据集的预测。在算法中，X为特征向量，即y的影响因素，w与b为可调整的模型参数。为了方便记忆，W=(w1,w2,w3,…wn,b),X=(x(1),.....x(n)
待估参数的值可以用两种方法：极大似然估计，最小二乘法
关于最小二乘法的注意事项：
原理：
还有批量梯度下降法（BGD）：使用所有样本的梯度值作为当前模型参数θ的更新
随机梯度下降算法(SGD)：使用单个样本的梯度值作为当前模型参数θ的更新
优先选择SGD，因为速度快，但是很少情况下效果比BGD差一些，其他在此不作叙述
小批量梯度下降法（MBGD）：
MBGD中丌是每拿一个样本就更新一次梯度，而且拿b个样本(b一般为10)的平均梯度作为更新方向
梯度下降法调优策略：
目标函数：
线性回归一般用于预测连续值变量，如房价预测问题。参数w是特征所占的权重，w的更新，一般可选用梯度下降等相关优化方法。因为预测值为连续变量且MSE对特征值范围变化比较敏感，所以一般情况下对会对特征进行归一化处理。
正则化/惩罚项
正则化的作用：
所谓稀疏模型就是模型中很多的参数是0，这就相当于进行了一次特征选择，只留下了一些比较重要的特征，提高模型的泛化能力，降低过拟合的可能。
使用L2的回归叫做岭回归，Ridge回归
使用L1的回归叫做Lasso回归
L1与L2同时使用的叫弹性网络（没什么卵用）
Ridge与LASSO的选择：
Ridge模型具有较高的准确性、鲁棒性以及稳定性(冗余特征已经被删除了)；
LASSO模型具有较高的求解速度。
模型效果判断：
线性回归总结：
