机器学习系列14：偏差与方差

在训练机器学习模型中，结果不能被很好地预测通常是因为高偏差(欠拟合)或高方差(过拟合)。把交叉验证集的代价函数和测试集的代价函数画在一个图像中：

左面红色部分为高偏差(欠拟合)，右边红色部分为高方差(过拟合)。

对于如下模型，线性回归正则化的代价函数为：

其中蓝色框为正则化项，λ 越大，代表对参数的惩罚就越大。

训练集代价函数 J_train (θ) 、交叉验证集代价函数 J_cv (θ) 和测试集代价函数 J_test (θ) 不需要加正则化项，如下：

对于正则化代价函数，通过不同的 λ 值计算出参数集 θ，然后计算出相应的交叉验证集代价函数 J_cv (θ) 和测试集代价函数 J_test (θ)。

将它们画在一张图像中：

你会发现，随着 λ 增加， J_test (θ) 在不断增大，也就是说拟合程度越来越差。λ 刚开始增加时， J_cv (θ) 先减小，表示正则化优化了多项式的拟合，泛化程度较好;但随着 λ 不断增加，多项式对数据的拟合也会越来越差。通过这个图像，就可以找出最佳拟合的位置。