机器学习系列8：逻辑回归的代价函数

机器学习系列8：逻辑回归的代价函数

还记得我们原来在线性回归中学过的代价函数吗?

我们把黄色部分用函数的形式来表示：

如果我们在逻辑回归中也用这个代价函数去拟合参数行不行呢?答案是不行。因为这个代价函数在逻辑回归中的图像是这个样子的：

这是一个非凸函数，有多个局部最优解，运用梯度下降算法并不会收敛到它的全局最优解，这样就达不到我们预期的效果。那该怎么办呢?让我们来学习逻辑回归中的代价函数吧。

逻辑回归的代价函数是这样的：

让我们具体的看一下它的工作原理。

当 y = 1 时，Cost(hθ(x), y) 函数的图像是一个对数函数，如下：

其中 hθ (x) 是我们预测的值，它的范围在 [0, 1] 区间。当我们预测值 hθ (x) =1 时，此时与真实值 y 相同，预测正确，那么它的代价值就为 0;当我们预测值 hθ (x) = 0 时，此时与真实值 y = 1 恰恰相反，预测错误，那么这个代价就是无穷大的(是不是很直观形象呢)。

当 y = 0 时 Cost(hθ (x), y) 的图像如下，其工作原理与 y = 1 相同。可以自己思考一遍这个过程。

上面代价函数的书写形式是一个分段函数，我们可以简化一下这个代价函数：

这个形式与上面那个等价。

我们如何自动地去拟合参数 θ 呢?你是不是想到了我们之前在线性回归中学到的减小代价函数去拟合参数 θ 的方法——梯度下降。在逻辑回归中，我们依然可以运用这个方法。

与之前线性回归不同的是，这里的 hθ (x) 变成了逻辑回归算法的假设函数 hθ (x) 。