机器学习心得

机器学习模型的成分

一个机器学习的模型需要有三部分组成：hypothesis + loss function (learning criteria) + optimization。
model representation 也可以叫 hypothesis 就是一个数学函数。这个函数形如 \(h_\theta (x) = f(x, \theta )\)，注意，\(\theta\) 在这个里面是常量，\(x\) 是自变量。hypothesis 就是一个从特征空间到标记空间的映射。
loss function 也可以叫 learning criteria，顾名思义，学习标准的含义就是算法是要根据这个函数来学习训练的。loss function 也是一个函数，但是它与 hypothesis 不同，它是关于 \(\theta\) 的函数。它的意义在于寻找出一组基于给定样例最合适的参数。
optimization 是用来优化 learning criteria 的方法。
很明显，一个机器学习模型最关键的就是如何建立符合现实问题的假设，以及如何根据实际需求对模型预测结果与真实结果之间的差异设计损失函数。

计算模型假设的损失函数的思路

一个模型假设 \(h_\theta (x)\) 是针对单样本而言的，也就是说其中 \(\textbf{x} = [x_1; x_2; ...; x_d]\)。那么一个模型假设在整个数据集上造成的损失可以认为是该假设在每个样本上所造成的损失的均值。即 \(J(\theta) = \frac{1}{n} \sum_{i=1}^{n} each\_loss(h_\theta (x_i), y_i)\)，继而我们只需要具体设计单个样本上的损失函数计算。单个训练样本上的损失是一个模型的 loss function，在整体数据集上的损失是 cost function。