3类函数

• 凸函数

• 凹函数

• 其他类别函数

函数性质

• 凸函数：凸函数的任何极小值也是最小值。严格凸函数最多有一个最小值。
• 凹函数：凹函数的任何极大值也是最大值。严格凹函数最多有一个最大值。
• 非凹凸函数：有多个极大极小值，只有局部最优解

机器学习的任务

• 机器学习的任务可以理解成下图：从一堆输入，经过处理，得到想要的输出

• 这个机器学习任务流程，可以抽象成函数：y=f(x)，x为输入，y为理想的输出
• 于是乎，机器学习就可以看作是求函数y=f(x)的最优解了

损失函数（ loss）的引入

• 所谓的损失函数，就是用来衡量预测值和实际值之间的误差
• 我们的目标就是，找到使损失函数达到最小值时候的参数

过拟合和欠拟合问题

• 判断机器学习是否执行得好，有以下2个目标：

-- 使训练错误率尽可能低（可以通过神经网络，函数逼近的方法）
-- 使训练错误率与测试错误率的差距尽可能小（可以用正则化的方法）

• 欠拟合：训练错误率比较高
• 过拟合：测试错误率与训练错误率差距比较大

训练

• 我们的目标是，找到使损失函数达到最小值时候的参数
• 此时，我们可以对损失函数进行求导（导数也成为梯度），寻找极值，常用的方法有：随机梯度下降（SGD）
• 训练就是不断寻找使损失函数达到最小值时候的参数的过程，因为一般的函数具有多个局部最优解