机器学习面试点：最小二乘法从何而来？

点击上方关注，All in AI中国

作者：Tirthajyoti Sarkar

如果问题涉及最小平方损失函数的数学基础，你在机器学习面试中将会如何回答？
问题："为什么在回归机器学习任务中采用误差平方？"
回答："因为它将所有误差（残差）变成正数！"
问题："好的，为什么不使用更简单的绝对值函数| x |使所有的误差平方都成为正数？"
回答："啊哈，你想欺骗我。绝对值函数无处不在！"
问题："这对数值算法来说这并不重要。LASSO回归使用具有绝对值的术语并且可以处理。另外，为什么不是x或log（1 +x²）的4次幂？误差平方错误有什么特别之处？"
答："嗯......"

贝叶斯分析

请记住，对于机器学习中的所有棘手问题，如果你在论证中混合使用"贝叶斯"这个词，你可以迅速得到一个听起来很严肃的答案。

好的，我是在开玩笑。

但是，至少当我们试图用贝叶斯论点找出一个有监督学习问题的最可能的假设时，我们应该准备对流行的损耗函数的争论，如最小二乘法和交叉熵来自哪里。

继续阅读......

基础知识：贝叶斯定理和"最可能的假设"

贝叶斯定理可能是现代机器学习和人工智能系统中最具影响力的概率论特征。有关该主题的超级直观介绍，请参阅Brandon Rohrer的这篇精彩教程。而我关注的是方程式。

https://brohrer.github.io/how_bayesian_inference_works.html

这基本上告诉你在看到数据/证据（可能性）后更新信念（先验概率），并将更新的信念度分配给术语后验概率。你可以从一个信念开始，但每个数据点都会强化或削弱这种信念，并且你将一直更新假设。