就业市场上，机器学习工程师总是受到质疑，人们不相信他们数学功底深厚。事实上，所有机器学习算法的本质都是数学问题，无论是支持向量机、主成分分析还是神经网络最终都归结为对偶优化、谱分解筛选和连续非线性函数组合等数学问题。只有彻底理解数学，才能正真掌握这些机器学
L2的作用是防止参数太大。假设神经网络表达式如下。使用绝对值损失，对应的y‘是true label. 加入L2损失，损失函数变为如下。按照链式求导法则，损失L对W的导数如下：。新参数的更新如下：。同理可以对bias有L2损失。
最近，Ian Goodfellow不断在推特和大家分享一写学习的小技巧。在昨天和大家分享了推导机器学习公式推导的黑魔法后，今天又连发几条推特，和大家分享了数学中求导数的小技巧。Goodfellow称，他最喜欢用超实数来求导数。对于这个技巧，我们介绍一种新的
安科网(Ancii)，中国第一极客网
Copyright © 2013 - 2019 Ancii.com
京ICP备18063983号-5 京公网安备11010802014868号