资源｜多伦多大学“神经网络与机器学习导论”2017年课程表
翻译 | AI科技大本营（rgznai100）
Hinton大神独步天下的人工智能课程——多伦多大学“神经网络与机器学习导论”，2017年课程表上线了。
你可能没学过这门课，但了解机器学习的你一定有听过这门课的大名。今年冬季学期，这门课将交由多伦多大学助理教授Roger Grosse主讲。
如果你还不知道这位教授，请一定要了解一下他在Google Brain实习的本科学生Aidan Gomez，AI100对此做过专门报道：牛！他本科没毕业就进入Google Brain，还发表了最火的深度学习顶级论文... 你呢？
闲话少说，我们直接来看 CSC321 "Intro to Neural Networks and Machine Learning" 的课程表：
http://www.cs.toronto.edu/~rgrosse/courses/csc321_2017/
第1课：导论
什么是机器学习，什么是神经网络，它们能够做什么？
监督式学习、非监督式学习、以及强化学习呢？
本课程的组织安排。
第2课：线性回归
线性回归，一种监督式学习模型，通过它你可以预测得到一个目标值。
以最优化问题的形式呈现它，并且通过直接求解方程或者梯度下降算法进行求解。
向量。特征映射和多项式回归。泛化：过拟合、欠拟合、验证。
第3课：线性分类
二元线性分类。线性分类器可视化。感知器算法。线性分类器的局限性。
第4课：分类器学习
二元分类器损失函数比较。
交叉熵损失、Logistic激活函数、Logistic回归。
Hinge 损失。多向分类。凸损失函数。梯度检验。
第5课：多层感知机
多层感知机。激活函数比较。
把深度神经网络视为函数和特征学习。
线性神经网络的局限性和非线性网络的普适性。
第6课：反向传播算法
反向传播算法，一种用于计算梯度的方式，在整个课程中我们都会用到它。
第7课：优化
如何使用反向传播算法得到的梯度。
损失函数特征：局部最优解，鞍点，平顶，低谷。
随机梯度下降算法和momentum算法。
第8课：自动微分法
由助理教授David Duvenaud授课
第9课：泛化
偏差/方差分解，数据增强，限制模型复杂度，提起结束，权重衰减，集成算法，随机正则化，超参数优化。
第10课：分布式表征
语言模型，n-gram模型，神经网络语言模型（一种分布式表征），skip-grams （另一种分布式表征）
第11课：卷积神经网络
卷积操作。卷积层和池化层。等变异数和不变性。
卷积神经网络的反向传播算法规则。
第12课：图像分类
卷积神经网络架构在手写数字和物体分类方面的应用。
卷积神经网络大小的测量。
第13课：玩转卷积网络
卷积神经网络可视化：导向型反向传播算法，输入数据梯度下降。
Deep Dream。神经网络风格迁移。
第14课：递归神经网络
递归神经网络。时间轴上的反向传播。
递归神经网络在语言模型和机器翻译中的应用。
第15课：梯度爆炸和消失
为什么递归神经网络梯度会爆炸或者消失，从两个角度进行分析：第一，反向传播机制；第二，递归神经网络计算的函数。
对应的措施：梯度裁剪、输入反转、LSTM
第16课：ResNet与Attention
深度残差网络。
基于Attention模型在机器翻译和字幕生成方面的应用。
神经网络图灵机。
第17课：学习概率模型
最大似然估计。贝叶斯参数估计基础和最大化后验估计。
第18课：混合模型
K-means。混合模型：后验推断和参数学习
第19课：玻尔兹曼机
玻尔兹曼机：定义；边缘和条件概率；参数学习。受限玻尔兹曼机。
第20课：自编码机
主成分分析；自编码机；逐层训练；将自编码机应用于文件和图像的获取
第21课：贝叶斯超参数优化
贝叶斯线性回归；贝叶斯优化
第22课：对抗学习
对抗学习案例；生成式对抗网络（GANs）
第23课：围棋
“AlphaGo人机对战”
怎么样，看到最后一节AlphaGo有没有眼前一亮的感觉？这就是紧跟技术发展的国外课程，跟国内不一样的地方。
当然，如果你还是怀念Hinton大神的亲自讲授，你总是可以找到他的Coursera页面：https://www.coursera.org/learn/neural-networks