资源|斯坦福最新NLP课程上线,选择PyTorch放弃TensorFlow
整理 | Jane
出品 | AI科技大本营
今天在斯坦福大学 2019 年冬季 CS224n 最新课程已经正式更新到官网啦。新一年,大家可以开始跟着名校课程学起来啦~今年一个非常大的变化就是所有内容实现都使用 PyTorch,不再使用 TensorFlow。内容设计方面新增了 Transformers、Subword Models、Human Language 等内容。
下面,营长就先从课程简介、需要哪些知识储备、往年课程回顾等几个重要内容为大家介绍一下~
关于 CS224n
近年来,深度学习方法在不同的 NLP 任务中都有着很好的表现,NLP 技术的应用也越来越多。在本课程中,大家可以深入了解深度学习在 NLP 中的前沿研究与最新进展。通过学术讲座、定期作业和最终项目,大家可以学习到设计、部署神经网络所必备的技能,并且深入理解神经网络。与往年不同,今年的课程选择使用 PyTorch,不再使用 TensorFlow 了。
前期知识准备
1.Python:在课程中肯定离不开 Numpy 和 Pytorch,所以对 Python 和 Numpy 不熟悉的同学们,要赶紧学习一下了。当然,如果掌握其他的编程语言,如 C、C++、Java、JS 或 Matlab 等,也会有所帮助。
补习 Python 和 Numpy:http://cs231n.github.io/python-numpy-tutorial/2.数学基础:微积分和线性代数;掌握矩阵、向量符号运算等。
3.概率论与数理统计基础:了解概率论的基础知识,如高斯分布、均值、标准差等。
4.机器学习基础知识:有一定的机器学习或深度学习知识,在课程学习中肯定有所帮助。不过没有基础的同学也不用气馁,只要你想学,现在学习资源很多,只要想学还是可以掌握一定的基础内容的。
课程信息
1.讲座:每周二、周四 下午 4:30--5:50
2.授课讲师:
3.每周课程内容
营长列出了官网给出的每周上课的主要内容,同时也给出了一些推荐阅读,营长每年看到这些课程和推荐阅读的时候,都真心感慨,“唉,这一年想好好学习,真心压力不小啊!”
第 1 周(1 月 8 日、周二):词向量 1
第 2 周(1 月 10 日、周二):词向量 2
第 3 周(1 月 15 日、周二):反向传播
第 4 周(1 月 17 日、周四):神经网络
第 5 周(1 月 22 日、周二):依存性解析
第 6 周(1 月 24 日、周四):RNN 网络和语言模型
第 7 周(1 月 29 日、周二):梯度消失与 RNNs 变式
第 8 周(1 月 31 日、周四):机器翻译、 Seq2Seq 模型与注意力机制
第 9 周(2 月 5 日、周二):终期项目实践技巧
第 10 周(2 月 7 日、周四):确定终期项目
第 11 周(2 月 12 日、周二):NLP 的 ConvNets
第 12 周(2 月 14 日、周四):Subword 模型
第 13 周(2 月 19 日、周二):语境表征和预训练
第 14 周(2 月 21 日、周四):Transformer 模型
第 15 周(2 月 26 日、周二):NLG
第 16 周(2 月 28 日、周四):指代消解
第 17 周(3 月 5 日、周二):树循环网络与选区解析
第 18 周(3 月 7 日、周四):TBD
第 19 周(3 月 12 日、周二):安全、偏见与公平等问题
第 20 周(3 月 14 日、周四):NLP、深度学习的未来
4.福利
下面这些学习资料都可以在线免费阅读!这些书籍、PPT 都可以在大家学习过程中起到作用:
- https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1184/syllabus.html
- https://web.stanford.edu/~jurafsky/slp3/
- https://github.com/jacobeisenstein/gt-nlp-class/blob/master/notes/eisenstein-nlp-notes.pdf
- http://u.cs.biu.ac.il/~yogo/nnlp.pdf
- http://www.deeplearningbook.org/
如果没有神经网络或者深度学习基础或者背景,可以先从下面这两本书入门:
- http://neuralnetworksanddeeplearning.com/
- https://mitpress.mit.edu/books/introduction-deep-learning
往年课程资源
斯坦福大学 2019 年冬季课程 CS 224n 最初开设于 2017 年,由 CS224n(Natural Language Processing) 和 CS 224d(Natural Language Processing with Deep Learning)两门课程合并。在课程官网上,还可以看到给出的往年课程资源,大家可以到课程主页上找到很多学习资料哦~
2018 年冬季课程、报告:
https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1184/https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1184/reports.html2017 年冬季课程、报告:
https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1174/https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1174/reports.html更早之前的课程:
http://cs224d.stanford.edu/reports_2016.htmlhttps://web.stanford.edu/class/archive/cs/cs224n/cs224n.1162/https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1184/(原文)2019 年最新课程全介绍:http://web.stanford.edu/class/cs224n/(*本文由AI科技大本营整理,转载请联系微信1092722531)