DeepMind联合授课：牛津大学自然语言处理深度学习课程

选自牛津大学

参与：微胖

课程名称：用于自然语言处理的深度学习：2016-2017（Deep Learning for Natural Language Processing: 2016-2017）

课程链接：http://www.cs.ox.ac.uk/teaching/courses/2016-2017/dl/

授课教师：Phil Blunsom，牛津大学计算机科学副教授，DeepMind 研究者；他的研究方向包括：人工智能、机器学习、计算语言学、自然语言处理

Degrees：

• Schedule C1 (CS&P)—Computer Science and Philosophy

• Schedule C1—Computer Science

• Part C —Computer Science

• Schedule C1 —Mathematics and Computer Science

• Schedule C —MSc in Computer Science

学期：Hilary Term 2017

课程概述

这是一门自然语言处理的高级课程。自动处理语言输入并生成语言输出是实现通用人工智能的关键。人类交流固有的模糊性和噪音使得符号主义人工智能（symbolic AI）技术在表征和分析数据方面效果不佳。近期基于神经网络的统计学技术在自然语言处理方面技术取得了很多重大成功，也引发了人们对这一领域的商业和学术兴趣。

这门课程是一门应用课程，重点是使用 RNN 分析和生成语音和文本所取得的最新进展。我们也会介绍与机器学习模型相关的数学概念，并推导相关的优化算法。课程将覆盖神经网络在自然语言处理方面的各种应用，包括分析文本的潜在维度（latent dimensions）、语音转录为文本、语言间的翻译以及问答。这些主题会依照深浅水平（从了解用于序列语言建模的神经网络到了解用于转导（transduction）任务的条件语言模型，最后是将这些技术与其他机制结合起来用于先进的应用）依次展开。这些模型在 CPU 和 GPU 硬件上的实际实现将贯穿整个课程，并加以探讨。

本课程的授课老师为 Phil Blunsom，课程过程中还会与 DeepMind 的自然语言研究组进行合作，该研究组的成员包括：

• Phil Blunsom（牛津大学、DeepMind）

• Chris Dyer（卡内基梅隆大学、DeepMind）

• Edward Grefenstette（DeepMind）

• Karl Moritz Hermann（DeepMind）

• Andrew Senior（DeepMind）

• Wang Ling（DeepMind）

• Jeremy Appleyard（英伟达）

学习成果

修完这门课后，学生将会：

• 了解不同神经网络模型的定义

• 推导和应用用于这些模型的优化算法

• 了解注意机制的神经应用和序列嵌入模型，以及这些模块组件可以如何组合以构建出当下最先进的自然语言处理系统。

• 了解在针对语言数据实施可扩展神经网络模型所固有的硬件问题

• 能够实现和评估用于语言的常用神经网络模型

背景要求

这门课程会用到很多来自概率学、线性几何以及连续数学（Continuous Mathematics）方面的基础概念。学生应该掌握基础机器学习方面的知识，无论是从入门课程还是实践经验。本门课不需要语言学背景。课程的一个重要内容就是实践，所以参与这门课程的同学应该精通编程。

大纲

课程具体包括以下子主题

• 引介/结论：为什么神经网络可以用于语言，以及这门课如何能容纳更为广泛的内容：自然语言处理、计算语言学和机器学习

• 简单的 RNN ：模型定义；通过时间优化算法的反向传播；小规模语言建模和文本嵌入

• 高级 RNN：LSTM，门循环单元（GRU）；大规模语言建模，开放的词汇语言建模和语源学（morphology）

• 规模：minibatching 以及 GPU 实现问题

• 语音识别：用于声学模型和端到端语音模型的神经网络

• 序列到序列模型：从一个嵌入生成；注意机制；机器翻译；图片说明生成

• 问答：问答任务和范式；神经注意机制和用于问答的记忆网络

• 高级记忆：神经图灵机、堆栈以及其他结构

• 语言学模型：使用循环网络进行句法和语义分析

阅读书目

由于这篇课程内容是关于近期研究成果的，因此，并未有相关教科书。课后阅读主要是已发表的论文和网络材料。

授课资料下载地址：

https://github.com/oxford-cs-deepnlp-2017/lectures