ELMO不同于glove，word2vec，后者们的思想是对于一个词语，用一个预训练好的模型，把一个词语变成一个固定不变的词向量表示，固定不变的意思就是，一旦我确定好了我的模型，确定好了我的语料库，那么这个词即将变成哪一个词向量表示就确定了。

过去几年一直是人工智能爱好者和机器学习专业人士的梦想之旅。这些技术已经从一个概念发展成为将会席卷未来的潮流，并且正在影响着今天的数百万人的生活。各国现在都有专门的人工智能部门和预算，以确保他们在这场比赛中保持相关性。数据科学专业人员也是如此。但2018年确

摘要：回顾2018，展望2019，计算机科学技术继续前进！因为这些技术已经发展成为主流，并且正在影响着数百万人的生活。各国现在都有专门的人工智能规划和预算，以确保在这场比赛中保持优势。数据科学从业人员也是如此，这个领域正在发生很多事情，你必须要跑的足够的快

本文比较了Bert的不同应用模式，并分析了可能的NLP创新路径。最近两个月，我比较关注Bert的领域应用现状，以及Bert存在哪些问题及对应的解决方案。于是，收集了不少相关论文，正在梳理这两个问题，并形成了两篇文章。首先搞清楚这些问题其实是很重要的，因为这

摘要： 回顾2018，展望2019，计算机科学技术继续前进！因为这些技术已经发展成为主流，并且正在影响着数百万人的生活。各国现在都有专门的人工智能规划和预算，以确保在这场比赛中保持优势。数据科学从业人员也是如此，这个领域正在发生很多事情，你必须要跑的足够的

摘要： 图解，2018年自然语言处理领域最成功的方向！2018年是自然语言处理的转折点，能捕捉潜在意义和关系的方式表达单词和句子的概念性理解正在迅速发展。此外，NLP社区已经出现了非常强大的组件，你可以在自己的模型和管道中自由下载和使用。在这个时刻中，最新

如今，人工智能技术已经从小众发展成为主流，并且正影响着数百万人的生活。从数据科学从业者的角度来看，人工智能的一些关键领域取得了哪些突破？2018年发生了什么，2019年将会发生什么？读读这篇文章来了解一下吧！但2018年对于NLP来说确实是一个分水岭。UL

本人认为ELMo的提出对后面的的GPT和BRET有一个很好的引导和启发的作用。ELMo是一种是基于特征的语言模型，用预训练好的语言模型，生成更好的特征。ELMo的假设前提一个词的词向量不应该是固定的，所以在一词多意方面ELMo的效果一定比word2vec要

最近，在自然语言处理领域中，使用语言模型预训练方法在多项NLP任务上都获得了不错的提升，广泛受到了各界的关注。就此，我将最近看的一些相关论文进行总结，选取了几个代表性模型和大家一起学习分享。具体来说，语言模型的作用是为一个长度为m的文本确定一个概率分布P，