我们在工作中经常遇到需要将词向量文件读取到内存，但是正常情况下，我们的单词个数都是数十万个，单词的向量都是几百维，所以导致文件比较大，动辄几个G，在读取文件的时候经常会比较慢，有没有什么办法能够加快读取文件的速度呢，接下来，本人将从如下几种方法，进行速度的

ELMO不同于glove，word2vec，后者们的思想是对于一个词语，用一个预训练好的模型，把一个词语变成一个固定不变的词向量表示，固定不变的意思就是，一旦我确定好了我的模型，确定好了我的语料库，那么这个词即将变成哪一个词向量表示就确定了。

本文介绍了NLP在文本相似性、文本分类、序列标注和语言生成中的重要成果。按照经验分析，对于通常的词向量的方法，余弦相似性相当于Pearson（线性）相关系数。因为实际中的值通常在0均值左右分布。在词相似度下，违反正态性假设使得余弦相似度特别不适合于GloV

一经公布，它便引爆了整个NLP界，其在11个主流NLP任务中都取得优异的结果，因此成为NLP领域最吸引人的一个模型。在文章利用bert-serving-server搭建bert词向量服务(一) 中，作者简洁明了地介绍了如何利用bert-serving-se

item2vec将用户的行为序列转化成item组成的句子，模仿word2vec训练word embedding将item embedding。基本思想是把原来高维稀疏的表示方式映射到低维稠密的向量空间中，这样我们就可以用这个低维向量来表示该项目(电影)，进

输入一个word，在字典里查找得到它对应的下标就是token，然后用该数字下标去lookup表查找得到该词对应的词向量(词嵌入)就是embedding. 词袋模型就是将句子分词，然后对每个词进行编码，常见的有one-hot、TF-IDF、Huffman编码

和实践中读取文件内容概括总结出来的。Lucene 的数据域在内存中组织成Document和Field数据结构。每次建立索引的Document对象都可能拥有不同的Fields，而查询的时候，也可以通过查询词找到文档的相关Fields信息(这些Fields在创

word2vec是用一个一层的神经网络把one-hot形式的词向量映射为分布式形式的词向量，为了加快训练速度，用了Hierarchical softmax，negative sampling 等trick。词向量首先是词向量，图像和音频等信号都可以用一个矩

本文的代码请点击这里。在过去的几个月中，我对深度学习非常着迷，特别是它在自然语言处理中的应用。我作为一名“深度学习”的爱好者时，对于深度学习我没有很深入的了解。为什么股票预测与 NLP 存在关联性？在很多的 NLP 问题中，我们最终会把序列编码成一个固定大

10 月19 日，腾讯 AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含 800 多万中文词汇。腾讯 AI Lab 表示，相比现有的公开数据，该数据在覆盖率、新鲜度及准确性上大幅提高，为对话回复质量预测和医疗实体识别等自然语言处理方向的业务

本文约1200字，建议阅读6分钟。本文为你介绍鹅厂近期正式开源的一个大规模、高质量的中文词向量数据集。又一来自腾讯AI实验室的资源帖。该数据集包含800多万中文词汇，相比现有的公开数据，在覆盖率、新鲜度及准确性上大幅提高。在对话回复质量预测、医疗实体识别等

在NLP社区中曾流行着这样一个玩笑，说是一个带注意力机制的LSTM模型在任何的NLP任务上的表现都是最好的。虽然这在过去的两年中确实如此，但这个模型已经成为了现在标准的baseline，随着NLP社区的逐步发展，大家开始转向使用其他更加有趣的模型。词向量技

说明：本文为斯坦福大学CS224d课程的中文版内容笔记，已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表。超参数影响下的类比评价任务。人类决策和词向量距离的相关性。结合上下文处理歧义。它们用来训练和发现词汇在语义空间中的向量表示。一个

在图像领域，最流行的 building block 大多以卷积网络为主。上一篇我们介绍了如何在 PaddleFluid 和 TensorFlow 上训练图像分类任务。卷积网络本质上依然是一个前馈网络，在神经网络基本单元中循环神经网络是建模序列问题最有力的工

作为搜索引擎起家的科技巨头，谷歌曾推出过很多有意思的搜索工具。昨天，这家公司的研究机构发布了一款基于人工智能的搜索引擎，该实验项目可以让普通人也能感受最新语义理解和自然语言处理技术的强大能力：它们是目前人工智能技术发展的重要方向。值得一提的是，《奇点临近》

双十一购物狂欢节马上又要到来了，最近各种关于双十一的爆品购物列表在网上层出不穷。如果是网购老司机，一定清楚通常一件商品会有很多维度的标签来展示，比如一个鞋子，它的商品描述可能会是这样的“韩都少女英伦风系带马丁靴女磨砂真皮厚底休闲短靴”。如果是一个包，那么它

本篇文章是我在读期间，对自然语言处理中的文本相似度问题研究取得的一点小成果。如果你对自然语言处理 和卷积神经网络有一定的了解，可以直接看摘要和LSF-SCNN创新与技术实现部分。如果能启发灵感，应用于更多的现实场景中带来效果提升，那才是这篇文章闪光的时刻

今日，腾讯AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含800多万中文词汇，相比现有的公开数据，在覆盖率、新鲜度及准确性上大幅提高，为对话回复质量预测和医疗实体识别等自然语言处理方向的业务应用带来显著的效能提升。针对业界现有的中文词向量公

前言自然语言处理，是研究计算机处理人类语言的一门技术，NLP技术让计算机可以基于一组技术和理论，分析、理解人类的沟通内容。2013年末谷歌发布的word2vec工具，将一个词表示为词向量，将文字数字化，有效地应用于文本分析。2016年谷歌开源自动生成文本摘

作为对循环神经网络的实践，我用循环神经网络做了个影评情感的分类，即判断影评的感情色彩是正面的，还是负面的。虽然可以提取特征词向量，然后交给传统机器学习模型或全连接神经网络去做，也能取得很好的效果，但只从端对端的角度来看的话，RNN无疑是最合适的。按照机器学