NLTK 自然语言工具包

NLTK 自然语言工具包

LingPipe Java自然语言处理

LingPipe是一个自然语言处理的Java开源工具包。LingPipe目前已有很丰富的功能，包括主题分类、命名实体识别、词性标注、句题检测、查询拼写检查、兴趣短语检测、聚类、字符语言建模、医学文献下载/解析/索引、数据库文本挖掘、中文分词、情感分析、语言辨别等API。

DKPro Core

DKPro Core 是基于 Apache UIMA 框架之上的自然语言处理的软件组件。DKPro Core 提供了这样的第三方工具以及原NLP组件的包装。DKPro核心建立在很大程度上uimaFIT可以快速方便的开发NLP处理管道。DKPro Core is a collection of software components for natural language processing based on the Apache UIMA framework. Many powerful and st

UBY 自然语言处理

UBY是一个大规模的统一的文章资源,为自然语言处理基于ISO标准词汇标记框架。

国产 simhash simhash算法库

专门针对中文文档的simhash算法库简介此项目用来对中文文档计算出对应的 simhash 值。simhash 是谷歌用来进行文本去重的算法，现在广泛应用在文本处理中。hpp风格，所有源码都是.hpp文件里面，方便使用。没有链接，就没有伤害。不用多久，我就会升职加薪，当上总经理，出任CEO，走上人生巅峰。关键词序列是:["蓝翔:11.7392","CEO:11.7392","升职:10.8562","加薪:10.6426",&q

Lango 自然语言处理库

Lango 自然语言处理库

LexVec Go 的自然语言处理

LexVec 是 Go 实现的自然语言处理，类似 Google 的 Word2vec。是一个将单词转换成向量形式的工具。可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度。

jsimpledb 自然语言持久化框架

jsimpledb 是Java的更好持久层。主流的持久性解决方案，如JPA和JDO无法解决固有的持久性编程的许多重要问题。因为它们不是设计来解决这些问题;他们仅仅是为了给Java程序员利用现有的数据库功能。<dependencyorg="org.jsimpledb"name="jsimpledb"/>不管你想使用什么key/value存储，你都应该添加key/value存储：

国产 Z-Compile-Core Z 语言编译器核心项目

SLING 自然语言框架语义解析器

SLING 是 Google 开源的一个自然语言框架语义解析器，用于自然语言理解任务中将自然语言文本直接解析成语义表示——语义框架图。SLING 能有效避免级联效应，减少了不必要的计算开销。SLING 使用一种专用的循环神经网络模型，通过对框架图的增量编辑操作对输入文本的输出表示进行计算。SLING目前还处于实验阶段，但得益于高效的框架存储和神经网络编译器，它在台式机 CPU 上能实现超过 2500 符号/秒的解析速度。

推荐 ClearTK NLP 自然语言处理框架

ClearTK 提供一个 Java 的用来开发基于统计的 NLP 自然语言处理框架。基于 Apache UIMA 构建，由科罗拉多大学的计算语言与教育研究中心开发。

国产 nlp-lang nlp 项目常用工具包

LASER 可探索大量多语言句子表征形式的工具

LASER 是个计算和使用多语言句子嵌入的库，为的是加速自然语言处理在多语言上进行的零样本迁移。极快的性能，能在 GPU 上每秒处理多达 2000 个句子。句子编码器是在 PyTorch 中实现的，只需要很少的外部依赖。资源有限的语言可以从多个语言的联合训练中受益。随着新语言的加入，系统会学习识别其语系特征，从而使相关性能有所提高。

compromise-js 基于 JavaScript 的自然语言处理库

compromise 是一个开源的，基于 JavaScript 的自然语言处理库。

GPT2 GPT-2 训练实现

非官方 GPT-2 训练实现，支持 GPU 和 TPU。GPT-2 是一种基于 transformer的大型语言模型，具有 15 亿个参数，在 800 万网页数据集上进行训练。

国产 THUMT 神经机器翻译工具包

THUMT 是由清华大学自然语言处理组开发的数据驱动机器翻译系统。机器翻译是一种自然语言处理任务，其目的是使用计算机自动翻译自然语言。近几年来，端到端的神经机器翻译发展迅速，已经成为机器翻译系统的新主流。为了更好地了解 NMT 的内部工作，THUMT 提供了一个可视化工具来演示每个中间状态与其相关语境之间的相关性。

PyTorch Hub 计算机视觉、自然语言处理领域经典模型的聚合中心

Facebook宣布推出PyTorch Hub，一个包含计算机视觉、自然语言处理领域的诸多经典模型的聚合中心，让你调用起来更方便。PyTorch Hub是一个简易API和工作流程，为复现研究提供了基本构建模块，包含预训练模型库。并且，PyTorch Hub还支持Colab，能与论文代码结合网站Papers With Code集成，用于更广泛的研究。发布首日已有18个模型“入驻”，获得英伟达官方力挺。PyTorch Hub的使用简单到不能再简单，不需要下载模型，只用了一个torch.hub.load()就完成

推荐 PyText 基于 PyTorch 的 NLP 建模框架

PyTorch 是一个统一的框架，缩短了从研究到生产的路径，而基于 PyTorch 的 PyText 则着眼于满足 NLP 建模的特定需求。Yoon Kim : Convolutional Neural Networks for Sentence Classification. Lin et al. : A Structured Self-attentive Sentence Embedding. Lample et al. : Neural Architectures for Named Entity R

国产 NiuTrans 统计机器翻译

NiuTrans 统计机器翻译

推荐 Transformers TF-PT 用于 TF 2.0 和 PyTorch 的自然语言处理框架

Transformers（以往称为 pytorch-transformers 和 pytorch-pretrained-bert）是用于 TensorFlow 2.0 和 PyTorch 的自然...