• 授权协议:Apache
  • 开发厂商:-
  • 软件语言:Python
  • 更新日期:2017-12-08
FoolNLTK

特点可能不是最快的开源中文分词,但很可能是最准的开源中文分词。基于BiLSTM模型训练而成。包含分词,词性标注,实体识别, 都有比较高的准确率。text="一个傻子在北京". python-mfool[filename]用户自定义词典。词典格式格式如下,词的权重越高,词的长度越长就越越可能出现, 权重值请大于1. text="我在北京天安门看你难受香菇". 注意暂时只在Python3 Linux 平台测试通过

FoolNLTK 中文处理工具包 项目简介

FoolNLTK中文处理工具包特点可能不是最快的开源中文分词,但很可能是最准的开源中文分词基于BiLSTM模型训练而成包含分词,词性标注,实体识别, 都有比较高的准确率用户自定义词典Installpip install foolnltk使用说明分词import fool

text = "一个傻子在北京"
print(fool.cut(text))
# ['一个', '傻子', '在', '北京']命令行分词python -m fool [filename]用户自定义词典词典格式格式如下,词的权重越高,词的长度越长就越越可能出现, 权重值请大于1难受香菇 10
什么鬼 10
分词工具 10
北京 10
北京天安门 10加载词典import fool
fool.load_userdict(path)
text = "我在北京天安门看你难受香菇"
print(fool.cut(text))
# ['我', '在', '北京天安门', '看', '你', '难受香菇']删除词典fool.delete_userdict();词性标注import fool

text = "一个傻子在北京"
print(fool.pos_cut(text))
#[('一个', 'm'), ('傻子', 'n'), ('在', 'p'), ('北京', 'ns')]实体识别import fool 

text = "一个傻子在北京"
words, ners = fool.analysis(text)
print(ners)
#[(5, 8, 'location', '北京')]注意暂时只在Python3 Linux 平台测试通过

FoolNLTK 中文处理工具包 评论内容