用MeCab打造一套实用的中文分词系统

MeCab是一套日文分词（形态分析）和词性标注系统（Yet Another Part-of-Speech and Morphological Analyzer）， rick曾经在这里分享过MeCab的官方文档中文翻译: 日文分词器 Mecab 文档，这款日文分词器基于条件随机场打造，有着诸多优点，譬如代码基于C++实现，基本内嵌CRF++代码，词典检索的算法和数据结构均使用双数组Double-Array，性能优良，并通过SWIG提供多种语言调用接口，可扩展性和通用性都非常不错：

mecab (http://mecab.sourceforge.net/) 是奈良先端科学技術大学院的工藤拓开发的日文分词系统， 该作者写过多个 machine learning 方面的软件包， 最有名的就是 CRF++， 目前该作者在 google@Japan 工作。

mecab 是基于CRF 的一个日文分词系统，代码使用 c++ 实现， 基本上内嵌了 CRF++ 的代码， 同时提供了多种脚本语言调用的接口(python, perl， ruby 等).整个系统的架构采用通用泛化的设计，用户可以通过配置文件定制CRF训练中需要使用的特征模板。 甚至， 如果你有中文的分词语料作为训练语料，可以在该架构下按照其配置文件的规范定制一个中文的分词系统。

日文NLP 界有几个有名的开源分词系统， Juman, Chasen, Mecab. Juman 和 Chasen 都是比较老的系统了， Mecab 系统比较新， 在很多方面都优于 Juman 和 Chasen, mecab 目前开发也比较活跃。 Mecab 虽然使用 CRF 实现， 但是解析效率上确相当高效， 据作者的介绍， Mecab 比基于 HMM 的 Chasen 的解析速度要快。 笔者在一台 Linux 机器上粗略测试过其速度，将近达到 2MB/s， 完全达到了工程应用的需求， 该系统目前在日文 NLP 界被广泛使用。

我们曾经介绍过一个非常初级的CRF中文分词实现方案：中文分词入门之字标注法4，基于CRF++实现了一个Toy级别的CRF中文分词系统，但是还远远不够。在仔细看过这篇日文分词系统MeCab的中文文档并亲测之后，不得不赞这真是一个理想的CRF分词系统，除了上述所说的优点之外，在使用上它还支持Nbest输出，多种输出格式，全切分模式，系统词典和用户词典定制等等，难怪这套分词系统在日本NLP界被广泛使用。

MeCab的诸多优点以及它的通用性一直深深吸引着我，但是除了日文资料，相关的中文或英文资料相当匮乏，曾经尝试过基于MeCab的中文翻译文档以及代码中测试用例中的例子来训练一套中文分词系统，但是第一次以失败告终。这几天，由于偶然的因素又一次捡起了MeCab，然后通过Google及Google翻译发现了这篇日文文章《MeCabで中国語の形態素解析（分かち書き）をしてみる》，虽其是日语所写，但是主旨是通过MeCab构造一套中文（貌似是繁体）形态（中文分词+词性标注）分析系统，给了我很大的帮助。所以接下来，我会基于这篇文章的提示以及rick翻译文档中第八节“从原始词典/语料库做参数估计”的参考，同时结合backoff2005中微软研究院的中文分词语料来训练一套极简的中文分词系统，至于MeCab的相关介绍及安装使用请参考 日文分词器 Mecab 文档，这里不再赘述。以下是我在Mac OS下的操作记录，同理可推广制Linux下，至于Windows下，请自行测试。