朴素贝叶斯算法文本分类原理
序
本文主要简单研究一下朴素贝叶斯算法是如何对文本进行分类的。
贝叶斯算法
贝叶斯方法把计算“具有某特征的条件下属于某类”的概率转换成需要计算“属于某类的条件下具有某特征”的概率，属于有监督学习。
后验概率 ＝ 先验概率 ｘ 调整因子
这就是贝叶斯推断的含义。我们先预估一个"先验概率"，然后加入实验结果，看这个实验到底是增强还是削弱了"先验概率"，由此得到更接近事实的"后验概率"。
公式
p(yi|x) = p(yi) * p(x|yi) / p(x)p(所属类别yi|某种特征x) = p(所属类别yi) * p(某种特征x|所属类别yi) /p(某种特征x)
根据公式就可以把计算“具有某种特征的条件下属于某个类别”的概率转换为：“属于某种类别的条件下，具有某种特征”的概率。
- 先验概率
其中p(yi)称为先验概率，即在x事件发生之前，发生yi事件的概率
- 后验概率
p(yi|x)称为后验概率，即在x事件发生之后，发生yi事件的概率，属于可观测的值
- 调整因子
p(x|yi)/p(x)为调整因子，也成为可能性函数(Likelyhood)，使得预估概率更接近真实概率
朴素贝叶斯算法
朴素贝叶斯理论源于随机变量的独立性：就文本分类而言，从朴素贝叶斯的角度来看，句子中的两两词之间的关系是相互独立的，即一个对象的特征向量中每个维度都是相互独立的。这是朴素贝叶斯理论的思想基础。其流程如下
- 第一阶段，训练数据生成训练样本集：TF-IDF。 - 第二阶段，对每个类别计算P(yi)。 - 第三阶段，对每个特征属性计算所有类别下的条件概率p(ai|yi)。 - 第四阶段，对每个类别计算p(x|yi)p(yi)。 - 第五阶段，以p(x|yi)p(yi)的最大项作为x的所属类别。
问题
假设x是一个待分类文本，其特征为{a1,a2,...,am}；已知类别集合{y1,y2,...yn}；求x所属的类别
基本思路
如果p(yi|x) = max{p(y1|x),p(y2|x),p(y3|x),...,p(yn|x)}，则x属于yi类别如何计算p(yi|x)
利用贝叶斯公式
p(yi|x) = p(x|yi)*p(yi) / p(x)问题转换为对每个类别计算p(x|yi)p(yi)，以p(x|yi)p(yi)的最大项作为x的所属类别
计算p(x|yi)
由于朴素贝叶斯假定各个特征是相互独立的，因此
p(x|yi) = p(a1|yi)*p(a2|yi)...*p(am|yi)p(x|yi)/p(x)为调整因子
计算p(ai|yi)
而p(ai|yi)则可以通过训练集(已经分好类)，统计各个类别下面各种特征的条件概率p(ai|yi)得到。
而训练的过程则是根据训练集去计算调整因子的影响因素p(x|yi)=p(a1|yi)p(a2|yi)...p(am|yi)，因此训练集的好坏直接影响预测结果的准确性。
TF-IDF
TF-IDF（ term frequency–inverse document frequency ）是一种用于信息检索与数据挖掘的常用加权方法。
TF-IDF = TF * IDF
TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率 TF 高，并且在其他文章中很少出现（IDF值大），则认为此词或者短语具有很好的类别区分能力，适合用来分类。
TF
意思是词频( Term Frequency )，即某个词在文件中出现的频率
TFi = Ndti / Ndt1..n即该词在文档中出现的次数/该文档所有词出现的次数之和
IDF
意思是逆向文件频率( Inverse Document Frequency )，它是一个词语重要性的调整系数，衡量一个词是不是常见词。如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。
某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到
IDF = log(Nd/Ndt)Nd为总文件数，Ndt为包含该词语的文件数目
如果一个词非常常用则Ndt变大，则IDF值会变小，因而TF-IDF值也会变小，这样就很好地削弱了常用词的特征性。
小结
朴素贝叶斯算法将问题一步步化解，最后通过训练集求解，值得好好学习推敲。