我们经常使用决策树处理分类问题’近来的调查表明决策树也是最经常使用的数据挖掘算法。决策树很多任务都 是为了数据中所蕴含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一系列。规则，机器学习算法最终将使用这些机器从数据集中创造的规则。专家系统中经

本系列我们将总结机器学习基础并研究主要的机器学习算法。我们假设您对机器学习有了基本的接触，我们可能会跳过或仅仅简要介绍某些概念。在计算机科学中，我们把信息量看作是利用事件频率以最有效的编码方案编码信息的比特数。对于均匀硬币，正面编码方案为0b0，反面编码方

我们考虑一下一个离散的随机变量x,当我们观察到它的一个值，能给我们带来多少信息呢？这个信息量可以看做是我们观察到x的这个值带来的惊讶程度。我们被告知一个不太可能发生的事发生了要比告知一个非常可能发生的事发生，我们获得信息要多。我们观察两个相互独立的事件x，

今天各种汉字输入法已经很成熟了，随便挑出一种主要的输入法比十几年前最好的输入法都要快、要准。现在抛开具体的输入法，从理论上分析一下，输入汉字到底能有多快。我们假定常用的汉字在二级国标里面，一共有6700个作用的汉字。如果不考虑汉字频率的分布，用键盘上的26

前一阵子看了电视剧《暗算》，蛮喜欢它的构思和里面的表演。其中有一个故事提到了密码学，故事本身不错，但是有点故弄玄虚。不过有一点是对的，就是当今的密码学是以数学为基础的。密码学的历史大致可以推早到两千年前，相传名将凯撒为了防止敌方截获情报，用密码传送情报。于

我们已经介绍了信息熵，它是信息论的基础，我们这次谈谈信息论在自然语言处理中的应用。这种想法是对的，而且今天的语音识别和机器翻译也是这么做的。事实上，在贾里尼克的人研究语言模型时，世界上既没有像样的语音识别系统，更没有机器翻译。信息熵正是对不确定性的衡量，因

读者也许注意到了，我们在前面的系列中多次提到了贾里尼克这个名字。事实上，现代语音识别和自然语言处理确实是和它的名字是紧密联系在一起的。我想在这回的系列里，介绍贾里尼克本人。在这里我不想列举他的贡献，而想讲一讲他作为一个普普通通的人的故事。这些事要么是我亲身

不得不说,中国的经济进入1个新的阶段,用官方的话就是新生态,用百姓的话说就是,我们告别了粗旷的放养,迎来了精耕细作的时代。当我们在为互联网冬天感到担惊受怕的时候,前方传来董小姐厂加薪的捷报。然而这次又是别人家的公司。而在这个革命的所有这些领域中,数据压缩都

本论文从信息论的角度简要概述了深度学习，试图解决这两个问题： 深度神经网络为什么比浅层网络的泛化能力好？ 是否在所有场景下，更深层的神经网络的效果都更好？具体而言，令 L 表示某一深度神经网络中的卷积层和池化层层数，n 表示训练样本量，我们可推导出此网络的

为了描述方便，本文采用了和论文中完全一致的参考文献标号。读者可去论文中直接参阅。这是由于加密本身的性质和目标造成的。加密算法不是孤立地，它会被使用在不同的环境和条件下。密码学家期望能够对加密算法的性质做出精确的刻画和严格的证明，从而避免在数据安全上出现百密