信息量和信息熵的概念最早是出现在通信理论中的，其概念最早是由信息论鼻祖香农在其经典著作《A Mathematical Theory of Communication》中提出的。如今，这些概念不仅仅是通信领域中的基础概念，也被广泛的应用到了其他的领域中，
上一篇译文《香农熵》中介绍了熵的由来及其计算公式的产生，这篇译文介绍另外一个与香农熵相关的概念：交叉熵。简介当我们要建立一个基于概率论的分类模型时，我们会将模型的输入映射到一组概率预测值。而且我们会不断调整模型的参数使得我们的预测结果尽可能地接近真实情况。
1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵，信息熵。首先，我们先来理解一下信息这个概念。信息是一个很抽象的概念，百度百科将它定义为：指音讯、消息、通讯系统传输和处理的对象，泛指人类社会传播的一切内容。香农提出的“信息熵”
安科网(Ancii)，中国第一极客网
Copyright © 2013 - 2019 Ancii.com
京ICP备18063983号-5 京公网安备11010802014868号