学习笔记DL001:数学符号、深度学习的概念

数学符号。

数和数组。?，标量(整数或实数)。?，向量。?，矩阵。?，张量。??，?行?列单位矩阵。?，维度蕴含上下文单位矩阵。?⁽ⁿ⁾，标准基向量[0,…,0,10,…,0]，其中索引n处值为1。diag(?)，对象方阵，其中对象元素由?给定。a，标量随机变量。?，向量随机变量。?，矩阵随机变量。

集合和图。?，集合。ℝ，实数集。{0,1}，包含0和1集合。{0,1,…,?}，包含0和?之间所有整数的集合。[?,?]，包含?和?的实数区间。(?,?]，不包含?但包含?的实数区间。??，差集，即其元素包含于?但不包含于?。?，图。???(??)，图?中??的父节点。

索引。??，向量?的第?个元素，其中索引从1开始。?₋?，除了第?个元素，?的所有元素。??,?，矩阵?的?,?元素。??,:，矩阵?的第?行。?:,?，矩阵?的第?列。??,?,k，3维张量?的(?,?,?)元素。?:,:,?，3维张量?的2维切片。a?，随机向量?的第?个元素。

线性代数操作。?⫟，矩阵?的转置。?⁺，?的Moore-Penrose伪造。?⨀?，?和?的逐元素乘积(Hadamard乘积)。???(?)，?的行列式。

微积分。??/??，y关于x的导数。∂?/∂?，y关于x的偏导。∇??，y关于x的梯度。∇??，y关于?的矩阵导数。∇??，y关于?求导后的张量。∂?/∂?，?:ℝⁿ->ℝⁿⁿ的Jacobian矩阵?∈ℝ⁽m*n⁾。∇⁽?⁾₍x₎?(x)or?(?)(x)，?在点?处的Hessian矩阵。∫?(?)??，?整个域上的定积分。∫??(?)??，集合?上关于?定积分。

概率和信息论。a⊥b，a和b相互独立的随机变量。a⊥b|c，给定c后条件独立。P(a)，离散变量上的概率分布。p(a)，连续变量(或变量类型未指定时)上的概率分布。a~P，具有分布P的随机变量a。Ex~p[?(?)]or??(?)，?(?)关于P(?)的期望。Var(?(?))，?(?)在分布P(?)下的方差。Cov(?(?),?(?))，?(?)和?(?)在分布P(?)下的协方差。?(?)，随机变量?的香浓熵。???(?||?)，?和?的??散度。?(?;?,∑)，均值为?，协方差为∑，?上的高斯分布。?:?->?，定义域为?值域为?的函数?。?∘?，?和?的组合。?(?:θ)，由θ参数化，关于?的函数(有时为简化表示，忽略θ，记为?(?))。log?，?的自然对数。σ(?)，Logistic sigmoid，1/(1+exp(-?))。?(?)，Softplus,log(1+exp(?))。||?||p，?的L⁽p⁾范数。||?||，?的L⁽2⁾范数。?⁺，?的正数部分，max(0,?)。1condition，如果条件为真则为1，否则为0。用函数?，参数是一个标量，应用到一个向量、矩阵或张量:?(?)、?(?)或?(?)。表示逐元素将?应用于数组。?=σ(?)，对于所有合法的i、j和k，?i,j,k=σ(?i,j,k)。

数据集和分布。?data，数据生成分布。?train，由训练集定义的经验分布。?，训练样本的集合。?⁽?⁾，数据集的第?个样本(输入)。?⁽?⁾或?⁽?⁾，监督学习中与?⁽?⁾关联的目标。?，? x ?的矩阵，行??,:为输入样本?⁽?⁾。

古希腊时期，神话人物皮格马利翁(Pygmalion)、代达罗斯(Daedalus)和赫淮斯托斯(Hephaestus)传说发明家。加拉蒂亚(Galatea)、塔洛斯(Talos)和潘多拉(Pandora)人生生命(Ovid and Martin,2004;Sparkes,1996;Tandy,1997)。

人类第一次构思可编程计算机，思考变智能(离造出第一计算机一百年)(Lovelace,1842)。人工智能(artificial intelligence,AI)众多实际应用、活跃研究课题领域，蓬勃发展。智能软件自动处理常规劳动、理解语音图像、帮助医学论断、支持基础科学研究。

早期，计算机相对简单问题迅速解决，形式化数学规则描述问题。挑战，很难形式化描述任务，如人说话、图中脸。解决方案，计算机从经验学习，根据层次化概念体系理解世界。概念通过相对简单概念关系定义。计算从经验获取知识，避免人类给计算机形式化指定知识。层次化概念让计算机构建简单概念学习复杂概念。概念建立在彼此之上的图，一张深(多层次)图。AI深度学习(deep learning)。

参考资料：
《深度学习》

欢迎推荐上海机器学习工作机会，我的微信：qingxingfengzi