机器学习-广义线性模型

如果你想对一个概率问题进行建模，那么有一个通用的方法，这个方法就是广义线性模型(以下简称GLM)。

GLM的出现是经过假设推广总结出来的，明确一个事实，『假设』是不需要被证明的。假设的初衷是认为他们能够具有很好的解决问题的性质，但是并非胡编乱造。

举个例子：随机生成100个数，我们先假设这100个数服从正态分布，通过这个假设我们可以分析这100个数所属的样本总体都有哪些性质，经过不断的验证和推广，我们认为，这个假设是合理的，并且是有效的，但是无法证明这随机的100个数是不是真的属于正态分布。

在这样的一个前提下，GLM有如下3个假设：

如果你想对一个概率模型建模，那么这个概率分布必须属于指数分布族。假设2、3都是在假设1的基础上，也就是指数分布族的基础上进行再次假设。

给定变量x，目标函数输出值是E[T(y)|x]。这里略做解释，T(y)在指数分布族里被称为充分统计量，常被处理为T(y) = y，统计量很好理解，均值、方差、极差、中位数等等都是统计量，那么充分的统计量呢?就是当已知一个分布时，我通过有限个统计量，就可以确定这个分布的特性。例如正态分布，如果已知总体均值μ，那么无论有多少的数据，这个概率密度函数是固定的，此时，这个μ就是充分统计量。通过假设我们可以看出，GLM其实是对充分统计量的期望值进行建模的。

η与x有线性关系，η = θ^T * x，这里就是GLM被称为『线性』的来源。