神经网络算法的优势与应用

人工神经网络（ANN）以大脑处理机制作为基础，开发用于建立复杂模式和预测问题的算法。

首先了解大脑如何处理信息：

在大脑中，有数亿个神经元细胞，以电信号的形式处理信息。外部信息或者刺激被神经元的树突接收，在神经元细胞体中处理，转化成输出并通过轴突,传递到下一个神经元。下一个神经元可以选择接受它或拒绝它，这取决于信号的强度。

现在，让我们尝试了解 ANN 如何工作：

这里，$w_1$，$w_2$，$w_3$ 给出输入信号的强度

从上面可以看出，ANN 是一个非常简单的表示大脑神经元如何工作的结构。

为了使事情变得更清晰，用一个简单的例子来理解 ANN：一家银行想评估是否批准贷款申请给客户，所以，它想预测一个客户是否有可能违约贷款。它有如下数据：

所以，必须预测列 X。更接近 1 的预测值表明客户更可能违约。

基于如下例子的神经元结构，尝试创建人造神经网络结构：

通常，上述示例中的简单 ANN 结构可以是：

与结构有关的要点：

• 网络架构有一个输入层，隐藏层（1 个以上）和输出层。由于多层结构，它也被称为 MLP（多层感知机）。
• 隐藏层可以被看作是一个「提炼层」，它从输入中提炼一些重要的模式，并将其传递到下一层。通过从省略冗余信息的输入中识别重要的信息，使网络更快速和高效。
• 激活函数有两个明显的目的：
  • 它捕获输入之间的非线性关系
  • 它有助于将输入转换为更有用的输出。
  • 在上面的例子中，所用的激活函数是 sigmoid：
  • $$O_1=1+e^{-F}$$
  • 其中$F=W_1*X_1+W_2*X_2+W_3*X_3$
  • Sigmoid 激活函数创建一个在 0 和 1 之间的输出。还有其他激活函数，如：Tanh、softmax 和 RELU。
• 类似地，隐藏层导致输出层的最终预测：$$O_3=1+e^{-F_1}$$
• 其中$F_1=W_7*H_1+W_8*H_2$
• 这里，输出值（$O_3$）在 0 和 1 之间。接近 1（例如0.75）的值表示有较高的客户违约迹象。
• 权重 W 与输入有重要关联。如果 $w_1$ 是 0.56，$w_2$ 是 0.92，那么在预测 $H_1$ 时，$X_2$：Debt Ratio 比 $X_1$：Age 更重要。
• 上述网络架构称为「前馈网络」，可以看到输入信号只在一个方向传递（从输入到输出）。可以创建在两个方向上传递信号的「反馈网络」。
• 一个高精度的模型给出了非常接近实际值的预测。因此，在上表中，列 X 值应该非常接近于列 W 值。预测误差是列 W 和列 X 之差： 

1. 获得一个准确预测的好模型的关键是找到预测误差最小的「权重 W 的最优值」。这被称为「反向传播算法」，这使 ANN 成为一种学习算法，因为通过从错误中学习，模型得到改进。
2. 反向传播的最常见方法称为「梯度下降」，其中使用了迭代 W 不同的值，并对预测误差进行了评估。因此，为了得到最优的 W 值，W 值在小范围变化，并且评估预测误差的影响。最后，W 的这些值被选为最优的，随着W的进一步变化，误差不会进一步降低。要更详细地理解解梯度下降，请参考：

  http://www.kdnuggets.com/2017/04/simple-understand-gradient-descent-algorithm.html

神经网络的主要优点：

ANN 有一些关键优势，使它们最适合某些问题和情况：

1. ANN 有能力学习和构建非线性的复杂关系的模型，这非常重要，因为在现实生活中，许多输入和输出之间的关系是非线性的、复杂的。
2. ANN 可以推广，在从初始化输入及其关系学习之后，它也可以推断出从未知数据之间的未知关系，从而使得模型能够推广并且预测未知数据。
3. 与许多其他预测技术不同，ANN 不会对输入变量施加任何限制（例如：如何分布）。此外，许多研究表明，ANN 可以更好地模拟异方差性，即具有高波动性和不稳定方差的数据，因为它具有学习数据中隐藏关系的能力，而不在数据中强加任何固定关系。这在数据波动非常大的金融时间序列预测（例如：股票价格）中非常有用。