人工智能席卷了世界，所谓的“机器学习算法”已经渗透到现代技术各个可能的层面，它已成为义务而不是创新。有些人可能会争论，我们今天使用的机器学习算法是否足够自主到可以称为真正的AI，这个争论过于宽泛，并不是本文的重点。在这篇文章中，我试图探索神经网络与人类思维

卷积层块里的基本单位是卷积层后接平均池化层：卷积层用来识别图像里的空间模式，如线条和物体局部，之后的平均池化层则用来降低卷积层对位置的敏感性。卷积层块由两个这样的基本单位重复堆叠构成。在卷积层块中，每个卷积层都使用5×5的窗口，并在输出上使用sigmoid

alpha=0.000001 # 学习率的确定方法：看权值 w 的数量级，如该脚本中每次迭代w在 10的-5次方左右；线性回归脚本里w在0.07左右。num=800 # 学习率对算法影响很大，先确定学习率，在确定迭代

可以发现，对数几率 $logit$ 与 $x$ 是线性关系，所以可以称作"回归"。数学家找到了 $f = sigmoid$。其实上面解释"逻辑回归为什么叫回归"和"逻辑回归为什么使用sigmoid"

　　前面已经逐步从单神经元慢慢“爬”到了神经网络并把常见的优化都逐个解析了，再往前走就是一些实际应用问题，所以在开始实际应用之前还得把“框架”翻出来，因为后面要做的工作需要我们将精力集中在业务而不是网络本身，所以使用框架可以减少非常多的工作量，有了前面自己

逻辑回归模型和线性回归非常相似，可以说就是在逻辑回归的基础上加上了一步逻辑转换，也就是因为这个转换，使逻辑回归模型非常适用于二分类问题的概率预测。本文主要详述逻辑回归模型的基础以及逻辑回归模型的R语言实现。

不同的损失函数可用于不同的目标。在这篇文章中，我将带你通过一些示例介绍一些非常常用的损失函数。这篇文章提到的一些参数细节都属于tensorflow或者keras的实现细节。损失函数有助于优化神经网络的参数。通过神经网络将目标(实际)值与预测值进行匹配，再经

在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分。此外，复杂的激活函数也许产生一些梯度消失或爆炸的问题。因此，神经网络倾向于部署若

作用深度神经网络引入非线性单元，使训练问题不再是一个凸优化问题，虽然我们很难得到最优解，但是可以通过梯度下降去寻找局部最小值。增强模型的拟合能力，理论上只要有足够的神经元，一层隐藏层就可以表达任意函数。非饱和性：当激活函数满足如下要求，称为右饱和：当激活函

神经网络，也被称为人工神经网络，是机器学习领域中学习算法的子集，大体上借鉴了生物神经网络的概念。目前，神经网络在计算机视觉、自然语言处理等领域应用广泛。德国资深机器学习专家Andrey Bulezyuk说到，“神经网络正在彻底改变机器学习，因为它们能够有效

真正掌握一种算法，最实际的方法，完全手写出来。LSTM特殊递归神经网络，神经元保存历史记忆，解决自然语言处理统计方法只能考虑最近n个词语而忽略更久前词语的问题。100多行原始python代码实现基于LSTM二进制加法器。import copy, numpy

递归神经网络可存储记忆神经网络，LSTM是其中一种，在NLP领域应用效果不错。递归神经网络，时间递归神经网络，结构递归神经网络。两者训练属同一算法变体。RNN引入定向循环，神经元为节点组成有向环，可表达前后关联关系。RNN关键是隐藏层，隐藏层捕捉序列信息，

前言简单来说，激活函数在神经网络里的作用就是引入Non-linearity。简单来说，一个神经网络的层可以写成$act$，其中$W$是权重，$act$是激活函数。两层也就是 $act$，如果现在没有了$act$，那这两层就能写成$W_2W_1X$，然后我们

最近谷歌大脑公布了一个新的激活函数，叫做 Swish 激活函数。这个函数非常的有趣，很多人都把它应用到一些小的神经网络和大的神经网络中去测试它的性能。所以，我也打算去 kaggle 上面测试一些这个函数的性能如何。我利用 Keras 实现的 ReLU 模型

设计模型执行分类任务时，有时需要同时选择多个答案，有时只能选择一个答案。本文将讨论如何应用Sigmoid函数或Softmax函数处理分类器的原始输出值。分类问题可通过不同神经网络进行解决，如前馈神经网络和卷积神经网络。将输出值转换为概率可能更容易理解。比起

针对不同的目标使用不同的损失函数。在本文中，我将通过一组示例向您介绍一些常用的损失函数。本文是使用Keras和Tensorflow框架的设计。损失函数有助于优化神经网络的参数。损失由损失函数计算。顾名思义，这种损失是通过计算实际（目标）值和预测值之间的平方

# -*- coding:utf-8 -*-. from matplotlib import pyplot as plt. import numpy as np. def sigmoid(x):. return 1. / (1 + np.exp(-x)).

def sigmoid: #定义激活函数，这里可以换成其他激活函数？利用dot函数用训练集乘以初始化的权重，得到一个4*1的向量，然后用sigmoid函数将网络输出做非线性化处理

动手实践一下吧，了解神经网络是如何工作的最好方法是自己创建一个简单神经网络。神经网络，也被称为人工神经网络，是机器学习领域中学习算法的子集，大体上借鉴了生物神经网络的概念。目前，神经网络在计算机视觉、自然语言处理等领域应用广泛。德国资深机器学习专家Andr

什么是激活函数？激活函数就是神经网络输出端的一个节点，来连接两个神经网络。如下图所示，函数是线性的，函数的输出范围为。使用非线性激活函数，模型可以更容易进行自我调整，并区分不同的输出。Sigmoid激活函数的曲线呈“S”形。由于任何概率的取值在0和1范围之