安科网

使用权重正则化较少模型过拟合

dataastron

dataastron

2019-07-01

关注 关注

使用权重正则化较少模型过拟合

介绍

权重正则化可以减轻深度神经网络模型的过拟合问题，可以提升对新数据的泛化能力。有多种正则方法可供选择，如：L1，L2正则化，每种方法在使用前需要超参数配置。在这篇文章中，你将学习在keras如何使用权重正则化的方法来减轻模型过拟合问题。
读完本篇文章，你将学习到：

  • 如何在keras中使用权重正则化应用到MLP,CNN,或者LSTM神经网络任务中
  • 一些常见论文在模型中使用权重正则化的方法和经验
  • 通过一个案例学习如何使用权重正则化解决过拟合问题

## keras中权重正则化方法 ##
keras提供了权重正则化方法，可以在损失函数中通过添加惩罚系数来使用。keras提供了三种正则化方法：

  • L1：绝对值权重之和
  • L2：平方权重之和
  • L1L2:两者累加之和
tf.keras.regularizers.l1(l=0.01)
tf.keras.regularizers.l2(l=0.01)
tf.keras.regularizers.l1_l2(l1=0.01,l2=0.01)

keras中，权重正则化可以应用到任意一层，不过，模型默认不使用任何权重正则化。

全连接层使用权重正则化

全连接层使用L2权重正则化：

import tensorflow as tf

model=tf.keras.models.Sequential(
  
# 权重正则化，bias正则化（应用较少）
tf.keras.layers.Dense(512,activation=tf.nn.relu,kernel_regularizer=tf.keras.regularizers.l2(l=0.001),bias_regularizer=tf.keras.regularizers.l2(l=0.001))
)

卷积层使用权重正则化

同全连接层一样，卷积层也使用kernel_regularizer和bias_regularizer参数添加正则化。代码展示在卷积层中使用L2正则化。

import tensorflow as tf

model=tf.keras.models.Sequential(
  tf.keras.layers.Conv2D(32,3,activation=tf.nn.relu,kernel_regularizer=tf.keras.regularizers.l2(l=0.001),bias_regularizer=tf.keras.regularizers.l2(l=0.001))
)

RNN网络中使用权重正则化

代码展示在LSTM网络中使用L2权重正则化

import tensorflow as tf

model=tf.keras.models.Sequential(
  tf.keras.layers.LSTM(32,activation=tf.nn.tanh,recurrent_regularizer=tf.keras.regularizers.l2(l=0.001),kernel_regularizer=tf.keras.regularizers.l2(l=0.001),bias_regularizer=tf.keras.regularizers.l2(l=0.001))
)

权重正则化使用经验

  1. 最常见的权重正则化是L2正则化，数值通常是0-0.1之间，如：0.1，0.001，0.0001。
  2. 找到最优的系数并不容易，需要尝试不同的权重系数，找到模型表现最平稳优秀的系数
  3. L2正则化在CNN网络中，建议系数设置小一些，如：0.0005
  4. 少量的权重正则对模型很重要，可以减少模型训练误差
  5. LSTM网络中L2权重系数通常更小，如：10^-6

权重正则化案例学习

我们将使用标准二元分类问题来定义两个半圆观察：每个类一个半圆。每个观测值都有两个输入变量，它们具有相同的比例，类输出值为0或1.该数据集称为“月亮”数据集，因为绘制时每个类中的观测值的形状。

# 导入sklearn中的数据集
from sklearn.datasets import make_moons
from matplotlib import pyplot
from pandas import DataFrame
# 生成2分类数据集
X, y = make_moons(n_samples=100, noise=0.2, random_state=1)

print(X.shape)
print(X[:6])
print(y.shape)
print(y[:6])

df = DataFrame(dict(x=X[:,0], y=X[:,1], label=y))
colors = {0:'red', 1:'blue'}
fig, ax = pyplot.subplots()
grouped = df.groupby('label')
for key, group in grouped:
    group.plot(ax=ax, kind='scatter', x='x', y='y', label=key, color=colors[key])
pyplot.show()

sklearn常用数据集：

使用权重正则化较少模型过拟合

数据集格式：

使用权重正则化较少模型过拟合

matplot结果显示：

使用权重正则化较少模型过拟合

如图所示，该问题是非线性问题，可以使用神经网络来解决。我们只生成了100个样本，对神经网络来说数据量很少，这很容易造成过拟合问题。我们使用正则化，添加噪声数据来处理问题。

虽然卷积神经网络（CNN）功能强大，并广泛应用于各种计算机视觉任务中，但由于参数过多而导致过度拟合[22]。神经网络的最初发展受到人脑机制的启发[18]，它不像计算机那样精确。受到差异的启发，我们推断在训练过程中添加噪音可能会指示CNN学习更强大的特征表示以抵消噪音的影响，从而降低过度拟合的风险。许多正则化方法通过向训练数据添加噪声来防止过拟合。数据增强的输入图像，如随机裁剪，翻转和阻塞[9,21,30]已广泛用于提高CNNs的泛化能力。 Adversarial Training [1]被提出来通过在图像中添加基于梯度的扰动来调整网络。 DisturbLabel [26]随机地将样本的一小部分子集的标签改变为不正确的值，从而在损失层上规则化CNN。

过拟合模型

我们创建一个只有一层隐藏层的MLP模型，并让神经元数量大于样本数量，然后过长时间训练模型，以此来人为造成过拟合问题。训练模型之前，我们拆分下数据集，训练数据30%，验证数据70%，来训练模型表现。

X, y = make_moons(n_samples=100, noise=0.2, random_state=1)
# 拆分数据集
n_train = 30
trainX, testX = X[:n_train, :], X[n_train:, :]
trainy, testy = y[:n_train], y[n_train:]

模型隐藏层有500个神经元，激活函数使用relu，输出层使用sigmoid激活函数，输出一项类别。模型使用bind_crossentropy损失函数，adam优化器。

model = Sequential()
model.add(Dense(500, input_dim=2, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

模型迭代数据集400次，batch_size=32。

model.fit(trainX, trainy, epochs=4000, verbose=0)

在测试集上评估模型表现：

# model.evaluate返回：loss value;metrics value
_, train_acc = model.evaluate(trainX, trainy, verbose=0)
_, test_acc = model.evaluate(testX, testy, verbose=0)
print('Train: %.3f, Test: %.3f' % (train_acc, test_acc))

模型输出结果：

使用权重正则化较少模型过拟合

我们看到训练表现远大于测试表现，这是过拟合问题的典型标志。我们将train和test训练精度过程图形化展示出来。

from sklearn.datasets import make_moons
from keras.layers import Dense
from keras.models import Sequential
from matplotlib import pyplot

X, y = make_moons(n_samples=100, noise=0.2, random_state=1)

n_train = 30
trainX, testX = X[:n_train, :], X[n_train:, :]
trainy, testy = y[:n_train], y[n_train:]
# 创建模型
model = Sequential()
model.add(Dense(500, input_dim=2, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# 返回训练，验证集的损失和准确率
history = model.fit(trainX, trainy, validation_data=(testX, testy), epochs=4000, verbose=0)
pyplot.plot(history.history['acc'], label='train')
pyplot.plot(history.history['val_acc'], label='test')
pyplot.legend()
pyplot.show()

使用权重正则化较少模型过拟合

如图所示，在某一点，train和test的准确率出现分叉口。

使用正则化的模型

我们将在隐藏层中使用权重正则化，并设置系数为0.001，以此来减轻过拟合问题。

model.add(Dense(500, input_dim=2, activation='relu', kernel_regularizer=l2(0.001)))

完整代码如下：

from sklearn.datasets import make_moons
from keras.layers import Dense
from keras.models import Sequential
from keras.regularizers import l2
# 创建数据集
X, y = make_moons(n_samples=100, noise=0.2, random_state=1)
# 拆分数据集
n_train = 30
trainX, testX = X[:n_train, :], X[n_train:, :]
trainy, testy = y[:n_train], y[n_train:]
# 创建模型
model = Sequential()
# 设置权重正则化
model.add(Dense(500, input_dim=2, activation='relu', kernel_regularizer=l2(0.001)))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# 训练模型
model.fit(trainX, trainy, epochs=4000, verbose=0)
# 评估模型
_, train_acc = model.evaluate(trainX, trainy, verbose=0)
_, test_acc = model.evaluate(testX, testy, verbose=0)
print('Train: %.3f, Test: %.3f' % (train_acc, test_acc))

使用权重正则化较少模型过拟合

乍一看，好像除了test准确率降低些，其它也没什么了。让我们画图看下train和test的训练过程。

from sklearn.datasets import make_moons
from keras.layers import Dense
from keras.models import Sequential
from keras.regularizers import l2
from matplotlib import pyplot

X, y = make_moons(n_samples=100, noise=0.2, random_state=1)

n_train = 30
trainX, testX = X[:n_train, :], X[n_train:, :]
trainy, testy = y[:n_train], y[n_train:]

model = Sequential()
model.add(Dense(500, input_dim=2, activation='relu', kernel_regularizer=l2(0.001)))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

history = model.fit(trainX, trainy, validation_data=(testX, testy), epochs=4000, verbose=0
pyplot.plot(history.history['acc'], label='train')
pyplot.plot(history.history['val_acc'], label='test')
pyplot.legend()
pyplot.show()

使用权重正则化较少模型过拟合

如图所示，现在就很清楚了，test与train一致。

网格搜索正则化超参数

当确定权重正则化可以改善模型的时候，这时你可以尝试不同的权重系数值。首先对0.0到0.1之间的一些数量级进行网格搜索，然后再找到一个级别后进行网格搜索，这是一个很好的做法。

# 待测权重正则化值
values = [1e-1, 1e-2, 1e-3, 1e-4, 1e-5, 1e-6]
all_train, all_test = list(), list()
for param in values:
    ...
    model.add(Dense(500, input_dim=2, activation='relu', kernel_regularizer=l2(param)))
    ...
    all_train.append(train_acc)
    all_test.append(test_acc)

我们依然可以图形化展示训练过程：

pyplot.semilogx(values, all_train, label='train', marker='o')
pyplot.semilogx(values, all_test, label='test', marker='o')

完整代码如下：

from sklearn.datasets import make_moons
from keras.layers import Dense
from keras.models import Sequential
from keras.regularizers import l2
from matplotlib import pyplot
# 创建数据集
X, y = make_moons(n_samples=100, noise=0.2, random_state=1)
# 拆分数据集
n_train = 30
trainX, testX = X[:n_train, :], X[n_train:, :]
trainy, testy = y[:n_train], y[n_train:]
# 待测权重系数值
values = [1e-1, 1e-2, 1e-3, 1e-4, 1e-5, 1e-6]
all_train, all_test = list(), list()
for param in values:
    # 创建模型
    model = Sequential()
    model.add(Dense(500, input_dim=2, activation='relu', kernel_regularizer=l2(param)))
    model.add(Dense(1, activation='sigmoid'))
    model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
    # 训练模型
    model.fit(trainX, trainy, epochs=4000, verbose=0)
    # 评估模型
    _, train_acc = model.evaluate(trainX, trainy, verbose=0)
    _, test_acc = model.evaluate(testX, testy, verbose=0)
    print('Param: %f, Train: %.3f, Test: %.3f' % (param, train_acc, test_acc))
    all_train.append(train_acc)
    all_test.append(test_acc)
# plot train and test means
pyplot.semilogx(values, all_train, label='train', marker='o')
pyplot.semilogx(values, all_test, label='test', marker='o')
pyplot.legend()
pyplot.show()

使用权重正则化较少模型过拟合

总结

降低过拟合问题，我们一般需要从“数据”，“模型结构”，“模型参数”，“模型训练方法”等角度，采用的方法如下：

  1. 数据增强：图像的平移，旋转，裁剪等；利用GAN生成新数据；利用机器翻译生成新数据。
  2. 降低模型复杂度：减少网络层数，神经元个数；
  3. 添加正则化项，如:L1，L2
  4. 集成学习：神经网络，dropout
  5. 避免过长时间训练模型，设置提前终止。

正则化 权重 keras

dataastron

dataastron

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

Keras调用LSTM之函数接口介绍

activation: 要使用的激活函数 ，如果传入None，则不使用激活函数 。默认分段线性近似 sigmoid 。use_bias: 布尔值，该层是否使用偏置向量。如果为 True，初始化时，将忘记门的偏置加 1。将其设置为 True 同时还会强制bi

xiaoxiaokeke 2020-07-28

数据科学面试中应了解的十种机器学习概念

如您本文转载自公众号“读芯术”。如您所知，数据科学和机器学习必须提供无穷无尽的信息和知识。话虽如此，大多数公司都只测试少数核心思想。这是因为这十个概念是更复杂的思想和概念的基础。您可能想知道为什么我什至不愿意将其放入，因为它是如此的基础。换句话说，更加重视

luyong0 2020-11-08

Python文本预处理，试试BAT大佬总结的实用代码！

本文将讨论文本预处理的基本步骤，旨在将文本信息从人类语言转换为机器可读格式以便用于后续处理。此外，本文还将进一步讨论文本预处理过程所需要的工具。当拿到一个文本后，首先从文本正则化 处理开始。如果文本中的数字与文本分析无关的话，那就删除这些数字。通常，正则化

wordmhg 2020-11-06

机器学习---正则化

正则化的目的是为了防止过拟合，降低模型的复杂度。式中，是一个常数，为样本个数，是一个超参数，用于控制正则化程度。设置一个超参数 keep_prob，比如将 keep_prob 设置为 0.7，那么就会随机30%的节点消失，消失这个动作其实很简单，只是将这一

卖小孩的咖啡 2020-05-30

卷积神经网络模型可解释性

缺乏可解释性仍然是在许多应用中采用深层模型的一个关键障碍。在这项工作中，明确地调整了深层模型，这样人类用户可以在很短的时间内完成他们预测背后的过程。具体地说，训练了深度时间序列模型，使得类概率预测具有较高的精度，同时被节点较少的决策树紧密地建模。使用直观的

wenxuegeng 2020-05-04

机器学习基础---过拟合问题及正则化技术

到现在为止，我们已经学习了几种不同的学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合的问题，可能会导致它们效果很差。继续使用线性回归来预测房价的例子，我们通过建立以住房面积为自变量的函数

playoffs 2020-05-01

【Keras】减少过拟合的秘诀——Dropout正则化

阅读完本文，你就学会了在Keras框架中，如何将深度学习神经网络Dropout正则化添加到深度学习神经网络模型里。其原理非常简单粗暴：任意丢弃神经网络层中的输入，该层可以是数据样本中的输入变量或来自先前层的激活。它能够模拟具有大量不同网络结构的神经网络，并

CodeWang 2020-02-15

[深度之眼机器学习训练营第四期]过拟合与正则化

机器学习模型面临的两个主要问题是欠拟合与过拟合。而过拟合，即模型具有较高的方差，意味着模型的经验误差低而泛化误差高，对新数据的泛化能力差，如下右图所示。通常，欠拟合是由于模型过于简单或使用数据集的特征较少导致的。相反，过拟合则是模型过于复杂或特征过多引起的

kingzone 2020-01-23

神经网络中的过拟合

先说下一般对原始数据的划分为什么分为训练集、验证集、测试集三个部分？因为如果在test data上来调节参数，那么随着训练的进行，我们的网络实际上就是在一点一点地向我们的test data过度拟合，导致最后得到的testdata的指标参考意义下降。首先明确

georgesale 2020-01-01

如何理解深度学习中的dropout正则化技术解决过拟合问题？

正文为了解决神经网络的过拟合问题，我们需要使用L2正则化，除了L2正则化解决过拟合的问题，还可以使用另外一个正则化方法——Dropout，我们下面详细介绍一个这个正则化的原理。这个神经网络存在着过拟合的问题，我们要使用dropout来解决这个过拟合问题，d

无风而起 2019-12-24

避免神经网络过拟合的5种技术

本文介绍了5种在训练神经网络中避免过拟合的技术。最近一年我一直致力于深度学习领域。过拟合的模型通常是不精确的，因为这样的预测趋势并不会反映数据的真实情况。最常见的技术是L1和L2正则化：。L1惩罚项的目的是使权重绝对值最小化。然而L1不容易受到离群值的影响

雜貨鋪 2019-12-20

在深度学习中为什么正则化技术可以解决模型算法的过拟合问题？

正文如何解决过拟合问题？一种方式就是增加足够多的训练数据，另外一种方式就是使用正则化的方式，本节课程将讲解为什么正则化可以解决过拟合？为什么它可以减少高方差问题？上面的三张图中第一个是欠拟合（高偏差）。第二个是正常集合。那么此时我们为了解决这个神经网络的过

playoffs 2019-12-15

SIGAI机器学习第十八集 线性模型2

之前讲过SVM，是通过最大化间隔导出的一套方法，现在从另外一个角度来定义SVM，来介绍整个线性SVM的家族。线性支持向量机简介L2正则化L1-loss SVC原问题L2正则化L2-loss SVC原问题L2正则化SVC对偶问题L1正则化L2-loss SV

sxyhetao 2019-12-03

改善深层神经网络（一）深度学习的实用层面

为什么正则化可以避免过拟合？当 lambda 足够大时，最小化 J 时，就会使得权重矩阵 w 趋近于0，神经网络简化为高偏差状态：。当 z 在较小的阶段，函数 g 趋近于线性. 如果每一层都趋近线性，该网络为线性网络，不会产生过拟合的情况.对于第3层进行随

PeterHuang0 2019-11-09

机器学习总结（算法）：回归、分类、正则化、模型优化、生成学习

在本文中，我们深入了解传统机器学习算法，包括回归、分类、核、高斯过程、贝叶斯线性回归、SVM、聚类和决策树，还包括成本函数，正则化，MLE, MAP，拉普拉斯近似和受限玻尔兹曼机，我们也将快速了解像LSTM这样的深度网络。线性回归模型y = f，线性向量为

stevenkwong 2019-09-20

单机多 GPU 加速 TensorFlow 程序

check 2019-10-31

机器学习-正则化（岭回归、lasso）和前向逐步回归

这个时候会出现矩阵不可逆的情况，为什么呢？遇到这种情况，我们可以采用正则化的方式或者剔除多余特征，这里我们介绍一些正则化的方式，例如岭回归、lasso，以及另外的一种方法：前向逐步回归。在数学，统计学和计算机科学中，尤其是在机器学习和逆问题中，正则化是添加

CYJ0go 2019-10-19

机器学习-正则化

目前为止我们已经学习了两种机器学习的方法了。如果你去实践，会发现很多问题，其中一项很可能就是过拟合的问题。过拟合就是我们在学习中，对样本的拟合非常好，但是一旦对新的样本就完全失效。这类问题以后还会有分析，究其原因，我们使用模型中某些特征的影响被放大了，这是

lizhengjava 2016-10-23

CVPR 2019：北邮提出新AI模型压缩算法，显著降低计算复杂度

来自北京邮电大学的研究人员开发了一种AI模型压缩算法，可以让深度学习的运算不再依赖高昂的计算和存储设备，保持模型的识别精度无损的前提下，显著降低模型的计算复杂度，本文带来技术解读。研究人员称，模型压缩算法能够有效降低参数冗余，从而减少存储占用、通信带宽和计

xgxyxs 2019-06-29

【Keras】减少过拟合的秘诀——Dropout正则化

阅读完本文，你就学会了在Keras框架中，如何将深度学习神经网络Dropout正则化添加到深度学习神经网络模型里。Dropout正则化是最简单的神经网络正则化方法。其原理非常简单粗暴：任意丢弃神经网络层中的输入，该层可以是数据样本中的输入变量或来自先前层的

georgesale 2019-06-29
dataastron

dataastron

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号