代码详解:用R语言构建ANN并将其可视化
神经网络是一种模拟原始人类思维的计算设计。与人工神经网络(ANN)相比,支持向量机首先将输入数据概括为由核函数定义的高维特征空间,并找到以最大余量分配训练数据的优秀超平面。该过程通过使用ANN进行。
人工神经网络被认为是计算领域最有用的技术之一。即使它被归为黑匣子,许多研究已经进入到运用R语言来实现人工神经网络的发展。
感知器
ANN是由激活函数定义的设计,其由互连的信息处理组件实现以将输入重建为输出。人工神经网络一直与人类大脑进行比较。神经网络的第一层需要原始输入,处理它并将准备好的信息传送到隐藏层。隐藏层将信息传输到最后一层,生成输出。ANN的选择是它本质上是自适应的。它从所提供的信息中读取,这意味着它从数据中训练自己,数据能够感知结果并优化其权重,以便在结果未知的情况下获得更好的预测。
感知器是一种单层神经网络,这是神经网络中最基本的形式。感知器支持多维输入,并使用加权求和和激活目的来进行准备。它使用标记数据和学习算法进行训练,该算法优化求和处理器中的权重。感知器模型的一个重要限制是它无法处理非线性问题。多层神经网络成功实现了这一限制,有助于解决非线性问题。输入层与隐藏层连接,隐藏层又连接到输出层。连接被加权并且权重被优化以应用学习规则。
在R中拟合神经网络
R中的神经网络拟合开始于将数据拟合到ANN中。
数据拟合
数据拟合是建立电路或数学函数的方法,其具有与一组先前收集点的最佳近似。电路拟合可以与需要精确数据点的插值和平滑进行比较,其中建立了近似数据的平坦函数。从数据拟合中收集的估计曲线可用于帮助显示数据,预测没有数据可用的函数的值,以及总结两个或更多个变量之间的关系。
输入-输出关系
一旦神经网络拥有了数据,它就形成了输入-输出关系的概括,并且可以应用于产生未被建模的输入的输出。
在这个例子中,我们将考虑汽车工业的主要制造商一直在研究的车辆燃料的消耗。
在石油出现困境,甚至发生空气污染问题的时候,车辆燃料消耗已成为一个关键因素。在这个例子中,我们将建立一个神经网络,目的是根据某些特征预测车辆的燃料消耗。
该数据集包含汽油里程、马力和某些车辆的其他信息。这个数据框里有以下九个变量:
1. mp_g: Miles per gallon.
2. cylinders_48: Number of cylinders between 4 and 8.
3. dis_placement: Engine displacement (cubic inches).
4. horse_power: Engine horsepower.
5. weight_lbs: Vehicle weight (lbs).
6. acceleration_mph: Time to accelerate from 0 to 60 mph (sec).
7. year_r: Model year (modulo 100).
8. origin_c: Origin of the car (American, European, Japanese).
9. name_v: Vehicle name.
R代码
library("neuralnet")
library("ISLR") // for obtaining auto dataset//
data = Auto
View(data)
plot(data$weight_lbs, data$mp_g, pch=data$origin_c,cex=2)
par(mfrow=c(2,2))
plot(data$cylinders_48, data$mp_g, pch=data$origin_c,cex=1)
plot(data$dis_placement, data$mp_g, pch=data$origin_c,cex=1)
plot(data$horse_power, data$mp_g, pch=data$origin_c,cex=1)
plot(data$acceleration_mph, data$mp_g, pch=data$origin_c,cex=1)
mean_data <- apply(data[1:6], 2, mean)
sd_data <- apply(data[1:6], 2, sd)
data_scaled <- as.data.frame(scale(data[,1:6],center = mean_data, scale = sd_data))
head(data_scaled, n=20)
index = sample(1:nrow(data),round(0.70*nrow(data)))
train_data <- as.data.frame(data_scaled[index])
test_data <- as.data.frame(data_scaled[-index])
n = names_v(data_scaled)
f = as.formula(paste("mpg ~", paste(n[!n %in% "mpg"], collapse = " + ")))
net = neuralnet(f,data=train_data,hidden=3,linear.output=TRUE)
plot(net)
predict_net_test <- compute(net,test_data[,2:6])
MSE.net <- sum((test_data$mpg - predict_net_test$net.result)^2)/nrow(test_data)
Lm_Mod <- lm(mpg~., data=train_data)
summary(Lm_Mod)
predict_lm <- predict(Lm_Mod,test_data)
MSE.lm <- sum((predict_lm - test_data$mpg)^2)/nrow(test_data)
Lm_Mod <- lm(mpg~., data=train_data)
summary(Lm_Mod)
predict_lm <- predict(Lm_Mod,test_data)
MSE.lm <- sum((predict_lm - test_data$mpg)^2)/nrow(test_data)
par(mfrow=c(1,2))
plot(test_data$mp_g,predict_net_test$net.result,col='black',main='Real vs predicted for neural network',pch=18,cex=4)construction
abline(0,1,lwd=5)
plot(test_data$mpg,predict_lm,col='black',main='Real vs predicted for linear regression',pch=18,cex=4)
abline(0,1,lwd=5)
ISLR库命令加载自动数据集,如预期的那样,它包含在ISLR库中,并将其保存在给定的数据框中。使用View函数查看任意R对象结构的压缩显示。
探索性分析
我们进行探索性分析以了解数据的分布方式并获得初步知识。该过程从探索性分析开始,追踪预测因子与客观的关系图。预测变量有以下变量:汽缸、排量、马力、重量、加速度、年份、原点和名称。目标是mp_g变量,其中包含每加仑样车数量的测量值。
以下是绘制剩余数量的预测值(气缸,位移,马力和加速度)与目标值(mpg)的其他图表。
R代码
par(mfrow=c(2,2))
plot(data$cylinders_48, data$mp_g, pch=data$origin_c,cex=1)
plot(data$dis_placement, data$mp_g, pch=data$origin_c,cex=1)
plot(data$horse_power, data$mp_g, pch=data$origin_c,cex=1)
plot(data$acceleration_mph, data$mp_g,
pch=data$origin_c,cex=1)(/code)
构建神经网络模型
建议在运行神经网络之前对数据进行标准化。通过规范化,数据单元减少,允许用户轻松关联来自不同位置的数据。并不是所有数据都需要标准化。然而,我们已经注意到,当数值被归一化时,神经网络通常形成更实用更好的预测。
实际上,如果数值数据没有被标准化并且两个预测变量的大小非常难以接近,则神经网络权重值的变化对更高的值具有更大的相关影响。有几种标准化技术,其中min-max标准化和Z-评分归一化是优选的,因为它们简单易行。Z-评分技术包括将列的平均值减去列中的每个值,然后将结果分配给列的标准偏差。
一旦数据被标准化,一切都被设置为构建神经网络。在构建神经网络时,需要考虑以下几点:
· 少数神经元会导致系统出现高误差,因为预测部分可能过于复杂而无法捕获少量神经元。
· 大量神经元会过度拟合训练数据而不能很好地诱导。
· 每个隐藏层中的神经元数量应该大约是输入和输出层的大小,也可能是平均值。
· 每个隐藏层中的神经元数量不应超过该输入神经元数量的两倍,因为你可能在给定点上过度拟合。
在此图中,我们有五个输入变量(cylinders, displacement, horsepower, weight, 和acceleration)和一个变量输出(mpg)。 让三个神经元在隐藏层中。
net_# = neuralnet(f,data=train_data,hidden=3,linear.output=TRUE)
隐藏参数允许具有每个隐藏层的神经元数量的向量,而应用参数linear.output来指定是否要进行回归(linear.output = TRUE)或分类(linear.output = FALSE)。
神经网络组件的三个主要特征如下:
长度:这是组件长度,它显示了包含此类型的元素的数量。
分类:包含组件类的特定指示。
模式:一种组件。