大数据学习初体验：Linux学习+Shell基础编程+hadoop集群部署
距离上次博客时间已经9天，简单记录下这几天的学习过程
2020-02-15 10:38:47
一、Linux学习
关于Linux命令，我在之前就已经学过一部分了，所以这段时间的linux学习更多的是去学习Linux系统的安装以及相关配置多一些，命令会一些比较常用的就够了，下面记录下安装配置Linux系统时的注意事项。
这里配置的虚拟机的内存为4g
使用的 CentOS-6.5-x86_64-minimal.iso 映射文件
在进入linux系统中时，需要将虚拟机的主机名修改成自己想要的名字，还要配制好网络与IP
#cat查看 vi编辑 修改 cat /etc/sysconfig/network vi /etc/sysconfig/network
网络参数配置
vi /etc/sysconfig/network-scripts/ifcfg-eth0
需要修改一下几个地方
- ONBOOT=yes: 表示启动这块网卡
- BOOTPROTO=static：表示静态路由协议，可以报错IP固定
- HWADDR：表示虚拟机MAC地址，需要与当前虚拟机MAC地址一致
- IPADDR：表示虚拟机的IP地址
- GATEWAY：表示虚拟机网关，通常都是将IP地址最后一个位数变为2
- NETMASK：便是虚拟机子网掩码，通常都是255.255.255.0
- DNS1：表示域名解析器，此处采用Google提供的免费DNS服务器8.8.8.8(也可以设置w为PC端电脑对应DNS)
HWADDR查找位置如下
将这个MAC地址复制即可。
接下来寻找IP地址的区间
我的IP地址只能是在192.168.42.128 - 192.168.42.254 这个区间
GATEWAY的取值通常是xxx.xxx.xx.2 我的是192.168.42.2
配制好之后，执行 reboot 命令，重启虚拟机，使用 ifconfig 命令查看ip信息
最后在本地网络连接中WLAN共享网络
即可访问网络
输入命令 ping www.baidu.com
此时，就是虚拟机就可以上网了。
二、Shell编程
这里推荐几个网址进行shell学习
https://www.runoob.com/linux/linux-shell.html
https://blog.csdn.net/weixin_45093060/article/details/94594130
https://blog.csdn.net/happiness_llz/article/details/82809789
三、hadoop集群部署
第一次接触hadoop，部署了两天才部署成功，此过程是相当煎熬的(T＿T)/~~
这里也只是简单写出我认为比较麻烦的步骤与需要注意的地方。
1.ssh免密登录功能的配置
！需要在每台虚拟机上都操作一遍
ssh-keygen -t rsa #创建密钥 ssh-copy-id hadoop02 #分享到免密登录的虚拟机
2.在执行一个jar包时，可能会出现系统内存和资源分配不足的情况而无法将任务执行完，卡死
或者是nodemanager节点无法启动 || 启动后自动结束的情况
在 yarn-site.xml 中添加
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>已上这些代码，可以解决这些问题。