在Ubuntu Server 8.10上搭建Hadoop-0.19.0环境
在Ubuntu Server 8.10上搭建基于Hadoop-0.19.0的分布式运行环境
(VMware workstation版)
长期以来，一直很喜欢研究分布式的技术，也一直想尝试搭建一个分布式编程环境，最近看到一些文章讨论Hadoop很多，而且也看到Google也使用Hadoop开发了搜索引擎，因此想尝试着自己也弄一个玩玩，在网上查到了几篇文章讨论了Hadoop环境的搭建，但是讲的都不是很明白，我跟随这些文章Step by step，本以为会是很顺利，但是却遇到诸多磕磕绊绊，很棘手，在网上查了很久，试了很多方法，走了很多弯路才最终解决。好在所有问题都解决了，昨天晚上，终于把环境搭起来，并运行了一遍，Hadoop的Wordcount例子，很顺利地通过了，今天准备把自己的这些天的“搭建之旅”，讲出来，算是给自己的工作做一个注解吧。
之所以选择Ubuntu，是因为这个操作系统很简洁，很容易配置，而且占用硬盘空间比较小，我的T61上2G内存支持2个虚拟机Ubuntu服务器是没问题的，而且速度很快，虚拟机环境我选择的是VMware-workstation-6.5.1-126130，官网上Download的。开始在我的XP Professional上安装VMware，并在它上面安装Ubuntu Server 8.10，一切都很顺利，都是默认设置，包括硬盘(8G)和内存(512M)分配等，配置低可要吃苦头哦，值得一提的有两点，
1、Ubuntu在安装时候需要把SSH Server安装上，这样免得你以后安装SSH软件比较麻烦，因为Hadoop是通过SSH来与各个机器通讯的。安装时候记得不不要安装Ubuntu自带的JDK，也就是Virual Machine Host（BSD OpenJDK），没用，我们需要的SUN JDK。
2、是网络配置，现在网上很多讲VM上网络配置的文章，我看了好几篇都没有看明白，也是因为自己一直没有碰过VMware。别的不说了，我只说一下我的经历吧，我在家里搭建了一个环境，在单位也搭建了一个环境。家里的是宽带PPPoE上网的，单位是静态IP的局域网通过代理上网。由于我不想用NAT上网，所以就都用了Bridged的方式，而且都是Replicated physical network connection state，这种方式使得虚拟机都在独立存在于网上的，容易访问，有种看得见摸得找的感觉。
网址的配置
家里：我使用的是DHCP动态分配网址，配置文件/etc/network/interfaces，我没有改动，就是：
iface eth0 inet dhcp
auto eth0
单位：修改了/etc/network/interfaces，添加了IP地址，子网掩码，网关。
iface eth0 inet static
address 10.8.83.200
netmask 255.255.255.0
gateway 10.8.83.254
auto eth0
命令如下：sudo vi /etc/network/interfaces，至于vi的操作命令俺在这里就不说了，自己上网查吧。
DNS配置：
家里的配置，我也没有管，也是自动获取的。而单位的配置是修改了/etc/resolv.conf文件。在文件的最末行添加了以下代码：nameserver 10.8.83.11。
还有重要的两个配置需要注意：
1、需要配置/etc/hostname:
命令如下：sudo /etc/hostname
改掉localhost，换成，你自己喜欢的名字，如我的就是ubuntu1，这样你安装的系统就有了一个主机名了，但是一定唯一。
2、需要配置/etc/hosts
命令如下：sudo /etc/hosts
打开这个文件在文件第一行会显示如下文字：
127.0.0.1 localhost
下面的文字不要看。添加上一行如下：
127.0.0.1 ubuntu1.localdomain ubuntu1
然后保存文件。如果你是静态IP，将127.0.0.1换成你所指定的IP，如果你是动态DHCP的IP，那么你需要查找到动态分配给这个虚拟机的IP，然后替换127.0.0.1。
这样网络配置就完成了，重启网络使之生效：sudo /etc/init.d/networking restart
由于单位是通过代理来上网的，因此单位还需要配置代理，代理在安装的时候我就配置过，可一上网就连接不上，我估计是配置错了，上网一查，很多人说如果设置全局代理,可以在profile里增加配置。其实我的需求很简单，就是能apt update就可以了，因此选择修改~/.bashrc，在.bashrc文件末尾添加如下内容（根据你的实际情况替换yourproxyaddress和proxyport）:
export http://[user:password]@yourproxyaddress:proxyport。
使用的命令如下：sudo vi ~/.bashrc
这样在家里和单位尝试 ping www.sohu.com，都可以ping通。没问题。