Fedora 15 Hadoop单机配置方法

1、下载并安装JDK

    安装目录:/soft/java/jdk1.6.0_26

2、下载并解压Hadoop

    解压目录:/soft/java/hadoop/hadoop-0.21.0

3、配置环境变量

    export JAVA_HOME=/soft/java/jdk1.6.0_26
    export JRE_HOME=/soft/java/jdk1.6.0_26/jre
    export HADOOP_HOME=/soft/java/hadoop/hadoop-0.21.0
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

4、将以下内容写入到/conf/hadoop-env.sh

    export JAVA_HOME=/soft/java/jdk1.6.0_26
    export JRE_HOME=/soft/java/jdk1.6.0_26/jre
    export HADOOP_HOME=/soft/java/hadoop/hadoop-0.21.0
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

5、配置Hadoop安装目录/conf/core-site.xml文件

    在configuration节点中增加以下内容:

        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/tmp/hadoop/hadoop-${user.name}</value>
        </property>

6、配置Hadoop安装目录/conf/hdfs-site.xml文件

    在configuration节点中增加以下内容:

        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

7、配置Hadoop安装目录/conf/mapred-site.xml文件

    在configuration节点中增加以下内容:

        <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
        </property>

8、配置Hadoop安装目录/conf/mapred-site.xml文件

    在configuration节点中增加以下内容:

        <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
        </property>


9、配置 SSH 免密码登陆

    a、ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
    b、cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    c、chmod 600 ~/.ssh/authorized_keys
    d、sudo service sshd restart

10、重启服务器或者使用source使配置文件生效(/etc/profile、Hadoop安装目录/conf/hadoop-env.sh)

11、格式化nameNode(配置好环境就可以直接使用以下命令格式化nameNode)

    hadoop namenode -format

12、运行Hadoop(配置好环境就可以直接使用以下命令启动脚本)

    启动:start-all.sh
    停止:stop-all.sh
    创建目录:hadoop dfs -mkdir 目录名称
    浏览目录:hadoop dfs -ls 目录名称
    复制文件到目录:hadoop dfs -copyFromLocal 文件名称 目录名称

       
    hadoop dfs 查询帮助

13、安装完毕,享受hadoop带给你的快乐吧。

相关推荐