Hadoop、Spark 搭建过程遇到的问题(win10环境)

1、JAVA_HOME,在配置环境变量的时候,JDK安装时默认的program file 路径,有空格。这里在配置的地方,要将 C:\Program Files (x86)\Java  路径修改为 C:\Progra~1\Java 。否则hadoop启动会报错 (JAVA_HOME is set incorrect)。

2、Hadoop 配置自身的HADOOP_HOME。 下载hadoop-2.7.2.tar.gz,解压后的目录,不能有空格。

3、下载scala。在官网下载msi安装包。安装后,自动设置路径到PATH环境变量。

4、Spark配置自身的SPARK_HOME。下载spark-2.1.1-bin-hadoop2.7.tgz,解压后的目录,不能有空格。添加SPARK_HOME到PATH环境变量。

5、中文分词,找了jcseg。目前正在试用。(http://git.oschina.net/lionsoul/jcseg

相关推荐