Hadoop中的文件操作 FileSystem
文件路径问题：
本地文件（linux）的路径要写为 file:///开头的，然后加上实际文件路径。例如：file:///home/myHadoop/test
集群中的文件路径为以/开头。例如：/temp/test
命令行操作，以删除为例，在hadoop集群中的任何一台节点上操作：
1.删除集群中的文件
hdfs dfs -rmr /temp/test hadoop 2.2.0写法
hadoop fs -rmr /temp/test 旧版本的写法
2.删除本地机器节点的命令
hdfs dfs -rmr file:///home/myhadoop/test
hadoop fs -rmr /temp/test
查看hadoop Filesystem shell命令：http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/FileSystemShell.html
java操作文件 org.apache.hadoop.fs.FileSystem类
Fileystem是一个抽象类，可以用它来实现获取本地文件系统或者集群文件系统
Configuration conf = new Configuration();
Fileystem fs = FileSystem.get(URI.create(path), conf);
其中path为上面所说的文件路径，若是集群文件路径，则获得集群文件系统，若是本地文件路径，则获得本地文件系统。
例子：实现copyFromLocal的shell命令
package com.alm.main;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class FileSystemTest {
public static void main(String args[]) throws IOException{
FileSystem fs;
Configuration conf = new Configuration();
fs = FileSystem.get(URI.create("hdfs://192.168.1.85:9000"), conf);
fs.copyFromLocalFile(false, true, new Path("file:////home/myhadoop2/Desktop/testcp1"), new Path("hdfs://192.168.1.85:9000/testforcp/testcp1"));
}
}
相关阅读：