文件路径问题:
本地文件(linux)的路径要写为 file:///开头的,然后加上实际文件路径。例如:file:///home/myHadoop/test
集群中的文件路径为以/开头。例如:/temp/test
命令行操作,以删除为例,在hadoop集群中的任何一台节点上操作:
1.删除集群中的文件
hdfs dfs -rmr /temp/test hadoop 2.2.0写法
hadoop fs -rmr /temp/test 旧版本的写法
2.删除本地机器节点的命令
hdfs dfs -rmr file:///home/myhadoop/test
hadoop fs -rmr /temp/test
查看hadoop Filesystem shell命令:
java操作文件 org.apache.hadoop.fs.FileSystem类
Fileystem是一个抽象类,可以用它来实现获取本地文件系统或者集群文件系统
Configuration conf = new Configuration();
Fileystem fs = FileSystem.get(URI.create(path), conf);
其中path为上面所说的文件路径,若是集群文件路径,则获得集群文件系统,若是本地文件路径,则获得本地文件系统。
例子:实现copyFromLocal的shell命令
package com.alm.main;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class FileSystemTest {
public static void main(String args[]) throws IOException{
FileSystem fs;
Configuration conf = new Configuration();
fs = FileSystem.get(URI.create("hdfs://192.168.1.85:9000"), conf);
fs.copyFromLocalFile(false, true, new Path("file:////home/myhadoop2/Desktop/testcp1"), new Path("hdfs://192.168.1.85:9000/testforcp/testcp1"));
}
}
相关阅读:
Ubuntu 13.04上搭建Hadoop环境