Hadoop中的文件操作 FileSystem

文件路径问题:

本地文件(linux)的路径要写为 file:///开头的,然后加上实际文件路径。例如:file:///home/myHadoop/test

集群中的文件路径为以/开头。例如:/temp/test

命令行操作,以删除为例,在hadoop集群中的任何一台节点上操作:

1.删除集群中的文件

hdfs dfs -rmr  /temp/test    hadoop 2.2.0写法

hadoop fs -rmr /temp/test  旧版本的写法

2.删除本地机器节点的命令

hdfs dfs -rmr  file:///home/myhadoop/test

hadoop fs -rmr /temp/test

查看hadoop Filesystem shell命令:

java操作文件  org.apache.hadoop.fs.FileSystem类

Fileystem是一个抽象类,可以用它来实现获取本地文件系统或者集群文件系统

Configuration conf  = new Configuration();

Fileystem fs = FileSystem.get(URI.create(path), conf);

其中path为上面所说的文件路径,若是集群文件路径,则获得集群文件系统,若是本地文件路径,则获得本地文件系统。

例子:实现copyFromLocal的shell命令

package com.alm.main;

import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;


public class FileSystemTest {
  public static void main(String args[]) throws IOException{
  FileSystem fs; 
  Configuration conf  = new Configuration();
  fs = FileSystem.get(URI.create("hdfs://192.168.1.85:9000"), conf);
 
  fs.copyFromLocalFile(false, true, new Path("file:////home/myhadoop2/Desktop/testcp1"), new Path("hdfs://192.168.1.85:9000/testforcp/testcp1"));
   
   
  }
}

相关阅读

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/680db5cdac581b6be121a8359c67103d.html