如何从HDFS上读取文件内容

用这个命令bin/Hadoop fs -cat 可以将HDFS上的文件内容读取到控制台。

也可以采用HDFS的API来读取。如下:

import java.net.URI;
import java.io.InputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class FileCat
{
 public static void main(String[] args) throws Exception
 {
  if(args.length != 1){
  System.out.println("Usage FileCat <target>");
  System.exit(1);
  }
  Configuration conf = new Configuration();
  FileSystem hdfs = FileSystem.get(URI.create(args[0]),conf);
  InputStream in = null;
  try{
  in = hdfs.open(new Path(args[0]));
  IOUtils.copyBytes(in,System.out,4096,true);
  }finally{
  IOUtils.closeStream(in);
  }
 }
}

相关阅读:

将本地文件拷到HDFS中

从HDFS下载文件到本地

将本地文件上传至HDFS

HDFS基本文件常用命令

Hadoop中HDFS和MapReduce节点基本简介

《Hadoop实战》中文版+英文文字版+源码【PDF】

Hadoop: The Definitive Guide【PDF版】

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/f2006e115aab44bf4231799ce7979fe0.html