Hadoop作业提交多种方案具体流程详解

前言:

提交Hadoop作业时我们遇到了许多的问题,在网上也查过许多的文章,有许多对hadoop提交作业原理进行分析的文章,却总看不到对具体操作过程讲解的文章,导致我们在eclipse提交的作业总是在eclipse虚拟的云环境中运行。慢慢摸索中,一个一个的作业提交方法被我们发现,呵呵,现在总结一下吧。

相关阅读:

单机版搭建Hadoop环境图文教程详解  

方案:

1、用命令行方式提交
2、在eclipse中提交作业
3、采用eclipse的插件实现项目的提交

方案一:用命令行方式提交

前提:成功搭建一个hadoop集群,或成功部署一个伪分布式,并启动hadoop。

提交过程:

1、在eclipse中将我们的项目打成一个jar包,放到hadoop的安装目录下。

2、在命令行中提交作业,这里以hadoop自带的wordcount程序为例:

(1)将统计文件传到hdfs,如图(1)

(2)向云提交作业,如图(2)

提交作业时,如果遇到错误:Name node in safe mode,可采用下面的解决方法,如图(3)

(3)列出hdfs上输出文件夹下的文件,如图(4)

Hadoop作业提交多种方案具体流程详解

(4)在命令行中打印统计好的结果,如图(5)

(注:在命令行中提交作业是按hadoop/conf下的配置文件提交的)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/7c3a5603183c81f92ff734cd06e9d3f1.html