前言:
提交Hadoop作业时我们遇到了许多的问题,在网上也查过许多的文章,有许多对hadoop提交作业原理进行分析的文章,却总看不到对具体操作过程讲解的文章,导致我们在eclipse提交的作业总是在eclipse虚拟的云环境中运行。慢慢摸索中,一个一个的作业提交方法被我们发现,呵呵,现在总结一下吧。
相关阅读:
单机版搭建Hadoop环境图文教程详解
方案:
1、用命令行方式提交
2、在eclipse中提交作业
3、采用eclipse的插件实现项目的提交
方案一:用命令行方式提交
前提:成功搭建一个hadoop集群,或成功部署一个伪分布式,并启动hadoop。
提交过程:
1、在eclipse中将我们的项目打成一个jar包,放到hadoop的安装目录下。
2、在命令行中提交作业,这里以hadoop自带的wordcount程序为例:
(1)将统计文件传到hdfs,如图(1)
(2)向云提交作业,如图(2)
提交作业时,如果遇到错误:Name node in safe mode,可采用下面的解决方法,如图(3)
(3)列出hdfs上输出文件夹下的文件,如图(4)
(4)在命令行中打印统计好的结果,如图(5)
(注:在命令行中提交作业是按hadoop/conf下的配置文件提交的)