系统环境基本配置(3)

1. 运行wordcount[7]

Wordcount相当于helloword这样的程序,不必多说。在平台正常启动的情况下,建立input的文件夹和两个文件test1,test2,充填大量的“hello world”和“hello Hadoop”。将input上传到hdfs上,命令为haoop fs –put /usr/lib/hadoop2.0.0-alpha/input/* input。然后在/share/hadoop/mapreduce下执行hadoop jar hadoop-mapreduce-examples-2.0.0-alpha.jar wordcount input output,等待运行,完毕后将output下载hadoop fs –get output,然后查看运行结果cat output/*。

2. 运行randomwriter

RandomWriter(随机写)例子利用 Map/Reduce把数据随机的写到dfs中。在由于没有设置,程序直接把空间写满了才停下来。导致虚拟机慢的要死,终于死机了一次。下面是产生的文件列表:

系统环境基本配置

3. 浏览器实时监视

Hadoop2.0的监视功能十分强大,不仅能够实时观测到节点的状态,而且在应用提交后,就可以监测到应用执行的实时动态。对各部分产生的日志也可以方便地查阅,界面也算漂亮,下面是一个截图,第一个任务失败的原因是文件的目录没写正确,第二第三个运行成功。

系统环境基本配置

小结:

由于在运行过程中还有很多错误提示,这两个实例只是证明这个平台勉强可以运行了。

总结:

从6月25号到今天7月17号共三周多的努力,基本上完成了这个平台的搭建。有一些收获:

熟悉了linux操作系统

初步了解了hadoop的工作原理

摸索了一些发现问题和解决问题的方法

  这些收获写在这里,才发现我的入门过程还很久远,补课这个事情的确是很愁人的,既然走出第一步,剩下的就是坚持。下一步的工作是在平台上进行开发,这个难度比较大,可能会在hadoop原理的深入学习和Java编程的学习上花费大量的时间和精力。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/78ad42ba9785e8a9bc3ae05b5349cc92.html