CDH4各个脚本文件的作用

1、sbin目录下的
     1、distribute-exclude.sh
          这个脚本用来将exclude文件分发到各个Namenode上。
     2、Hadoop-setup-conf.sh
          1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。
          2、针对特定的配置文件增加配置项
          3、配置其他多个配置项
     3、httpfs.sh
          1、配置tomcat启动参数
          2、配置httpfs-config.sh
          3、启动tomcat,提供httpfs服务
     4、hadoop-setup-hdfs.sh
          1、在hdfs空间内添加用户,并为用户构建默认的用户目录
     5、 hadoop-setup-applications.sh
          1、与hadoop-setup-hdfs.sh大致相同,也是用来在hdfs空间中创建目录的,但是是在app目录下创建。
     6、refresh-namenodes.sh
          1、利用dfsadmin对所有的namenodes进行refresh
     7、hdfs-config.sh
          1、调用libexec/hadoop-config.sh来完成相关的任务

2、libexec目录下的
     1、hadoop-config.sh
          1、设置各种Hadoop启动参数
          2、设置java-home,classpath等
          3、设置各种Hadoop路径
     2、httpfs-config.sh
          1、export所有的tomcat环境运行时需要的参数
     3、hdfs-config.sh
          1、针对hdfs的一个hadoo-conf.sh的包装,所有的工作委托给hadoop-conf.sh来进行
     4、mapred-config.sh
          1、针对mapped的一个hadoo-conf.sh的包装,所有的工作委托给hadoop-conf.sh来进行
     5、yarn-config.sh
          1、针对yarn的一个hadoo-conf.sh的包装,所有的工作委托给hadoop-conf.sh来进行

3、bin目录下的
     1、hadoop
          1、真正运行java程序的,以前的版本就靠这个来真正call到java程序,但是现在依靠的hdfs和mapred来各自完成自己的
          2、现在的版本主要完成fs的操作以及log操作,RunJar,以及获取log,version等基本任务
     2、hdfs
          1、将dfs的工作在这个脚本内完成
          2、由外层的start/stop-dfs发起调用来完成各个daemon的启动

3、自身发起调用完成dfsadmin,以及ha管理等
     3、mapred
          1、完成mapreduce的各个功能操作
     4、rcc
          1、作为Hadoop record compiler来完成相关操作
     5、yarn
          1、完成yarn的各项功能操作

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/af6da0d194f460369e3581359c21bea2.html