Hadoop集群环境部署(2)

1、tar -zxvf chukwa-0.4.0.tar.gz
cp -r chukwa-0.4.0 /usr/local/cdh3u1/
  
2、 修改profile文件
export CHUKWA_HOME=$CLOUDER_HOME/chukwa-0.4.0
3、 修改配置文件
chukwa-env.sh主要配置Hadoop的jar包位置,Java_HOME,HADOOP_HOME,CHUKWA_PID_DIR,CHUKWA_LOG_DIR,JAVA_LIBRARY_PATH
collectors注意是host:port格式的collector列表
chukwa-collector-conf.xml主要配置文件系统和目录
agents日志收集客户端日志搜集客户端列表,如果用start-all.sh|start-agents.sh则会启动所有客户端
chukwa-agent-conf.xml
initial_adaptors配置默认的adaptors奇怪iostat命令没有

4、 chukwa version可以查看版本信息 如果提示hadoop-*-core。jar不存在,参考最后提示.
5、 要将hadoop-core*.jar 文件拷贝到lib目录下,才能用./bin/start-agents.sh 启动agent
6、start-collectors.sh 默认启动8080端口.在collects中配置
:9090/chukwa?ping=true 可以看到页面信息

Date:1314171233587
Now:1314171235352
numberHTTPConnection in time window:0
numberchunks in time window:0
lifetimechunks:0

7、hicc【还未配置成功,bug太多】
需要配置数据库属性jdbc.conf
chukwa hicc默认监听8080端口
chukwa hicc stop
8、如果要运行start-data-postprocess.sh 的话,需要将/jackson-all.jar拷贝至相应路径
9、运行命令
start-all.sh
stop-all.sh
start-agents.sh
stop-agents.sh

如果遇到不能停止服务的时候,需要修改chukwa文件中kill -1 pid为kill -TERM pidfile 或者kill -15

提示:
如果start-collector.sh和start-agents.sh的时候提示/usr/local/cdh3u1/hadoop-home下面找不到hadoop-*-core.jar包,
修改chukwa-env.sh文件中得#export HADOOP_JAR=${HADOOP_HOME}/build/hadoop-*-core.jar

chukwa默认配置有四个监听系统负载的adapter,调用系统命令,但是有的版本系统没有预装命令,可按如下方式安装

yum install sysstat
安装iostat  sar
【备注:】

kill常用信号

    编号            名称             描述
    1     HUP   Hang up
    2     INT   Interrupt
    3     QUIT  Stop running
    9     KILL  Unconditionally terminate
    11    SEGV  Segment violation
    15    TERM  Terminate if possible
    17    STOP  Stop unconditionally, but don't terminate
    18    TSTP  Stop or pause, but continue to run in background
    19    CONT  Resume exectuion after STOP or TSTP

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/wyyzdy.html