9.配置Demux
对于这个不要配置什么直接运行就好了,选择一个节点,我是在非namenode上运行的如下命令:
$CHUKWA_HOME/bin/start-data-processors.sh
(注意这个时候,Hadoop,collectors,agents已经启动起来了)
开始运行后的直接效果是jps多出3个进程,分别是PostProcessorManager,ChukwaArchiveManager,Demuxmanager
同时通过查看hdfs,可以发现/chukwa/目录下多了好几目录,分别是/chukwa/archivesProcessing, /chukwa/dataSinkArchives, /chukwa/demuxProcessing,随着时间的增加,数据分析进行的深入,会在hdfs上的/chukwa/目录下生成更多的目录,最终目录结构同
10.配置数据库
Chukwa0.4.0是通过将分析好的数据从hdfs上下载到本地mysql数据库中,然后通过hicc命令来进行图形化显示的,而对于chukwa0.5.0是通过hbase而非本地的mysql来处理的,所以对于chukwa0.4.0,我们还得装mysql数据库,我个人认为,安装数据库的时候不需要在所有的节点上安装,这里我选择的是同运行的Demux是同一个节点,我最终的hicc也是单独运行在这个单独的节点上。
(1)从mysql官网上下载mysql
#downloads这个网上可以下载到mysql-5.6.3-m6-linux2.6-x86_64.tar.gz,
(2)将该文件解压到$CHUKWA_HOME/opt/目录下,后面我用$MYSQL_HOME代表mysql所在目录
(3)我给系统添加一个mysql用户,并给予root权限,操作如下:
useradd mysql
chmod +w /etc/passwd
vi /etc/passwd (对该文件mysql用户修个为root组,即,后面的id都改为了0)
chmod –w /etc/passwd
(4)执行以下命令:
cd $MYSQL_HOME
./scripts/mysql_install_db
./bin/mysqld_safe &
./bin/mysqladmin –u root create zlhchukwa
./bin/mysql –u root zlhchukwa<$CHUKWA_HOME/conf/database_cerate_tables.sql
(此时可以进入到数据库当中检查是否在数据库当中建了一个叫做的zlhchukwa的database,并且在该database当中是否产生了一些tables)
(5)配置mysql replication
$MYSQL_HOME/mysql –u root –p
Enter password:
GRANT REPLICATION SLAVE ON *.* TO 'root'@'%' IDENTIFIED BY '';FLUSH PRIVILEGES;(事实上,我并不知道那个username域和password域该填些什么,所以就先这么填这先)
(6)配置$CHUKWA_HOME/conf/jdbc.conf文件,
<clustername>=jdbc:mysql://localhost:3306/<clustername>?user=root
我的配置内容如下:
zlhchukwa=jdbc:mysql://localhost:3306/zlhchukwa?user=root
11.启动进程将数据从hdfs下载到数据库
在装有数据库的那个非namenode节点上,运行$CHUKWA_HOME/bin/dbAdmin.sh
(注:在chukwa0.4.0当中是没有这个脚本的,我是从chukwa0.3.0的bin目录上面弄过来的)
该进程,似乎是每5分钟显示并操作一次,我们放他在后台运行就好
12.运行hicc进行图形化查看
$CHUKWA_HOME/bin/chukwa hicc
:8080/hicc/