https://www.bilibili.com/video/BV1L4411K7hW?p=31&spm_id_from=pageDriver
架构:
数据流
生产Flume读取日志文件做简单ETL后写入到kafka,然后消费Flume从kafka中将数据读出写入到hdfs。项目中还应用了zookeeper来协调分布式kafka和分布式Hadoop。
步骤
1)制作埋点日志dummy文件
1.1)编写Java程序生成埋点日志文件,并Maven打包(期望完成时间2021-7-2,实际完成时间2021-7-3)
1.2)将打好的jar包传到66服务器和88服务器。
2)搭建Hadoop环境
安装Hadoop,并进行验证和调优。
<Hadoop_Home>/etc/hadoop/hdfs-site.xml <Hadoop_Home>/etc/hadoop/core-site.xml <Hadoop_Home>/etc/hadoop/yarn-site.xml <Hadoop_Home>/etc/hadoop/mapred-site.xml <Hadoop_Home>/etc/hadoop/hadoop-env.sh <Hadoop_Home>/etc/hadoop/mapred-env.sh <Hadoop_Home>/etc/hadoop/yarn-env.sh <Hadoop_Home>/etc/hadoop/workers zkServer.sh start /home/user/hadoop-3.2.2/sbin/hadoop-daemon.sh start zkfc /home/user/hadoop-3.2.2/sbin/start-dfs.sh /home/user/hadoop-3.2.2/sbin/start-yarn.sh