大数据项目实战---电商埋点日志分析（第一部分，往hdfs中写入埋点日志的数据）

https://www.bilibili.com/video/BV1L4411K7hW?p=31&spm_id_from=pageDriver

架构：

 
数据流
生产Flume读取日志文件做简单ETL后写入到kafka，然后消费Flume从kafka中将数据读出写入到hdfs。项目中还应用了zookeeper来协调分布式kafka和分布式Hadoop。

步骤
1）制作埋点日志dummy文件

1.1）编写Java程序生成埋点日志文件，并Maven打包（期望完成时间2021-7-2，实际完成时间2021-7-3）

1.2）将打好的jar包传到66服务器和88服务器。
2）搭建Hadoop环境
安装Hadoop，并进行验证和调优。

<Hadoop_Home>/etc/hadoop/hdfs-site.xml <Hadoop_Home>/etc/hadoop/core-site.xml <Hadoop_Home>/etc/hadoop/yarn-site.xml <Hadoop_Home>/etc/hadoop/mapred-site.xml <Hadoop_Home>/etc/hadoop/hadoop-env.sh <Hadoop_Home>/etc/hadoop/mapred-env.sh <Hadoop_Home>/etc/hadoop/yarn-env.sh <Hadoop_Home>/etc/hadoop/workers zkServer.sh start /home/user/hadoop-3.2.2/sbin/hadoop-daemon.sh start zkfc /home/user/hadoop-3.2.2/sbin/start-dfs.sh /home/user/hadoop-3.2.2/sbin/start-yarn.sh