项目 GitHub 地址:https://github.com/heibaiying/BigData-Notes
✒️ 前 言
大数据常用技术栈思维导图
大数据常用软件安装指南
一、Hadoop分布式文件存储系统——HDFS
分布式计算框架——MapReduce
集群资源管理器——YARN
Hadoop单机伪集群环境搭建
Hadoop集群环境搭建
HDFS常用Shell命令
HDFS Java API的使用
基于Zookeeper搭建Hadoop高可用集群
二、HiveHive简介及核心概念
Linux环境下Hive的安装部署
Hive CLI和Beeline命令行的基本使用
Hive 常用DDL操作
Hive 分区表和分桶表
Hive 视图和索引
Hive常用DML操作
Hive 数据查询详解
三、SparkSpark Core :
Spark简介
Spark开发环境搭建
弹性式数据集RDD
RDD常用算子详解
Spark运行模式与作业提交
Spark累加器与广播变量
基于Zookeeper搭建Spark高可用集群
Spark SQL :
DateFrame 和 DataSet
Structured API的基本使用
Spark SQL外部数据源
Spark SQL常用聚合函数
Spark SQL JOIN 操作
Spark Streaming :
Spark Streaming 简介
Spark Streaming 基本操作
Spark Streaming 整合 Flume
Spark Streaming 整合 Kafka
四、StormStorm和流处理简介
Storm核心概念详解
Storm单机环境搭建
Storm集群环境搭建
Storm编程模型详解
Storm项目三种打包方式对比分析
Storm集成Redis详解
Storm集成HDFS/HBase
Storm集成Kafka
五、FlinkTODO
六、HBaseHbase 简介
HBase系统架构及数据结构
HBase基本环境搭建(Standalone /pseudo-distributed mode)
HBase集群环境搭建
HBase常用Shell命令
HBase Java API
Hbase 过滤器详解
HBase 协处理器详解
HBase 容灾与备份
HBase的SQL中间层——Phoenix
Spring/Spring Boot 整合 Mybatis + Phoenix
七、KafkaKafka 简介
基于Zookeeper搭建Kafka高可用集群
Kafka 生产者详解
Kafka 消费者详解
深入理解Kafka副本机制
八、ZookeeperZookeeper 简介及核心概念
Zookeeper单机环境和集群环境搭建
Zookeeper常用Shell命令
Zookeeper Java 客户端——Apache Curator
Zookeeper ACL权限控制
九、FlumeFlume简介及基本使用
Linux环境下Flume的安装部署
Flume整合Kafka
十、SqoopSqoop简介与安装
Sqoop的基本使用
十一、AzkabanAzkaban简介
Azkaban3.x 编译及部署
Azkaban Flow 1.0 的使用
Azkaban Flow 2.0 的使用
十二、ScalaScala简介及开发环境配置
基本数据类型和运算符
流程控制语句
数组——Array
集合类型综述
常用集合类型之——List & Set
常用集合类型之——Map & Tuple
类和对象
继承和特质
函数 & 闭包 & 柯里化
模式匹配
类型参数
隐式转换和隐式参数
十三、公共内容大数据应用常用打包方式