SparkStreaming+Kafka整合
1.需求
使用SparkStreaming，并且结合Kafka，获取实时道路交通拥堵情况信息。
2.目的
对监控点平均车速进行监控，可以实时获取交通拥堵情况信息。相关部门可以对交通拥堵情况采取措施。
e.g.1.通过广播方式，让司机改道。
2.通过实时交通拥堵情况数据，反映在一些APP上面，形成实时交通拥堵情况地图，方便用户查询。
3.架构
1.客户端产生数据，并且把数据发送到Kafka集群的spark-real-time-vehicle-log的topic中
2.SparkStreaming从Kakfa集群的Topic: spark-real-time-vehicle-log中读取数据
3.SparkStreaming使用窗口函数对数据流进行处理，每个5秒，处理过去1分钟的数据
4.把结果打印(这里也可以把结果保存到关系型数据库，供WebUI显示)
4.源码
RealTimeVehicleSpeedMonitorMain
5.更多
想要了解更多戳Spark Examples 准没错
========================================================
More reading,and english is important.
I'm Hongten
Hongten博客排名在100名以内。粉丝过千。
Hongten出品，必是精品。
E | hongtenzone@foxmail.com B |
========================================================