几十条业务线日志系统如何收集处理?(2)

由于Flume的日志源可以来自另外一个Flume,可以同时发送给多个目标,且Flume自身可以做负载,由此可以设计出高可用,可扩展,高负载的日志架构。

应用场景

比如我们在做一个电子商务网站,然后我们想从消费用户中访问点特定的节点区域来分析消费者的行为或者购买意图. 这样我们就可以更加快速的将他想要的推送到界面上,实现这一点,我们需要将获取到的她访问的页面以及点击的产品数据等日志数据信息收集并移交给Hadoop平台上去分析.而Flume正是帮我们做到这一点。现在流行的内容推送,比如广告定点投放以及新闻私人定制也是基于次,不过不一定是使用FLume,毕竟优秀的产品很多,比如facebook的Scribe,还有Apache新出的另一个明星项目chukwa,还有淘宝Time Tunnel。

flume+kafka+storm+mysql构建大数据实时系统

几十条业务线日志系统如何收集处理?

Flume+HDFS+KafKa+Strom实现实时推荐,反爬虫服务等服务在美团的应用

几十条业务线日志系统如何收集处理?

Flume+Hadoop+Hive的离线分析网站用户浏览行为路径

几十条业务线日志系统如何收集处理?

 Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析

几十条业务线日志系统如何收集处理?

Flume+Spark + ELK新浪数据系统实时监控平台

几十条业务线日志系统如何收集处理?

列举不完了 ……………………………………………………………………

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/8853563b996bdfee8a72ef1ca3202fc4.html