基于AWS的Web日志分析系统架构

AWS提供的服务和基础设施能够在云环境中建设可靠,容错和高可用的Web应用程序。在生产环境中,这些应用产生大量的日志信息。这些数据是任何公司运营web应用程序的重要知识来源,分析日志可以揭示信息,如交通模式,用户行为,市场资料等。

然而,作为Web应用程序的增长和的访问者数量的增加,存储和分析网络日志变得越来越具有挑战性。下图展示了如何使用AWS构建一个可扩展且可靠的大规模日志分析平台。该架构的核心组件是AmazonElastic MapReduce,  这是一个使分析师能够经济方便地进行大数据处理的Hadoop 框架。

基于AWS的Web日志分析系统架构

1.  Web前端服务器运行在Amazon ElasticCompute Cloud (Amazon EC2)实例上.

2.  Amazon CloudFront 是一个CDN,它将静态文件分发给用用户,同时用户低时延和高传输速率的特点,也产生有价值的日志信息。

3.  通过多个web服务器或者边缘节点的并行发送数据,日志文件被周期性地上传到AmazonSimple Storage Service (Amazon S3)。

4.  Amazon ElasticMapReduce 集群来处理数据集,AmazonElastic MapReduce 采用了Hadoop 框架,能够在并行的作业流中处理数据。

5.  当 Amazon EC2 有了未使用的容量时,可以通过SpotPrice削减成本,这一价格是基于可用性和现实请求的。如果工作负载在一段时间内耗尽或者需要扩容,可以使用SpotInstances 来动态扩展集群的容量,显著地削减运行作业流的成本。

6.  使用类似Apache Hive 这样的工具,数据处理的结果被推送到关系型数据库中,可以是一个AmazonRelational Database Service (Amazon RDS) 实例。 AmazonRDS 在云环境中易于安装,操作和扩展。

7.  和很多服务一样, AmazonRDS 实例同样基于按需付费的模型来定价。分析之后,数据库作为快照备份到Amazon S3中,然后终止服务。该数据库可以在任何需要的时候被重新创建。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/c092b2e2f216295ae15dd577e2aee3e5.html