和Impala相比，ClickHouse可以通过JDBC直接导入，数据导入成本低，ClickHouse系统维护成本相对低。另外，ClickHouse语法简单，易用性很强，对页面开发友好，可以快速开发出可视化页面。
基于上面这些因素，我们采用HDFS+ClickHouse+Spark技术方案。在这里，使用Spark补齐ClickHouse无法进行大规模Join操作短板，比如处理大规模复杂的关联分析任务。
另外，Spark可以无缝访问HDFS中Hive表数据，无需重新导数据，应用效率高。使用HDFS存储历史全量标签与行为数据（占比约80%），使用ClickHouse存储近期标签与行为数据（占比20%）。
MVP页面交互形式，80%数据分析诉求是可以直接通过页面实时分析完成，剩下约20%复杂分析任务，是通过提交任务式分析完成。
页面实时分析秒级返回分析结果，提交任务式分析需要5-15分钟返回结果。经营指标体系、事件模型分析、漏斗模型分析、留存模型分析等，是通过页面实时分析完成，用户人群画像洞察、用户兴趣偏好洞察是通过提交任务式分析完成。
按照传统数据分析模式，根据“提出需求->需求评审->写需求单->数据分析->输出结果”的规范流程，数据诉求需要经历3-5天才能解决问题，通过MVP系统可以快速完成数据分析诉求，大大缩短工期，对分析效率提升明显。目前MVP数据分析系统已经在内部使用，近期，使用MVP进行数据分析任务数达到1500+，高峰突破两千次。
从“人工数据分析 -> 工具化数据分析”的转变，对数据分析效率提升明显，更有利于数据驱动产品精细化运营。
5. 总结本文尝试介绍从0到1实现一款轻量级大数据分析系统——MVP。目前MVP数据分析系统已经在内部使用，对于提升数据分析效率明显，为数据驱动产品业务增长赋能。同时，节省了数据分析师的人力投入。后期，基于产品矩阵业务，在完善现有模块情况下，还将对各个增长工具进行进一步打磨，提升MVP使用体验。
MVP乘风出海，结合先悉数据平台服务产业端MVP作为内部系统，目前为部门在移动数据分析中节约了大量的时间成本，并沉淀了丰富的互联网分析模板与工具。在部门服务行业客户过程中，我们发现MVP所代表的移动数据分析解决方案，是目前传统产业数字化转型同样需要的必备工具。
为此，后续我们利用轻量级数据平台——先悉作为数据底座，解决了MVP对外部署的底层平台问题，开发了可单独私有化交付给行业客户使用的MVP toB版本，帮助行业客户通过实时用户行为分析、画像洞察为驱动，优化运营策略。
先悉数据平台是一款轻量级的大数据平台产品，有部署性价比高、运维便利、可私有化等特点，能够以“小而美”的方式满足中小规模项目的大数据应用落地。在具体项目实践中，先悉数据平台+MVP形成了一套优势互补的组合，目前已经开始为行业客户提供“开箱即用”的移动分析服务。
先悉功能简介：
先悉具备高性能、批流一体的大数据组件，无需自行部署各类繁杂的开源组件，快速实现私有化数据平台的部署；
先悉提供可视化任务流，作为数据开发平台，结合Spark SQL及我们提供的SPL，在图形化界面快速开发一款数据应用；
先悉自带强大可视化图表能力，可快速建立一个可视化站点，向同事、客户及领导展示您的数据指标。
先悉数据平台咨询/商务合作：Xdata_Suite@tencent.com
参考文章：
[1] https://zhuanlan.zhihu.com/p/54907288
[2] https://clickhouse.tech/docs/en/sql-reference/statements/create/
看腾讯技术，学云计算知识，关注云加社区