摘要：作为IOT最底层的无线通信网络生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。
本文分享自华为云社区《基于CarbonData的电信时空大数据探索》，作者： 张军、龚云骏 。
1使用场景随着万物互联的时代到来，以及智慧终端普及，现实世界超过80%的数据与地理位置相关，比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。
为表征无线网络相关指标在地理空间的分布情况，将地表按50*50米正方形网格进行切分，并按照网格累加统计指标，数据可以按时间（hour/day）、行政区（region ID）、无线小区（cell ID）、网格（网格中心经纬度坐标）进行管理。表结构如下：
比如，需要分析某CBD无线通信网络信号覆盖情况，使用CBD的边界作为查询条件，返回网格和业务KPI，对返回的网格经纬度和KPI进行可视化渲染，得到如下效果。
某CBD通信网络覆盖情况
2 技术挑战查询性能：以2000万左右用户规模的无线通信网络为例：每秒约接入240万条事件，每天约产生14TB数据，数据保存若干天。基于行业常用数据仓库查询耗时在10-15秒左右，与用户体验2/5/8秒要求存在较大差距；同时单个查询占用资源较多，多用户并发分析时，查询性能明显下降，以5用户查询为例，查询耗时劣化为30-60秒；
线性扩展：随着数据中心“云化”演进，数据集中化存储和管理趋势明显，支持省级、国家级超大规模网络交付场景明显，急需体系化的方法解决海量数据治理的线性扩展问题。
考虑到业务数据是在时间和空间上持续增长，同时业务分析流程中，主要查询包括：行政区域/问题区域/无线小区簇查询。对数据查询特性进行分析：
1） 行政区域查询：行政区域查询返回结果是在空间上聚集的；
2） 问题区域查询：问题区域是指有网络问题的某个地表区域，查询返回结果集是在空间上聚集的；
3） 无线小区簇查询：无线网络的小区不是孤立存在的，一般把一定数量相邻的无线小区按小区簇进行管理，因此小区簇查询返回结果集是在空间上聚集的
综上，查询返回结果集都是在空间上聚集的，因此有必要考虑数据入库时，支持按空间坐标建立时空索引，提升查询过程中的数据过滤效率。
3 优化方案 3.1 时空索引算法优化前使用如下方式设定表的Sort Column，数据先按纬度排序再按经度排序后，本来在空间相邻的经过排序后划分被切割为不相邻的条带。
条带化问题可以参考下图，行业内解决此问题的方法是引入空间排序方法，常用空间排序方式包括Z序和H序，最常用的方法是GeoHash。技术原理可以参考Halfrost的神作：高效的多维空间点索引算法。
关于Z序和H序的优缺点行业有较多讨论。Z序曲线虽然有局部保序性，但是它也有突变性，在每个 Z 字母的拐角，都有可能出现顺序的突变。H序相比较Z序解决了拐角的突变问题，H序聚簇特性比Z序提升15%左右，但是生成复杂度却提升很多，动态维护的代价会更高些。另外，还有很多应用，需要不同维度实时分解的应用，H序拆分耗时会增加不少。综合考虑，当前使用简单易用的Z序编码：GeoSOT。