分布式主动感知在智能运维中的实践 (5)

通过对真实 IT 环境的参与者建立模型,有目的的获取相关 IT 数据,并基于获取到的数据持续优化获取的数据和方法,以实现对真实 IT 实时完整的监控。

传统的监控方式是被动的,通过被动采集是不可能采集到所有数据的,无法保证数据的真实完整。如果能够对所有的IT参与者进行建模,通过模型去感知真正参与者的身份什么样的、有哪些数据,就可以采集到更加实时和完整的数据。

1)主动感知建模

主动感知的建模涉及到本地建模和全局建模。本地建模只需要关注IT参与者是什么,比如一个职场、一个主机;全局建模需要考虑全国有多少个职场、都分布在哪里、如何将它们联动起来。

2)主动感知的动作

主动感知的动作包括两个方面:有主动筛选的被动感知和有主动行为的主动感知。

有主动筛选的被动感知,比如网卡流量数据都是实时监控的,但我并不会把所有数据都收集起来,只有在数据陡增或出现异常时才会收集,这就是主动筛选。

有主动行为的主动感知,在真正获取环境数据时,只是粗略获得一些内网中机器的端口,如果发现有端口是危险的,就会对这些端口进行细致的探测,包括发一些协议请求去模拟这些行为,这就是有主动行为的主动感知。

3)主动感知的方法

主动感知的方法有两种:基于规则和基于智能算法(比如贝叶斯决策树)。基于规则的方法是目前使用最多的。

4)主动感知的数据类型

主动感知的数据类型包括画像数据、参与者与参与者之间的关联关系、主动筛选和主动行为的细节捕捉、定位跟踪等。

5)主动感知系统

主动感知系统包括全网Agent、业务Agent、网络Agent、应用Agent,这些都是我们的感知器。

4.5 全网感知模型

分布式主动感知在智能运维中的实践

图17

用一个例子来细化什么是分布式主动感知。

全网感知的背景:宜信在全国各地有很多职场,这些职场都是重要的参与者,每个职场里有很多业务人员在使用业务系统,需要对这些职场进行监控。

我们用分布式主动感知的方法,首先建立模型,即职场网络。在职场放一个Agent,因为职场分布在全国各地,本身是全网的,因此称之为全网Agent。感知的内容包括出口有哪些;网络、身份识别;这个网络有多大;边缘探测;还包括内部一系列的统计数据,同时还会做内部内网的风险监测,甚至会通过模拟数据、诱导攻击来发现内网是否存在安全隐患。

4.6 全网感知应用

分布式主动感知在智能运维中的实践

图18 

全网Agent获取当地职场信息,包括出口、网段、地理位置和运营商信息,并反馈到拓扑和图谱中,同时ITSM会管理所有的组织和职场信息,这些职场身份信息和主动感知的Agent反馈的信息结合,绘制出一个准确而详细的拓扑/图谱。

全网Agent从网络中获取并反馈所有职场设备及其分布情况。

全网Agent会嗅探风险端口、扫描攻击,并反馈风险的细节扫描数据。

全网Agent会将网络统计数据反馈到系统中,帮助完善拓扑和监控。

我们可以通过网格数据加上职场身份给不同 Agent加上不同的监测模拟配置,由Agent发起模拟监测的数据。当发现异常时,可以从全网获取更详细的拓扑网络监测和密集系统检测数据。

分布式主动感知在智能运维中的实践

图19

上图展示的是我们全网感知的一些示例,包括职场信息、组织信息、模拟监控数据、动态监测配置,不展开细述。

4.7 网络感知模型

分布式主动感知在智能运维中的实践

图20 

上图展示的是网络感知模型,我们首先进行建模,建模的点,也就是网络的参与者,即每个交换机,并实时监测和扫描网络内部所有服务器。通过这个模型可以直观且实时看到异常细节数据,保证网络质量。

分布式主动感知在智能运维中的实践

图21

上图展示了网络感知的示例。

4.8 主机/应用/业务感知

分布式主动感知在智能运维中的实践

图22

除了上述应用以外,还有主机/应用/业务感知等等。

主机感知。出现异常时,异常时感知反馈进程、IO、网络 Dump 细节信息。

应用感知,根据运行状态动态调整采集密度和方法。

应用感知,包括主动业务异常捕捉和上报。

4.9 收益

分布式主动感知在智能运维中的实践

图23

分布式主动感知的收益包括:

更丰富的画像和拓扑

更有价值的监控数据

知识图谱

根因分析

异常检测

4.10 问题与前景

分布式主动感知在智能运维中的实践

图24

1)问题

主动感知在AI领域的应用已经有很多成功案例,但在AIOps领域还是新兴事物,还存在很多问题:

缺乏理论支撑

缺乏智能的感知算法

主动感知数据对学习算法的挑战

较高的实施成本

2)前景

AIOT带来的前所未有的运维数据爆炸

商用领域越来越丰富的算法应用降低落地门槛

SD(X) 系列的普及

IOT 带来的边缘智能未来

五、社区

分布式主动感知在智能运维中的实践

图25 

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpygjz.html