识别传统规则不易发现的CC攻击、爬虫行为,也是宜人盾重点要实现的目标。除了UA、IP黑名单、基于IP\SID的单一接口访问频率的判断,我们也加入了算法来识别这类异常访问。
举例说一下我们使用的“路径聚类模型”,这部分在宜人盾的数据分析平台实现:定期提取上一时间段的访问、序列化访问的URL、形成访问路径、用图提取出环(循环,单独一个点也是环)次数、聚类找出异常的IP和SID。
比如上图标记的,第一个IP访问[2835]这个URL是86次,第二个IP则是访问[2821,2832,2827]是14次,然后另一个循环36次。这里说明一下,路径是根据时间排序的,不根据Referer,图计算用的类库NetworkX,感兴趣的可以了解下。上线后,我们发现过爬取财经文章的、还有刷签到的刷新手标的薅羊毛行为,达到了我们的预期。
七、目前在做的事以上就是我们这两年在做的一些事情,以及我自己的一些体会:
项目制有利于安全开发的迭代,明确了产出和目标效率能提高不少;
坏计划好过没有计划,在计划的过程中,比如头脑风暴大家可以贡献更多的创新、思路,计划还要关注一下风险点,比如可以持续投入多久、会不会面临项目被叫停的风险,核心的人员是不是稳定、选用的架构或者开发语言是不是团队擅长的诸如此类,避免出现烂尾工程。
在安全产品层面,更多乙方的产品越来越贴合甲方的实际需求,落地效果也越来越好,细分的产品都能找到比较合适的解决方案,除了少数大厂,有些东西要不要自研得再三考虑,需要结合短期中期长期的各种变化,尽量贴合企业的长期发展需求。
在安全服务、攻防对抗、SDL等贴近传统安全的方面,很多公司都还有很多可以实践和优化的地方,近期也能看到大家对这方面的讨论比较多,比如ATT&CK Matrix,比如滴滴持续对SDL的建设。
今年,我们也重点设置了几个项目,除了上面说的洞察2.0,更多的是为了贡献开源社区。内部还有2个比较重要的项目。
第一个项目,代号“超级扫描器”,用各种手段(包括内部工单、CMDB、搜索引擎、CMS指纹等)来发现外部资产,实现GitLab、暗网、负面舆情的监控,以及提高安全测试效率、辅助SDL推广的重任,复用了之前开发的分布式安全服务编排服务“须弥”以及爬虫服务。“像黑客一样发现资产、深入集成到SDL中”是项目建立的初衷。
第二个项目,代号“安全感知”,是对流沙、内控审计及办公网安全系统的重新整合和扩展。数据安全越来越多地被单独提起,成为安全的核心问题之一。《数据安全法》已经进入立法阶段,不论从安全建设、合规、还是企业的战略发展,很多走在行业前列的企业已经在向以“数据为中心的安全策略”转变。所以这个项目的重点就是围绕数据安全来开展的,在应用层关注数据的使用,打通安全可用的各种信息,方便的配置关联关系,每一类业务系统或场景设置自己的检测模型,可以把它当作一个智能审计的产品。当然,这个只是整个数据安全治理的一角,数据安全策略、数据安全委员会、数据分类分级、操作流程、奖惩制度、传统数据库脱敏、数据防泄漏、数据文件摆渡、数据地图、大数据安全等放在一起,才组成了数据安全的完整板块,要做的事情很多、也很复杂。