上图是整个“流沙”平台的架构，以及硬件资源、数据量、写入速度等；有了数据，在应用场景，目前实现了包括资产发现、弱口令检测、信息泄漏发现等等，基于简单的规则就可以实现，不需要非常复杂的计算。
具体参考：流沙：宜信安全数据平台实践
5.1 流沙应用：内控基于流沙安全大数据平台，如何满足更复杂的安全分析、关联分析场景，也是我们后续要重点开发的。
上图是之前做的用于满足内控的一个上层应用，同事也在QCon上分享过，实时收集公司内部业务系统的登录、查询操作、办公网员工的上网行为（自定义规则）、DNS、GitLab、WiKi、DLP告警等。
第一满足审计业务运营系统的操作行为，比如谁在什么时候访问过哪些敏感数据，做记录用于追溯；
第二进行分析，比如某个人的操作异于该岗位的其他人员，聚类定位高危人员，做重点关注。
上图是我们整理的关于用户资产的信息。
六、自研的WAF产品
逐步替换商业化的WAF产品，
具备传统WEB安全防御能力
具备CC攻击防护能力
具备爬虫防护能力
具备信息泄露防护能力
具备数据分析识别异常流量能力
6.1 宜人盾
重点说一下我们自研的WAF产品：宜人盾，前后大概花了一年半左右的时间，迭代了3个大版本，投入了8名安全团队的人员负责系统设计、开发、防护规则收集，1名运维同事负责安装包制作和部署工作，2名测试工程师协助进行压力测试。
我们之前采用的是商业化WAF设备，Gartner象限里排第一的，这几年采购了有10台左右。产品本身很好，大家使用的比较熟练也比较稳定，但也存在一些不足：
第一，产品对传统基于规则的恶意请求的防护强、但对爬虫这种有时间窗口上下文的访问防护比较弱、并且开启这部分功能会损耗整体的硬件性能；
第二，需要以硬件的形式串入到网络中，遇到实施新的业务、新的网络区域时，就需要上架新的设备，实施周期长；
第三，水平扩展的能力不是很强，单点遇到瓶颈时只能选择扩容或者拆分流量，动静很大。
综上，我们还是选择在有商业化产品的前提下，自研了宜人盾，符合SDS软件定义安全的趋势（感谢公司和领导的大力支持）。宜人盾基于OpenResty扩展，分为网关、大数据分析平台、运营后台管理端三大部分，所有配置通过Redis共享读取。宜人盾具备WEB防护、CC防护、黑名单防护、语义识别防护、敏感数据防护、AI防护。产品设计和开发按照商业化产品标准：精选100多条基础规则、可添加自定义规则、规则黑白名单等均分全局与域名、并且每个域名的每项防护开关都可独立开启、报表分析和每个拦截事件的查询均按域名区分，在产品易用性和交互上做了打磨。
平台特点
软件定义、水平扩展
快速接入
当前进度及运营情况
持续迭代一年半左右
目前已经全线接入宜人贷
压力测试峰值流量：5000qps（2C8G）
宜人盾目前已经全线接入了宜人贷，因为属于网关产品，对性能和稳定性要求比较高，所以前期在2名测试同事的支持下做了很多的压力测试。2C8G的虚拟机上运行宜人盾，QPS在5000左右，可以满足我们的要求。同时，我们对每项服务（MQ、Flink、计数服务、Redis、完整穿行等）都进行了监控，在运营后台里专门设置了查看系统状态的功能，可以看到每个宜人盾节点的域名接入状态、以及节点是有错误告警。在每条防护事件的查询上，我们也做了比较多的优化，确保在拦截比较多的情况下仍可以快速进行查询。
利用机器学习识别高低频爬虫
序列化访问的URL
按时间形成访问路线
用图提取出环的循环次数
聚类找出异常的IP、SID
