电子信息产业网|起底奇安信分布式关联分析引擎Sabre 在网络安全中

在网络安全中，溯源一个攻击事件的全貌，就像现实生活中的警察破案，以一般典型案例的侦查为例，其一般程序同样是首先初步收集与案件有关的各种线索，然后汇总后分析，最后确定侦查方向、划定侦查范围，直至破案。
探案的初期往往是千万线索或头绪中的抽丝剥茧。在大多数企业网络安全运营者的工作实际中，通过众多厂商的安全产品、设备发现威胁已成常态，然而带给他们众多困扰的不是不仅仅是发现威胁，他们更多情况就像企业里负责网络安全的“警察” ，要从众多设备告警中，通过分析研判，追踪溯源，找到威胁来源，采取措施保障业务系统损失最小化，网络环境更安全和稳定。然而，众多设备和系统每天产生大量告警，再加上参差不齐的误报率，使得网络安全运营者陷入无从下手的困境。
并且，网络攻击是复杂的、多阶段、持续时间分散、跨多节点的动态过程，独立的日志源无法看到攻击的全貌，而只能看到完整攻击的一个片段，不进行关联，就无法把大量的片段组合起来完成全景拼图。在实际使用场景中，就是用户经常淹没在多个设备频繁告警中，无法通过智能手段将这些告警集中并进行关联处理。
这与真实的警察破案难度不相上下。
你需要一面“线索墙”：事件关联
事件关联是一类用于对数以百计的设备中产生的数以百万计的日志进行分析以发现难以捉摸的攻击模式的技术。我们在奇安信NGSOC产品中引入了分布式流式关联分析引擎Sabre ，其目的利用关联分析技术来解决安全运营的难题。
这里的事件一般分为简单事件和复杂事件两种，简单事件一般指数据源产生的原始数据，复杂事件则指简单事件经分析后产生的高级事件。
举个例子：房间内部放置着若干个温度传感器，那么这些传感器会不停地产生一系列的事件，一般是类似“某时刻房间温度为xx度” ，很明显这类事件是简单事件，这类简单事件经过事件关联分析后会产生更为复杂的事件，例如“房间温度已经持续30分钟上升，接近火警警戒线” ，这种就是简单事件经过分析后生成复杂事件的典型例子。

文章图片
当然，用于事件关联的技术多种多样，可以从两个典型维度(输出事件复杂程度和事件处理速度)区分以下四种技术的应用范围：
1.传统商务智能技术(简写为BI技术) ，以人类速度(秒级)输出复杂事件(业务分析人员借助视图等工具从数据中分析并做出商业决策等) 。
2.复杂事件处理， CEP技术，用于实时或准实时分析简单事件以输出复杂事件的主要技术。
3.关系型数据库技术，以人类速度(秒级)处理简单事件，由于数据库本身仅提供对原始数据的存储和查询，其输出也是简单事件。
4.消息队列技术，主要用于消息路由，速度实时或准实时。
神探都需要水库级的脑洞：大数据场景下CEP关联分析要解决哪些问题?

文章图片
综合考虑， Sabre选择了CEP ，也就是复杂事件处理。那为什么是CEP呢?
打个比方，数据库技术就像是个“水库” ，先将数据存储，再在数据库中进行查询和处理，但这种数据库技术只能处理亿级数据，且查询速度在分钟级。不夸张地说，做一次数据查询，可以抽根烟再回来看结果。而CEP技术是把千亿级数据，直接发送到查询中，随着数据的流动实时获取、分析，实时提交处理结果，查询速度达到秒级，大大提升安全分析和响应的速度和效率。
在CEP之上， Sabre还重点解决了三个问题：