电子信息产业网|起底奇安信分布式关联分析引擎Sabre( 二 ) 在网络安全中

文章图片
首先是计算框架的选择。基于计算框架做开发可以确保我们聚焦关注点在业务问题上。目前流式计算框架的选择余地不是太多，经过几年的竞争，多个计算框架已经退出，目前仅剩下两个主要的计算框架能够在这个领域继续竞争， Spark或Flink ，我们选择了Flink ，主要原因是其在国内的发展势头非常好，互联网公司用得也比较多。
其次是对业务逻辑的拆分，使其可以分布式。关联引擎的业务是比较复杂的，因为关联本身就是反分布式的，这使得传统的早期关联引擎都是单体模式，适合在单机上运行，即使是后来迁移到分布式，也只是采用规则分离的方法来局部达到可扩展性。现代的分布式可扩展架构一般采用完全的计算分布式，将计算分解为DAG图，然后根据图的特性来让某些节点并行化， Sabre就采用这种方法来使得逻辑上可分解可分布式。
第三是计算任务的生命周期。 Sabre依赖于流式计算框架，流式计算框架会帮助完成计算任务的全生命周期管理，包括计算任务的创建，监控和回收，这可以有效减少业务引擎的代码量，使开发更聚焦于业务代码。
破案的关键：“探”
接下来，进入了破案的关键环节：“探” ，神探之所以神，除了有清奇的脑回路，还要有强大的破案工具——分布式关联分析引擎Sabre：
全量数据的接入——为了保证分析结果的准确性，尽可能多类型的数据是基本前提。支持接入各种类型和维度的数据，如多源异构日志、漏洞、资产信息、威胁情报以及自定义对象内容，并支持对输出结果进行回注分析。它提供5类计算单元：日志过滤、日志连接、聚类统计、阈值比较和序列分析，可通过组合计算单元来实现自定义威胁事件发现规则。提供丰富的语义，包含统计、基线、关联和序列等，以覆盖各类安全场景的威胁建模和发现。关联分析引擎的业务逻辑如下图所示：
建模更简单——在过去，从遇到问题、分析原理、寻找并确定解决方法到编程开发、测试上线是个长周期且耗时耗力的工程，而我们希望可以借助Sabre ，通过类似VISIO界面的操作，进行规则配置，灵活易用。 Sabre本身具备规则监测能力，可对配置的规则进行快速精准验证。 Sabre中预置150+条规则，将专业的安全运营经验不断通过规则更新传递给用户。

文章图片
集群更可靠——分析引擎的分布式扩展能力一直是关注的重点，在用户规模从小变大的过程中如何适应不断增长的数据分析诉求是设计的关键要素。 Sabre基于流处理框架分析引擎，支持对流数据进行实时关联分析。
【电子信息产业网|起底奇安信分布式关联分析引擎Sabre】性能更强劲——Sabre具备横向分布式扩展能力，性能可从单台3W+EPS向扩展至数十台集群规模，每秒可以处理高达10万条安全事件，而且支持弹性业务扩展。因此，客户可以专注于安全建模精准发现潜在威胁，无需担心计算性能的瓶颈。