摘要：【技术编程,AI人工智能|误报率太高？AI+流量安全分析，让网络运维更轻松|技术编程|AI人工】·误报率：在规则集C中，由于算法或事件定义导致安全设备产生误报的概率。通用的误报率计算方法是，以设备规则集为出发点，对规则集事件进行加权处理，但业界暂无统一的权值标准，因此造成计算困难。由于安全设备规则集较多，全面覆盖往往不现实。在实践中，...

误报率是衡量网络安全设备的重要技术指标 ， 但如何正确检测和计算这项指标 ， 没有统一科学的方法 。安博通基于自主研发的网络流量安全分析系统 ， 总结自身技术和经验 ， 得出了一套安全设备误报率的检测计算方法 ， 并基于深度学习技术将误报率降到业界较低水平 ， 可减少企业机构安全运维的人力和时间投入 。

文章图片

文章图片

误报率是什么？
· 误报：在网络安全设备报警规则集合C中 ， 事件A触发报警时 ， 发生了B事件报警或未发生报警 。
· 误报率：在规则集C中 ， 由于算法或事件定义导致安全设备产生误报的概率 。
通用的误报率计算方法是 ， 以设备规则集为出发点 ， 对规则集事件进行加权处理 ， 但业界暂无统一的权值标准 ， 因此造成计算困难 。
由于安全设备规则集较多 ， 全面覆盖往往不现实 。在实践中 ， 通常以抽样测试方法来统计误报率 ， 即随机挑选事件库中的部分事件 ， 使用攻击工具触发这些事件 ， 或以抓包工具对捕获的包进行回放 ， 分析报警结果 ， 从而得出安全设备的误报率 。基于深度学习技术的流量安全分析 ， 降低误报率
安博通网络流量安全分析系统在传统流量采集、流量分析、流量回溯的基础上 ， 集成自研的威胁情报技术 ， 并应用深度学习技术 ， 降低误报率 。
深度学习技术是机器学习技术的一种 ， 而机器学习是实现人工智能的必经路径 。深度学习概念源于人工神经网络的研究 ， 其通过组合低层特征形成更加抽象的高层表示属性类别或特征 ， 并以发现数据的分布式特征表示 。研究深度学习的动机在于建立模拟人脑学习分析的神经网络 ， 它模拟人脑机制解释数据 ， 如图像、声音、文本等 。

文章图片

文章图片

基于深度学习的恶意文件、恶意URL、DGA域名等检测技术无需沙箱环境 ， 可以直接将样本文件转换为二维图片 ， 进而应用改造后的卷积神经网络Inception V4进行训练和检测 。Step 1：二进制文件转换
将样本文件初步处理后转换为二进制文件 ， 转换后每个字节范围在00-FF之间 ， 对应灰度图像素在0-255之间（0为黑色 ， 255为白色） 。将二进制文件转换为矩阵 ， 矩阵又可以转换为灰度图 。

文章图片

文章图片

Step 2：CNN图像识别
单靠观看很难区分恶意样本与白样本在纹理上存在的细微差异 ， 采用成熟的CNN图像识别算法可以进行图像分类 。
CNN（卷积神经网络）是一类包含卷积计算且具有深度结构的前馈神经网络 ， 是深度学习的代表算法之一 。它的构成包括：
· 输入层（Input Layer）
用三维矩阵代表一张图片 ， 矩阵的长宽表示图片的大小 ， 矩阵的深度表示图像的色彩通道 ， 黑白为1。
· 卷积层（Convolution Layer）
这一层的输入是上一层神经网络的一小块 ， 它试图对神经网络的每一小块进行更深入分析 ， 以得到抽象程度更高的特征 。一般来说 ， 本层处理后的结点矩阵深度会增加 。
· 池化层（Pooling Layer）
不改变三维矩阵的深度 ， 但能够缩小矩阵的大小 ， 达到减少参数的目的 。可以看做是将分辨率较高图片降低分辨率的过程 。
· 全连接层（Fully Connecced）
经过多轮卷积和池化后 ， 经过1-2个全连接层进行输出 。可以将卷积层、池化层看做特征提取 ， 最后由本层进行分类 。分页标题
· Softmax层
转化为概率分布 。

文章图片

文章图片

这一技术简化了检测流程 ， 速度也优于沙箱技术 ， 可将误报率控制在10%以内 ， 最低降至1% 。
以下是最近一次恶意文件训练后在测试集上评估的结果：
· 各项指标在97-98%左右 ， 优于以往模型 。
· 表现较差的几种格式 ， 主要原因为正样本中样本数较少 。
· dex是一种特殊的安卓文件格式 ， 在负样本中没有收集到 ， 导致测试结果可能偏向正样本 。
· rar、zip压缩后对检测有一定影响 。

文章图片

文章图片

以下是DGA和恶意URL检测在验证集上的结果 ， 可以看到误报率最低降至1%（1-准确率） 。
创新提出全栈分析概念
安博通网络流量安全分析系统集成了会话分析、WAF、IDS告警、威胁情报分析、未知威胁分析、全流量溯源、文件还原取证等功能 ， 并创新性地提出了全栈分析概念 。
除了基于深度学习从技术层面量化降低误报率外 ， 还可以从实际操作层出发 ， 根据实践经验 ， 应用这些措施降低误报率：
1、 应用自研威胁情报 ， 可实时更新离线库 ， 保障准确率 。
2、 应用未知威胁分析 ， 通过加白名单操作排除误报 。
【技术编程,AI人工智能|误报率太高？AI+流量安全分析，让网络运维更轻松】3、 应用异常流量检测、网络攻击检测 ， 通过配置审计的精确IP ， 降低误报率 。
4、 应用内置的WAF功能 ， 也可以通过减少配置审计的IP降低误报率 。
在技术发展日新月异的今天 ， 将先进技术应用于网络安全领域 ， 不断提升产品功能精度 ， 是安博通自主创新的不懈追求 。未来 ， 公司将继续以人工智能技术赋能网络安全产业 ， 切实保障在等保合规、红蓝对抗、日常运维中的安全需求 ， 为各行业用户创造安全业务价值新体验 。

来源：(安博通)

【】网址：/a/2020/0710/1594373069.html

标题：技术编程,AI人工智能|误报率太高？AI+流量安全分析，让网络运维更轻松