DeepFlow为企业混合云建立统一高效的网络流量采集与分发平台( 二 ) 为什么混合云需要全网流量在混合云环境

　　公有云侧

　　公有云为租户提供VPC网络， Workload采集器以用户态的软件形式部署在虚拟机、容器、裸金属设备等Workload上，支持Linux、Windows等主流操作系统，实现VPC内各类资源的网络流量采集。由于部署安装在Workload操作系统上，采集器数量多，可以通过镜像进行预装。

　　控制管理侧

　　由于采集器数量大、策略多，波动强，需从控制面设计入手，解决大规模及可管理性的问题。在多点的部署环境中，首先指定主区域(Region) ，主控制器存在于主区域中，当启动主控制器高可用功能，主区域内应部署多台控制器，通过心跳保证控制器间的状态同步，及时启动主、备控制器选举。选举产生主控制器后，为整体流量管理平台提供控制入口。除主区域外的其他区域控制器为从控制器，不参与主控制器选举。在云环境、容器环境中，控制器通过对接虚拟化资源池、配置管理数据库、公有云开放API等，可实现多粒度下发采集、分发策略，更灵活、更贴近业务应用。

　　控制器完全控制采集器状态，各类采集器具备相同状态机机制，各类型的采集器可能处于自检、运行、停止、异常、保护等几种状中，其中保护状态，是确保采集器工作时，平台能对其使用CPU、内存资源使用上限的限定。当采集器压力过大时，采集器状态将由“运行”切换至“保护”状态，以确保不对生产环境产生影响，直至重新调整资源配置或处理压力下降，切回至“运行”状态。

　　此外，单一DeepFlow控制器可管理2000个采集器，通常能够满足一个可用区;控制器最大支持50台的规模，方案整体可满足10万台采集器统一管理，足以应对大型企业私有IT、公有云、容器等网络流量采集需求。

　　基于分布式的监控流量处理

　　不同于集中式后处理的方案， DeepFlow采集器具备专利算法的前置计算能力可在采集点对流量进行直接处理。众多采集器和控制器共同构建成一个与云网规模一致的分布式流量处理系统，大幅减少了分发数据对监控网络和后端分析工具的压力。通过各类型的采集器实现流量采集处理抽象层，主要对数据包处理能力进行抽象，包括过滤、去重、数据包截短、压缩、特征标记等功能。

　　高性能网络时序数据订阅服务

　　对于非原始数据包的数据消费需求，平台提供开放的数据订阅方式。处理后的包头，网络元数据、遥测统计数据通过网络平面汇总至高性能时序数据库中，可通过API ，消息队列为其他数据消费平台调用。

　　部署

　　整体方案主要涉及采集器、控制器、高性能时序数据库三部分，在完成规划整体方案后，可分区域、分资源池按阶段投入建设，最终为企业混合云IT基础设施环境构建统一的流量监控管理平台。对于已经运行的混合云环境，可以在不影响生产环境运行的情况下部署实施，网络规划上将 DeepFlow平台所涉及的管理、监控分发平面复用在已有的网络平面中，通常可以复用已有的网络管理平面。对于整体规划的方案，建议对整体混合云规划独立的网络监控平面，对混合云的监管流量统一、独立地进行管理。根据流量、资源情况整体规划采集器的性能， DeepFlow采集器最低可配置1vCPU、128M的计算资源。