埃尔法哥哥大数据追踪术 让运维故障根源点无处遁形


华青融天基于大数据架构的EZSonar性能交易分析平台 , 满足银行对于应用系统智能监控中的业务维度转换和监控短板 , 通过各类报文数据维度 , 实现业务思路转换 , 在定位故障的同时 , 快速实现对业务交易的问题影响和追踪 。
还满足银行行业对于数据监管需求 , 通过统一的大数据平台提供可视化工具 , 实现业务人员零技术基础跟踪交易数据 , 达到零风险可管控的目标 , 大大降低了监控软件自身对业务软件规格改造的需求 , 使得数据分析整理追踪类工作更简单高效 。
一:方案介绍
随着信息技术发展 , 信息系统监控已经成为保证银行业务有效性与连贯性的关键 。
在建立生产系统的故障发现与IT运维预警机制的同时 , 制定系统故障预测与预防方案 , 提高对系统故障的及时发现及预测管控 , 降低人力成本的投入等 , 对保证信息系统稳定运行和业务持续发展具有重大意义 。
二:方案创新点
EZSonar应用性能监控系统 , 是华青融天研发的基于大数据技术的应用性能管理和网络性能解决方案的产品软件 , 目标是:深入业务系统运行和网络状态的黑箱 , 成为运维管理员的声纳 , 让故障根源点无处遁形 。
通过对系统网络流量数据的分析 , 实现对业务过程的端到端监控 , 帮助运维团队建设性能监控平台 。 通过交易成功率、响应时间、交易量、业务流量等核心指标 , 结合灵活的多维分析指标 , 对业务过程进行全面监控 , 实现故障迅速定位 , 有效降低故障恢复时间 , 提高终端用户体验 。
创新点一:旁路数据采集技术 , 数据分析更安全
使用物理交换机流量镜像的方法 , 将部署在银行AB两个应用之间的传输报文复制出来 , 再通过解码手段对报文进行解析和格式化 , 从而达到数据传输监听的目标 。 该种方法无需在生产环境软件中做任何变更 , 即可实现通讯分析目标 。
创新点二:报文含义映射关联技术 , 业务关联分析更简单
在银行业务内部流传的过程中 , 往往要经过十几个应用集群之间的访问 , 集群与集群之间往往采用不同的字段含义进行传输 , 比如在A-B之间传输的字段是1’,在B-C之间传输的字段是2’看似1’与2’之间没有任何联系 , 但实际上通过A-B之间的数据就能找到1’而是用1’就能找到2’ , 从而实现了跨集群之间的交易追踪 。
创新点三:图形框架交易追踪技术 , 零技术做到数据快速最终整理
对于银行技术人员 , 最头疼的莫过交易对账 , 因为他们需要从上亿笔交易中梳理交易传输规范 , 参照交易类型进行逐条核对 , 而在对照的过程中还存在入门条件高 , 投入工作量大 , 效率低下等问题 。
通过该创新点 , 系统提供交易追踪图形框架 , 只需要输入要追踪交易的卡号、身份证号、手机号等信息 , 就可以快速帮助人工梳理海量交易数据 , 实现了低门槛、速度快、精度高等目标 。
创新点四:异构报文支持 , 打破了监控系统对于业务系统数据传输规范的依赖
在银行交易传输过程中 , 每种交易采用不同类型的报文传输 , 交易与交易之间并无统一的报文规范 , 因此对于不同种类的异构报文类型进行解码 , 形成统一的结构整理输出用于大数据分析使用 。
当前公司的探针程序已经能够识别高达几百种不同类型的报文规范 , 并能够快速识别判断报文类型 , 解析出符合统一规范的交易数据 。
三:技术介绍
1.总体技术框架
埃尔法哥哥大数据追踪术 让运维故障根源点无处遁形
本文插图
2.使用场景
场景一:旁路实时报文采集 , 通过探针解码程序适配各类异构报文 , 整理后集中存储分散在各服务器上的交易传输信息 , 并可随时回溯 。
场景二:通过关键字检索和别名映射 , 快速关联不同业务链路间的字段含义 , 实现全链路交易参数查询 , 当想查询某笔交易 , 只需了解客户信息 , 就能够通过界面的关联跳转操作 , 把某时间段内发生在银行内部的全部交易展现追踪出来 , 并且通过详情查看快速定位客户交易失败或交易行为类查询 。