3)特征提取-特征聚合
将所有数据进行扩充完毕后 , 将所有相关字段进行打平处理 , 根据相同字段进行值的聚合 , 相同值记录次数 , 不相同时进行归类 , 如此便可将相关数据进行初始化的数据处理 , 然后根据聚合出来的数据进行默认值个数的判断进行特征的推荐 。
4)特征提取-特征决策
依赖上述聚合出来的全量潜在特征数据 , 在特征决策模块会基于代码中抽象出的特征字段进行匹配 , 当然最重要的是依赖于业务领域的测试专家经验进行主动识别标注 , 最终沉淀出领域的基线特征集合 。
以盒马某业务领域为例 , 下图展示的是最终有效的特征集合 , 根据基线特征 , 我们的做法是都标注了具体的含义 , 如此 , 便可很容易根据一个领域的业务特征识别出该领域的数据场景 。
同样 , 根据特征情况 , 也可以刻画出每个领域的特征模型 , 如下图所示 , 很轻松的看出领域的全量特征 , 同时根据每个特征 , 可以清晰的看出每个特征值的分布占比情况 。
业务场景建模-场景提取
有了基线特征后 , 基于基线特征形成解析规则 , 再将全量数据基于特征规则匹配处理 , 对于命中规则的进行打标处理 , 即可识别出匹配基线特征的数据集合 , 这些数据集合对于每一条数据代表的特征组我们称之为场景 。 具体的处理流程如下图所示 。
进行特征规则匹配处理后 , 可识别出场景集 , 这些场景的集合对我们来说至关重要 , 因为这些场景集合从一定意义上要代表我们的线上全量场景 。 如下图所示 , 除了有场景的推荐 , 还有场景对应的数据的推荐 。 这些数据后续我们会进行处理并进行执行链路的驱动 。
以下为推荐以驱动链路自动化执行的场景及数据情况 。
3 执行链路分析及构建
前文有介绍盒马很多业务领域都是链路式驱动类型 , 所以对于如何构建出领域的执行链路很关键 , 我们的思路是通过系统的调用日志及鹰眼trace相结合的方式进行聚合清洗得到领域的大概执行链路推荐 , 这里面的推荐会有多种情况 。 整体的思路如下图 。
执行链路推荐出来后 , 这时候的链路还是无法执行的 , 我们的目标是根据推荐能够自动生成执行链路 , 只是当前基于进展的考虑 , 我们先将推荐的链路进行人工链路编排以执行场景模型中的数据 。 以盒马\"履约\"领域的系统执行流程链路为例 , 如下 , 我们将对所有业态的数据的处理进行统一流程编排 , 如此 , 即可更大限度和真实的处理模型数据 。
4 数据校验
数据执行完成之后 , 对于自动化来说一个最关键且有意义的事情是进行结果的校验 , 为了能够更全面的比对结果 , 我们将执行链路进行线上生产环境和测试环境的双向执行 , 对于两套环境的结果数据进行全量的数据比对 , 可将比对结果精确到像素级别 。
5 场景覆盖率分析
针对场景覆盖率 , 我们将场景模型所转换的测试数据对应的全量场景与线上全量场景进行比较得出场景覆盖率 。 在今年的OKR目标下 , 我们也是目标将业务场景覆盖率达到80%以上 。
四 产品解决方案 1 产品解决方案架构图
结合以上核心模块的介绍 , 系统的产品解决方案框图如下所示 , 基于核心的场景模型驱动自动化执行过程为基准 , 分为业务场景建模模块、测试数据生产模块、回归策略执行选择模块、链路用例执行、结果校验以及结果推送模块 。 基于运维视角 , 包含统计大盘、用例管理等 。
在盒马场景探索的场景模型驱动自动化 , 已经在交易、履约、商品、配送、自提等诸多领域进行了实践 , 并取得了一定的成果 。 同时在发布回归、小量数据的常规化压测、系统重构、线上业务巡检等诸多场景中获得了不错的使用 。
五 实践结果 基于场景模型驱动自动化的模式 , 已经在盒马事业群内多个团队进行了推广接入使用 , 整体上累计沉淀有效的场景化用例2000以上 , 场景的特征覆盖率均大于90% , 各个领域新接入业务的自动化构建成本直线降低80%以上 , 有效的解决了传统脚本方式的人工依赖过重 , 引流方式无法覆盖链路场景的问题 , 也成为团队内重要的发布前的回归可信赖保障手段 。
1 在盒马交易领域的实践
盒马交易域是比较早的实践方之一 , 基于上述方案 , 交易域进行了整体的方案对接 , 沉淀了大量的场景及回归用例 。 尤其交易领域在覆盖率提升方面做了较多的工作 。
- 电子商务|腾讯回应财付通被罚:已全部完成整改
- 电子商务|“退微信群”谣言背后:总有人用阴谋论湮没常识
- 电子商务|干不下去了?又一电商巨头倒下!大批公司受牵连……
- 电子商务|官方点名才重视?腾讯公开回应,马化腾该好好反思了
- 电子商务|?“电商税”来了,实体经济或将翻身?
- 女娲|一个模型通杀8大视觉任务,一句话生成图像视频、P图视频处理都行
- 电子商务|百度正式入局元宇宙,《希壤》能成为中国的《VRchat》吗?
- |16个非常罕见的真空场景,看看有没有你遇到过的!
- 电子商务|懒人经济盛行 洗地机需求旺盛带火清洁电器赛道
- 电子商务|FANUC数控铣床编程基础-G01直线插补4