电子商务|场景模型驱动自动化测试在盒马的探索及实践侵权|社交|江苏省|网络安全

文章图片
【电子商务|场景模型驱动自动化测试在盒马的探索及实践】

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

一引言盒马业务有如下几个特点：线上线下一体化、仓储配送一体化、超市餐饮一体化、经营作业一体化、多业态与平台化。
在以上的种种原因，生鲜及物流体验是盒马的特点，但仓储配送一体化作业中，如何能更高效的提升测试效率也是盒马质量团队的重点探索。
二背景及待解决问题介绍 1 盒马自动化体系发展新挑战
在盒马，前期业务在狂奔，自动化基础较薄弱，近三年来，经过盒马人的不断突破，已经具备了一定的自动化体系，因为盒马业务的特点，盒马属于麻雀虽小但五脏俱全，有独立App ，有自营的物流体系，有自己的供应链体系，因此在自动化方面，我们从最基础的单元测试、到接口测试、再到领域场景自动化及跨领域的自动化以及端的自动化方面都有积累。即便如此，我们的代码覆盖率在超过50%之后很难有比较大的提升，另外，代码的覆盖并不能全部代表业务场景的覆盖，一些线上漏测的问题仍然偶尔发生，因此，对于盒马来说，基于较全场景的测试是必须。
在这种背景下，盒马质量团队进行了较全场景驱动自动化测试的探索，利用线上数据建立测试场景模型。下面会更加详细的进行讲述。
2 业务场景全覆盖的挑战
从业界来说，比较难的也同样是如何用比较简单的手段做到业务的全场景覆盖，对盒马来说也同样。
首先，盒马的业务场景众多，包括inbound与outbound全流程，端到端的全流程多业态，含O2O模式、B2C模式、F2模式、Mini模式、Mall模式、X会员店模式、产地量贩模式、盒马邻里模式等。这么多种业务场景很难一一枚举。
其次，业务场景自动化编写效率也较低，在人工枚举场景，脚本化实现，这种效率比较低，场景难以枚举全，容易遗漏。
业务场景的真实覆盖率也难以度量，人工枚举的业务场景极易有遗漏，线上已频发漏测问题，无法覆盖线上全量场景，同时测试的场景覆盖率难以衡量，需要找到线上场景分母。
传统自动化来说，校验一般基于字段级别，容易遗漏。传统校验方式根据预期逐个字段加断点校验，新增字段或缺失字段极容易造成遗漏。
因此，在这种多种挑战下，我们尝试了基于线上海量数据模型构建全行经模型，同时用场景驱动自动化执行的方案。
3 场景模型驱动自动化的思考
回到本文初心，我们希望通过线上场景来驱动自动化测试的方式进行测试场景的全量覆盖。思路如下：