在生产的消息队列中 ， 我们落地了用户查询返回的所有航班组合和价格信息 ， 数据仓库完成近实时同步 ， 将数据解析处理成异常价格相关特征集 ， 每天的增量在百亿级别 。 我们从Kafka实时消费两类日志数据 ， 一类是查询日志 ， 一类是下单日志 ， 建立匹配 ， 建立规则集发现可疑的低价交易标识 ， 并且进一步监控跟交易标识是否进入下单流程 。 当某个疑似异常特征带来的订单超过一定阈值时 ， 系统会对这疑似异常特征对应的查询进行自动禁售 。

文章图片
图11价格监控系统
小结
一套完整的数据仓库实施方案应该包括但不局限于上面介绍的数据同步方案、数据存储方案、数据规范、元数据建设、数据质量体系、运维工具等 ， 每个实施团队应该根据面临的实际情况选择针对每个点的具体技术方案 。
携程机票数据仓库团队也正朝着建设全面、规范、易用、高效、精准的数仓路上探索前行 ， 当前在数据同步、数仓数据扭转以及出仓应用方面的实践方案还在随着需求的变化而迭代 。 接下来 ， 我们团队会着重在数据仓库规范彻底落地以及实时数仓实施这些方向上努力 。
【dbaplus社群TB@携程机票数据仓库11年技术栈的演进】作者丨华智

• 月亮笼罩TB@网友：怪我太天真，为啥拼多多的东西那么便宜？内部员工道出猫腻
• 『云梦屋』电商社群快速裂变该怎么做？
• 『光环云社群』【直播回顾】企业何时需要混合云？如何部署？
• 青亭网TB@Trcaker，Manus推全身VR追踪方案，基于Vive