浅谈Doris和Flink在广告实时数仓中的实践( 二 )

  • 你的架构要足够的轻量化 , 易维护 , 同时还得兼顾:明细查询(线上问题排查) , 聚合查询(报表指标呈现)
  • 业务看重的是你支持业务的能力 , 而不是你花里胡哨的架构 。 你要确保业务当天提需求 , 当天可以完成 , 你的架构好坏是靠你支持业务的效果来体现 , 所以适合自己业务的架构 , 就是好架构 。
  • 你的架构平时稳只能算及格 , 你要确保架构在大促和高峰流量来时系统稳定 , 能不能抗住百亿或者千亿的流量 。
  • 不同sla的业务场景设计不同的架构 , 并不是所有的业务场景都是要求毫秒或者秒级 , 其实你仔细跟他们聊分钟级他们也可以接受 , 不同的sla对你的计算资源成本要求不一样 , 适量把控计算资源成本 , 优秀的工程师都是想办法给公司省钱 , 同时还可以圆满完成任务 。
  • 4.
    END
    【浅谈Doris和Flink在广告实时数仓中的实践】最后抛出来一个问题 , 500亿的实时数据 , 如何加工报表指标? 是全量计算吗? 全量计算会遇到什么问题? 数据倾斜怎么办? 即使数据不倾斜了 , 遇到流量高峰怎么办? 数据背压就一定要追加计算资源吗? 你有什么好的办法?