『大数据程序员工程师』Flink状态后端和如何管理Kafka消费偏移量,有状态流处理:Apache( 三 )
文章图片
第6步:
此步骤显示FlinkMapTask在检查其状态后与FlinkJobMaster进行通信 。 当作业的所有任务确认其状态为检查点时 , 作业主管完成检查点 。 从现在开始 , 检查点可用于从故障中恢复 。 值得一提的是 , ApacheFlink不依赖于Kafka偏移来恢复潜在的系统故障 。
文章图片
在发生故障时恢复
如果发生故障(例如 , 工作人员故障) , 则重新启动所有操作员任务 , 并将其状态重置为上次完成的检查点 。 如下图所示 。
文章图片
Kafka源分别从偏移量2和1开始 , 因为这是完成的检查点的偏移量 。 当作业重新启动时 , 我们可以期待正常的系统操作 , 就好像之前没有发生故障一样 。
【『大数据程序员工程师』Flink状态后端和如何管理Kafka消费偏移量,有状态流处理:Apache】你可以找到关于如何使用的详细信息和常见问题最好的ApacheFlink和ApacheKafka在我们以前的博客文章的一个位置 。
- 兰州新闻网美国疫情数据为何矛盾混乱
- ZAKER| 不必在意巴菲特看空航空业,数据解析
- 证券数据宝重磅!华为成立“5G汽车生态圈”,对标特斯拉实现终极无人驾驶
- 长沙城事吃吃吃、买买买成主流,五一消费数据出炉
- 大数据邦新基建之大数据中心规划设计原则和内容,选址很关键
- 小谢娱乐哦引来广大网友狂点赞,直呼炸天,程序员用Java实现扫雷小游戏
- 『牛股』两只科技龙头:容大感光、奥飞数据,哪只能成为今年10倍大牛股?
- 小Q讲officeExcel数据求和结果总是0?问题出在哪?原来是单元格的问题
- 聚成教育表格技巧—Excel怎么对整个表格的数据进行求和
- 【保护我们】大数据告诉你:湖北的夏天来得越来越早