『大数据程序员工程师』Flink状态后端和如何管理Kafka消费偏移量,有状态流处理:Apache( 三 )


『大数据程序员工程师』Flink状态后端和如何管理Kafka消费偏移量,有状态流处理:Apache
文章图片
第6步:
此步骤显示FlinkMapTask在检查其状态后与FlinkJobMaster进行通信 。 当作业的所有任务确认其状态为检查点时 , 作业主管完成检查点 。 从现在开始 , 检查点可用于从故障中恢复 。 值得一提的是 , ApacheFlink不依赖于Kafka偏移来恢复潜在的系统故障 。
『大数据程序员工程师』Flink状态后端和如何管理Kafka消费偏移量,有状态流处理:Apache
文章图片
在发生故障时恢复
如果发生故障(例如 , 工作人员故障) , 则重新启动所有操作员任务 , 并将其状态重置为上次完成的检查点 。 如下图所示 。
『大数据程序员工程师』Flink状态后端和如何管理Kafka消费偏移量,有状态流处理:Apache
文章图片
Kafka源分别从偏移量2和1开始 , 因为这是完成的检查点的偏移量 。 当作业重新启动时 , 我们可以期待正常的系统操作 , 就好像之前没有发生故障一样 。
【『大数据程序员工程师』Flink状态后端和如何管理Kafka消费偏移量,有状态流处理:Apache】你可以找到关于如何使用的详细信息和常见问题最好的ApacheFlink和ApacheKafka在我们以前的博客文章的一个位置 。