Flink到底能不能实现exactly-once语义?( 二 )


那Flink如何实现端到端的exactly-once?要实现端到端的exactly-once , 需要 Flink 外部 Soruce 和 Sink 的支持 , 比如 Source 要支持精准的offset , Sink要支持两阶段提交 , 也就是继承TwoPhaseCommitSinkFunction 。
总结Flink 的 exactly-once 不是指数据只被处理一次 , 而是数据虽然可能被重复处理 , 但是结果(算子的状态)精准一次 。 而要实现 Flink 端到端的 exactly-once 则需要外部 Soruce 和 Sink 的支持 。
感谢您的阅读 , 如果喜欢本文欢迎关注和转发 , 本头条号将坚持持续分享IT技术知识 。 对于文章内容有其他想法或意见建议等 , 欢迎提出共同讨论共同进步 。
文章参考:
JasonLee
孙金城