Flink checkpoint机制

Flink checkpoint机制

目录

1. checkpoint的用途

2. checkpoint的生成机制

3. checkpoint的状态存储

4. job的重启策略

5. 参考资料

---

可保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保证应用流图状态的一致性。

1. checkpoint的用途

某个算子故障，保证整个应用流图状态，恢复到之前的某一个状态。

---

2. checkpoint的生成机制

checkpoint 协调器，控制这每一次checkpoint的生成，将barrier从source、算子、sink依次广播，每个算子收到barrier后都会暂停处理数据然后制作chekpoint。每个算子挨个去生成各自的checkpoint。都完成后向协调器汇报，这样本次cp就生成了

---

3. checkpoint的状态存储

memRocksDBStateBackend

fsRocksDBStateBackend

RocksDBStateBackend

---

4. job的重启策略

no restart

fixed-delay

等

---

5. 参考资料

Flink可靠性的基石-checkpoint机制详细解析