一个流式写Hive的任务,调用flink restapi stop 方法暂停作业。stop暂停任务的时候,应该是会触发一次savepoint 然后
cancel。
原本以为,暂停任务触发savepoint,只是保存了状态,并不会提交分区。等到任务恢复,再按照事件时间的watermark等分区条件OK后,执行分区提交。
实际上发现,只要是触发SP,就会提交分区。查看TM日志,发现执行SP时,出现了一次 MAX_CHECKPOINT
的checkpointid。定位源码,应该是有地方调用了 AbstractStreamingWriter.endInput
请问下,stop 为什么触发 endInput? 不希望暂停的时候,分区提交
--
Sent from:
http://apache-flink.147419.n8.nabble.com/