flink的回撤流写入clickhouse怎么处理幂等性?

发布于 2 年前 作者 windyzj 3999 次浏览 来自 问答

在 flink 中 full join之后的回撤流会出现重复数据 , clickhouse的replacingMergeTree 虽然能去重,但是会有延时,手动optimize又太重。怎么处理幂等性问题?

2 回复

1年后自我回答: 可以考虑用CollapsingMergeTree ,通过把历史数据折叠掉,实现幂等*。

😂,确是没啥人气,大家都在微信群里讨论了

回到顶部