clickhouse如何实现去重?
发布于 2 个月前 作者 baofengqqwwff 491 次浏览 来自 问答

好像ck的主键不会阻止插入重复的数据,那请教大家一般怎么去重?

4 回复

可以尝试 ReplacingMergeTree 表引擎,会删除相同主键的数据。 https://clickhouse.yandex/docs/en/operations/table_engines/replacingmergetree/

ReplacingMergeTree表去重不够及时,当数据量在千万级别的时候,即使使用OPTIMIZE TABLE也不会合并数据,不知道是不是bug。

我的版本是18.14.18

OPTIMIZE TABLE有延时,时效性也不是很高。ck有没有类似insert overwrite 或者replace into 的功能?

OPTIMIZE ***** xxx FINAL 才会及时合并吧

回到顶部