clickhouse如何实现实时去除重复数据

发布于 5 个月前 作者 Liu-hq 2602 次浏览 来自 问答

一天有两份数据,上午的一份是新增的数据,下午的一份是补数逻辑,有可能是更新有可能是新增的数据,但是90%以上都是重复的数据,如果使用clickhouse怎么实现实时覆盖旧数据,保证查询的数据没有重复 目前选则的数据引擎是ReplacingMergeTree,如果使用OPTIMIZE发起合并,会不会阻塞查询(一个月的量大概是1千万条数据),当数据量大时会不会执行OPTIMIZE没有效果?

回到顶部