准备将Trace百亿级数据量从ES迁移至ClickHouse,可行么?
发布于 7 天前 作者 linhao007 155 次浏览 来自 问答

公司的trace日志量剧增,比较穷,机器比较少,ES的写入效率比较低,导致kafka堆积比较严重,想将Trace日志迁入至clickhouse,但是在做单元测试的时候,很容易导致Too many parts (300). Merges are processing significantly slower than inserts., e.what() = DB::Exception。这个和索引粒度有关么?merge的时候什么时候触发呀,想让其在半夜的时候进行merge?

回到顶部