请大神解读一下以下报错信息
发布于 7 个月前 作者 huangzongze 961 次浏览 来自 问答

2018.05.21 10:01:08.404 [ 8886 ] <Error> browsertimedata…inner.bi_rum_metrics_pt1m (Merger): Part 20180521_20180521_461746_462972_6 intersects previous part 2018.05.21 10:01:08.404 [ 8886 ] <Error> browsertimedata…inner.bi_rum_metrics_pt1m (Merger): Part 20180521_20180521_461746_462972_6 intersects previous part 2018.05.21 10:01:09.755 [ 15 ] <Error> browsertimedata…inner.bi_rum_metrics_pt1m (Merger): Part 20180521_20180521_461746_462972_6 intersects previous part 2018.05.21 10:01:09.755 [ 15 ] <Error> browsertimedata…inner.bi_rum_metrics_pt1m (Merger): Part 20180521_20180521_461746_462972_6 intersects previous part 2018.05.21 10:01:09.964 [ 14 ] <Error> browsereventdata.bi_event_trace (Merger): Part 20180517_20180521_414539_611160_876 intersects previous part 2018.05.21 10:01:09.964 [ 14 ] <Error> browsereventdata.bi_event_trace (Merger): Part 20180517_20180521_414539_611160_876 intersects previous part 2018.05.21 10:01:18.744 [ 8798 ] <Error> browsereventdata.bi_event_trace (Merger): Part 20180517_20180521_414539_611160_876 intersects previous part 2018.05.21 10:01:18.744 [ 8798 ] <Error> browsereventdata.bi_event_trace (Merger): Part 20180517_20180521_414539_611160_876 intersects previous part

这些是clickhouse.err.log里面的报错

背景:业务要求,我在一秒钟内请求clickhouse上百次,我调整了max_concurrent_query 到1000,最大连接数4096.还是报这个。一开始是还报一个too many files opened,后来让研发调了一下,不报这个了,现在只报 上边的这些了。我是个小白,不太明白什么意思。

3 回复

https://groups.google.com/forum/#!msg/clickhouse/lBwnoxeJFPM/ngOJ-PEMBAAJ

这里有人遇到了类似的情况,看样子是ZK里的元数据冲突。

另外,你每秒100多的请求,肯定是不可以的,ClickHouse不属于高QPS型的数据库。

如果你的写入也是这样个样子,必然是有问题了,会造成异步Merge速度跟不上,但是报错不应该是你这个。

@jackpgao 我在压测中,用了50个线程,每次批量插入5万,没过一会儿报:Code: 252, e.displayText() = DB::Exception: Too many parts (335). Merges are processing significantly slower than inserts., e.what() = DB::Exception
请问这个Merge过程可以调整时间merge么?或者将parts调大

@linhao007 并发太高了。 大概率是你的机器IO性能不行,导致后台Merge很慢

Merge这快,如果机器IO不好,很容易出问题,即使调大了merge线程数(默认是16,可以试试调大,但是如果IO性能差,最后还是挂)。

回到顶部