clickhouse服务重启时间过长
发布于 1 个月前 作者 gujiashuai 238 次浏览 来自 问答

问题:我的clickhouse服务重启命令会很快执行完毕,但是服务的真正访问 则需要等待大概40分钟左右 各位大佬好: 首先说一下我们现在的环境,我使用的是19.11.7.40版本,内部主要使用 ReplicatedMergeTree 引擎,内部所有表总数据量大概几亿,每分钟写入量 大概在20~30W左右,目前表的数量比较少 实体表大概只有 20~30张 TCP连接数量大概维持在120 每分钟所有表的插入频率大概在 5次/分钟 机器性能:两台组成的类似主备的集群 均为128G内存 3.8T硬盘 16核双线程 重启过程中 clickhouse服务的CPU使用率和内存使用率 并未有飙升状态 我们现在使用的clickhouse服务,在进行restart过程中的时间过长,看运行日志,他把我所使用的每个表 都进行了Loading data parts 操作,如图: *****35346(1).png 还有这种: *****37334(1).png *****37682(1).png *****37836(1).png 在此期间,客户端处于无法连接状态,如图: *****35417(1).png

我现在有一个怀疑是  在我停止服务的时候  这些part还未来得及合并 所以在服务刚启动的时候需要把之前来不及合并的part重新 处理,这是否代表着 其实我的part合并速度是小于我的插入速度的,但是为了保证我数据的实时性,我无法降低我的插入速度。我觉得我们机器性能还OK,现在来说 我的表还是比较少的,如果我们日后 加表加数据量的话,是不是clickhouse的part合并速度就又会慢一些,这是clickhouse合并的极限吗?
现在我们服务重启的代价非常昂贵,一般会导致我们服务在40分钟左右不可用,对我们来说这是非常致命的,所以想问一下大家 知不知道导致这种情况的原因,或者可不可以通过调整什么参数减少这个时间,我可以给merge过程足够多的核和内存,但是现在看来,他并没有很高的利用率。
回到顶部