clickhouse内存占用问题
发布于 9 个月前 作者 kingsaiya 1068 次浏览 来自 问答

clickhouse初步尝试 golang连接存储 数据量很大 在golang写入数据时候 linux的RES一直在增长 我用的MergeTree 创建的表。有解决办法么?

5 回复

建议导入到Log表,再从Log表中分段数据insert into到MergeTree表中。

@chenjipeng 我这边的数据都是股票的行情实时写入的。之前使用log表感觉还行,后来看了官方的文档,说log表适合存是一次性数据。就换成了mertree了。现在我那台服务器都登录不了了。估计内存被占光了。大神如果先存log,在导入mergetree,对于实时保存的需求来说可以实现么?求教

batch size是多少?

股票行情数据是可变的吗?还是股票行情变更日志?

我们这边用ClickHouse http接口,插入10条CSV数据,耗时2小时不到。内存消耗恒定在1GB左右。没有看到内存消耗主键变大。

回到顶部