怎样把hive数据导入clickhouse?
发布于 24 天前 作者 lg985 344 次浏览 来自 问答

大神们,想问下怎样把hive数据导入clickhouse?

5 回复

参考 https://github.com/jaykelin/clickhouse-hdfs-loader 我这是用的CDH5.8, 对应Hadoop是2.6, 没有有调通, 一直存在http包冲突的问题。 如果你那能调通,也请同步下信息

hive sqoop到mysql, 然后再导到ch

我是先hadoop fs -get到linux本地临时文件夹,转换成csv格式,然后load 进到ck

转.csv可能会有字符问题。有用spark导hive数据到clickhouse的示例吗?

@lg985 一直在用spark导,小数据量没什么问题,如果数据量上亿,只能慢慢导了,不然总是直白,总是有台clickhouse服务器timeout

回到顶部