Using ClickHouse like MySQL by ProxySQL
发布于 4 个月前 作者 jackpgao 665 次浏览 来自 分享

用户访问ClickHouse,需要默认的客户端clickhouse-client,但是这个工具不够友好:

  1. 需要额外安装,并且使用上,不是那么nice
  2. clickhouse-client其实是clickhouse的软连接,即要么全装,要么不用

啥最普及啊? 答:MySQL

基本所有的服务器都装了mysql,注意,这里指的是mysql-client,就是那个让你用命令行连接到MySQL服务的那个命令

ProxySQL是众多MySQL中间件中的佼佼者,一直被Percona推崇,最近他们也放出了支持ClickHouse的版本

因此,今天的话题就是: ClickHouse+ProxySQL = Using ClickHouse like MySQL

Install

yum -y install   perl-DBD-MySQL
  • 注意
    • 支持ClickHouse的ProxySQL版本,只支持Ubuntu 16, Debian 9, CentOS 7, and Fedora 24,其他版本的不要往下看了

启动ProxySQL

# 默认配置文件是这个:
/etc/proxysql.cnf 

# 默认是没有这个数据目录的:
mkdir /var/lib/proxysql

# 启动
proxysql --clickhouse-server

# ProxySQL默认会以daemon的方式在后台

创建ClickHouse用户

  • 用户通过MySQL协议,访问ProxySQL,ProxySQL代理请求访问ClickHouse
  • 在第一步里,需要一个密码,这个密码不是ClickHouse的,而是访问ProxySQL的
# 登陆本地的ProxySQL
# ProxySQL端口是6032,默认用户名密码在配置文件里写有

root@10.x.x.x.x:/root  # mysql -h 127.0.0.1 -P 6032  -uadmin -padmin
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.30 (ProxySQL Admin Module)

Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]> INSERT INTO clickhouse_users VALUES ('clicku','clickp',1,100);
Query OK, 1 row affected (0.00 sec)

MySQL [(none)]> select * from clickhouse_users ; 
+----------+----------+--------+-----------------+
| username | password | active | max_connections |
+----------+----------+--------+-----------------+
| clicku   | clickp   | 1      | 100             |
+----------+----------+--------+-----------------+
1 row in set (0.00 sec)

MySQL [(none)]> LOAD CLICKHOUSE USERS TO RUNTIME;
Query OK, 0 rows affected (0.00 sec)

MySQL [(none)]> SAVE CLICKHOUSE USERS TO DISK;
Query OK, 0 rows affected (0.00 sec)

通过MySQL客户端连接ClickHouse

  • ProxySQL默认开启6090端口,来接收用户对ClickHouse的访问
# 使用上面的用户名和密码
# 如果是不同机器,记得改IP

root@10.x.x.x.x:/root  # mysql -h 127.0.0.1 -P 6090  -uclicku -pclickp --prompt "ProxySQL-ClickHouse> " 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 13
Server version: 5.5.30 (ProxySQL ClickHouse Module)

Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

ProxySQL-ClickHouse> 

执行ClickHouse操作

MySQL [(none)]> select version(); 
+-------------------+
| version           |
+-------------------+
| 5.5.30-clickhouse |
+-------------------+
1 row in set (0.00 sec)


MySQL [(none)]> select now();
+---------------------+
| now()               |
+---------------------+
| 2017-12-19 15:45:26 |
+---------------------+
1 row in set (0.00 sec)

MySQL [(none)]> select today(); 
+------------+
| today()    |
+------------+
| 2017-12-19 |
+------------+
1 row in set (0.00 sec)

# 我们的某个表 600多亿
ProxySQL-ClickHouse> select count(*) from XXXXX ; 
+-------------+
| count()     |
+-------------+
| 62699641362 |
+-------------+
1 row in set (11.20 sec)

# 另一个表 1300多亿
ProxySQL-ClickHouse> select count(*) from edge_msg_all;
+--------------+
| count()      |
+--------------+
| 131929726359 |
+--------------+
1 row in set (5.30 sec)

缺点

  • 缺乏clickhouse-client默认的
    1. SQL格式化
    2. SQL进度条
  • 这2个功能非常之好用,格式化后的SQL非常美观,如果是要发给其他人的SQL,会显得非常专业
  • 进度条功能可以明显看到SQL的执行进度,对于明显慢的不能再慢的SQL,可以及时终止掉,防止把集群资源跑满

问题

  • ProxySQL目前对后端的ClickHouse支持很弱,必须是本地的ClickHouse,并且,这个ClickHouse不能有密码,目前是写死的,不支持修改

总结

  • MySQL方式访问ClickHouse,可以减少ClickHouse对于新手的陌生感,非常值得一试
  • ProxySQL还有很多先进的功能,这里没有展开。不确定是否提供了SQL的控制功能,如果有,那简直太好了

Reference

Update

  • 调研ProxySQL其实有一个明显的目的,那就是支持可视化方面的需求
  • 在github上有非常多的数据可视化项目,如Superset、SQLPad、Metabase、Franchise等,但是只有Superset官方支持了ClickHouse,其他几个都不支持,但是支持MySQL
  • 虽然ProxySQL给ClickHouse做了一层包装,可以用MySQL协议访问ClickHouse,但是由于各家具体产品在实际操作过程中的命令不同,导致无法使用
  • Metabase
    • 执行了一个命令,select CONCAT(DATE_FORMAT(current_timestamp, '%Y-%m-%d %H:%i:%S.%f' ), ' ', @@system_time_zone);,这做不到啊
  • SqlPad
    • 获取DB信息的时候,需要查询INFORMATION_SCHEMA.columns,这个也做不到啊
  • Franchise直接没跑通
  • Redash
    • 安装复杂,还要额外依赖PG和Redis,没试
  • 我们觉得还是继续用Superset吧。。。。

ProxySQL在ClickHouse里能干吗?

  • 之所以讨论这个问题,原因是有的同学对中间件产生了误会,误以为ProxySQL会主动帮你把MySQL的函数转换成ClickHouse的函数
  • 然鹅并不是这个意思
  • ProxySQL的意义,是提供了一个MySQL协议的通讯方式,具体的SQL还得是ClickHouse自己的
  • 说白了,以前你用Python的mysqldb模块,写MySQL专有的函数操作MySQL,现在数据库操作类、方法不用变,把SQL写成ClickHouse专门的函数或者语法,ProxySQL帮你去操作ClickHouse
  • 注意一点,如果是mysqldb模块,需要在SQL里用db.tb的方式来指定数据库名
4 回复

我使用razorsql+jdbc访问ClickHouse,效果还行,可视化操作。

@simshine 这个可以做到自动补全么? 字段、函数什么的。

@simshine 我都是在sublime里写SQL 利用自动补全功能
然后终端执行

不得不说 ClickHouse的终端 很整洁 好看

@jackpgao 自动补全功能支持不太好,反应慢,不过语法高亮什么的还可以: QQ截图20180320140900.jpg

回到顶部