在介绍了一些ClickHouse相关的系列文章之后,大致对ClickHouse有了比较多的了解。它是一款非常优秀的OLAP数据库,为了更好的来展示其强大的OLAP能力,本文将介绍一些快速导入大量数据到ClickHouse的方法。如:通过文件、远程数据库等方式。
说明 一、其他数据库导入到ClickHouseMySQL可以做为ClickHouse的外部存储类型,还有其他的存储类型,如:MongoDB、PostgreSQL、HDFS、JDBC、ODBC、Kafka、File、RabbitMQ、S3等等,具体的可以看官网说明。本文介绍MySQL、MongoDB、File三种方式的导入,前2种方式相当于链表。
① MySQL数据导入到ClickHouse方法一: 外部引擎,建立远程表
MySQL引擎允许对存储在远程 MySQL 服务器上的数据执行 SELECT 和 INSERT 查询,不能执行DELETE 和 UPDATE。
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1], name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2] [TTL expr2], ... ) ENGINE = MySQL('host:port', 'database', 'table', 'user', 'password'[, replace_query, 'on_duplicate_clause']) SETTINGS [connection_pool_size=16, ] [connection_max_tries=3, ] [connection_auto_close=true ] ;