ClickHouse学习系列之八【数据导入迁移&同步】

  在介绍了一些ClickHouse相关的系列文章之后,大致对ClickHouse有了比较多的了解。它是一款非常优秀的OLAP数据库,为了更好的来展示其强大的OLAP能力,本文将介绍一些快速导入大量数据到ClickHouse的方法。如:通过文件、远程数据库等方式。

说明 一、其他数据库导入到ClickHouse

MySQL可以做为ClickHouse的外部存储类型,还有其他的存储类型,如:MongoDB、PostgreSQL、HDFS、JDBC、ODBC、Kafka、File、RabbitMQ、S3等等,具体的可以看官网说明。本文介绍MySQL、MongoDB、File三种方式的导入,前2种方式相当于链表。

① MySQL数据导入到ClickHouse

方法一: 外部引擎,建立远程表

MySQL引擎允许对存储在远程 MySQL 服务器上的数据执行 SELECT 和 INSERT 查询,不能执行DELETE 和 UPDATE。

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1], name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2] [TTL expr2], ... ) ENGINE = MySQL('host:port', 'database', 'table', 'user', 'password'[, replace_query, 'on_duplicate_clause']) SETTINGS [connection_pool_size=16, ] [connection_max_tries=3, ] [connection_auto_close=true ] ;

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zysydp.html