BladePipe 是一款实时端到端数据集成工具,具备亚秒级时延,可实现跨平台间的无缝数据流转。
ClickHouse 是 BladePipe 的预置连接器之一,用户可以通过它自动将来自各种数据源的数据集成到 ClickHouse 中。本页将分步介绍如何将数据实时加载到 ClickHouse。
支持的数据源
目前,BladePipe 支持从以下数据源将数据集成至 ClickHouse:
- MySQL/MariaDB/AuroraMySQL
- Oracle
- PostgreSQL/AuroraPostgreSQL
- MongoDB
- Kafka
- PolarDB-MySQL
- OceanBase
- TiDB
后续还将支持更多数据源。
下载并运行 BladePipe
-
登录 BladePipe Cloud。
-
按照 安装 Worker (Docker) 或 安装 Worker (二进制) 中的说明,下载并安装 BladePipe Worker。
将 ClickHouse 添加为目标
-
在 BladePipe 中,点击 "DataSource" > "Add DataSource"。
-
选择
ClickHouse,然后填写相关设置,包括 ClickHouse 的主机和端口、用户名和密码,并点击 "Test Connection"。
-
点击底部的 "Add DataSource",即可添加一个 ClickHouse 实例。
将 MySQL 添加为源
在本教程中,我们将使用 MySQL 实例作为源,并介绍将 MySQL 数据加载到 ClickHouse 的过程。
-
在 BladePipe 中,点击 "DataSource" > "Add DataSource"。
-
选择
MySQL,然后填写相关设置,输入 MySQL 主机和端口、用户名和密码,再点击 "Test Connection"。
-
点击底部的 "Add DataSource",即可添加 MySQL 实例。
创建管道
-
在 BladePipe 中,点击 "DataJob" > "Create DataJob"。
-
选择已添加的 MySQL 和 ClickHouse 实例,点击 "Test Connection",确认 BladePipe 已连接到这些实例。然后,选择要迁移的数据库。

-
在 DataJob Type 中选择 "Incremental",同时勾选 "Full Data" 选项。

-
选择要复制的表。

-
选择要复制的列。

-
确认创建 DataJob 后,DataJob 会自动运行。

验证数据
- 停止向 MySQL 实例写入数据,并等待 ClickHouse 完成数据合并。
- 创建一个 验证 DataJob。验证 DataJob 完成后,请检查结果,确认 ClickHouse 中的数据与 MySQL 中的数据一致。
