Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs

将 BladePipe 连接到 ClickHouse

合作伙伴集成

BladePipe 是一款实时端到端数据集成工具,具备亚秒级时延,可实现跨平台间的无缝数据流转。

ClickHouse 是 BladePipe 的预置连接器之一,用户可以通过它自动将来自各种数据源的数据集成到 ClickHouse 中。本页将分步介绍如何将数据实时加载到 ClickHouse。

支持的数据源

目前,BladePipe 支持从以下数据源将数据集成至 ClickHouse:

  • MySQL/MariaDB/AuroraMySQL
  • Oracle
  • PostgreSQL/AuroraPostgreSQL
  • MongoDB
  • Kafka
  • PolarDB-MySQL
  • OceanBase
  • TiDB

后续还将支持更多数据源。

下载并运行 BladePipe

  1. 登录 BladePipe Cloud

  2. 按照 安装 Worker (Docker) 安装 Worker (二进制) 中的说明,下载并安装 BladePipe Worker。

将 ClickHouse 添加为目标

  1. 在 BladePipe 中,点击 "DataSource" > "Add DataSource"。

  2. 选择 ClickHouse,然后填写相关设置,包括 ClickHouse 的主机和端口、用户名和密码,并点击 "Test Connection"。

    将 ClickHouse 添加为目标
  3. 点击底部的 "Add DataSource",即可添加一个 ClickHouse 实例。

将 MySQL 添加为源

在本教程中,我们将使用 MySQL 实例作为源,并介绍将 MySQL 数据加载到 ClickHouse 的过程。

  1. 在 BladePipe 中,点击 "DataSource" > "Add DataSource"。

  2. 选择 MySQL,然后填写相关设置,输入 MySQL 主机和端口、用户名和密码,再点击 "Test Connection"。

    将 MySQL 添加为源
  3. 点击底部的 "Add DataSource",即可添加 MySQL 实例。

创建管道

  1. 在 BladePipe 中,点击 "DataJob" > "Create DataJob"。

  2. 选择已添加的 MySQL 和 ClickHouse 实例,点击 "Test Connection",确认 BladePipe 已连接到这些实例。然后,选择要迁移的数据库。

    选择源和目标
  3. 在 DataJob Type 中选择 "Incremental",同时勾选 "Full Data" 选项。

    选择同步类型
  4. 选择要复制的表。

    选择表
  5. 选择要复制的列。

    选择列
  6. 确认创建 DataJob 后,DataJob 会自动运行。

    DataJob 正在运行

验证数据

  1. 停止向 MySQL 实例写入数据,并等待 ClickHouse 完成数据合并。
  1. 创建一个 验证 DataJob。验证 DataJob 完成后,请检查结果,确认 ClickHouse 中的数据与 MySQL 中的数据一致。
    验证数据
Navigation