BladePipe を ClickHouse に接続する

パートナーインテグレーション

BladePipe は、サブ秒レベルの低レイテンシでプラットフォーム間のシームレスなデータフローを実現する、リアルタイムのエンドツーエンド Data Integration ツールです。

ClickHouse は、BladePipe であらかじめ用意されているコネクタの 1 つで、さまざまなソースのデータを ClickHouse に自動的に取り込めます。このページでは、データを ClickHouse にリアルタイムで読み込む方法を順を追って説明します。

対応しているソース

現在、BladePipe は以下のソースから ClickHouse へのData Integrationに対応しています。

今後さらに多くのソースに対応する予定です。

BladePipe をダウンロードして実行する

BladePipe Cloud にログインします。
Worker のインストール (Docker) または Worker のインストール (バイナリ) の手順に従って、BladePipe Worker をダウンロードしてインストールします。

ターゲットとして ClickHouse を追加する

BladePipe で、"DataSource" > "Add DataSource" をクリックします。
ClickHouse を選択し、ClickHouse のホストとポート、ユーザー名とパスワードを入力して設定を行い、"Test Connection" をクリックします。
下部にある "Add DataSource" をクリックすると、ClickHouse インスタンスが追加されます。

MySQL をソースとして追加する

このチュートリアルでは、ソースとして MySQL インスタンスを使用し、MySQL のデータを ClickHouse に読み込む手順を説明します。

パイプラインを作成する

BladePipe で、"DataJob" > "Create DataJob" をクリックします。
追加した MySQL インスタンスと ClickHouse インスタンスを選択し、"Test Connection" をクリックして BladePipe がそれぞれのインスタンスに接続できることを確認します。続いて、移行対象のデータベースを選択します。
DataJob Type で "Incremental" を選択し、あわせて "Full Data" オプションも選択します。
複製するテーブルを選択します。
複製するカラムを選択します。
DataJob の作成を確認すると、DataJob は自動的に実行されます。

データを検証する

検証用 DataJob を作成します。検証用 DataJob が完了したら、結果を確認し、ClickHouse のデータが MySQL のデータと一致していることを確認します。