Set up docs MCPClickPipes を使用すると、MongoDB データベースから ClickHouse Cloud にデータを取り込めます。ソースとなる MongoDB データベースは、オンプレミスでホストすることも、MongoDB Atlas などのサービスを使ってクラウドでホストすることもできます。
MongoDB ClickPipes は、ClickPipes UI を使用して手動でデプロイおよび管理できるほか、OpenAPI や Terraform を使用してプログラムでデプロイおよび管理することもできます。
前提条件
開始するには、まず MongoDB データベースがレプリケーション用に正しく構成されていることを確認する必要があります。構成手順は MongoDB のデプロイ方法によって異なるため、以下の該当するガイドに従ってください。
ソースの MongoDB データベースの設定が完了したら、ClickPipe の作成に進むことができます。
ClickPipe を作成する
ClickHouse Cloud アカウントにログインしていることを確認してください。まだアカウントをお持ちでない場合は、こちらから登録できます。
- ClickHouse Cloud コンソールで、ClickHouse Cloud サービスに移動します。
- 左側のメニューで
Data Sourcesを選択し、「Set up a ClickPipe」をクリックします。
MongoDB CDCタイルを選択します。
ソースの MongoDB データベース接続を追加する
- 前提条件の手順で設定したソースの MongoDB データベースの接続情報を入力します。
(任意) TLS設定の変更
デフォルトでは、ClickPipe は TLS と証明書検証を有効にした状態で作成されます。これらのデフォルト設定は、ClickPipe の作成時に変更できます。
または、一時停止中の ClickPipe の Settings タブにある Connection settings セクションで編集することもできます。
各項目の意味は次のとおりです。
Disable TLSは、その接続で TLS を有効または無効にするトグルです。TLS を無効にすると、データはネットワーク上を平文で送信されるため、シークレットや機密データが含まれる可能性があります。Skip certificate verificationは、ソースデータベースから提示される証明書の検証を有効または無効にするトグルです。証明書検証をスキップすることによるセキュリティ上の影響を考慮してください。TLS Host(省略可。デフォルトはソースの Host) は、証明書検証が有効な場合に、証明書の CN と一致している必要があるホスト名です。Upload CAは、証明書検証が有効な場合に使用する CA を指定するために利用できます。
(任意) SSHトンネリングを設定する
ソースのMongoDBデータベースにパブリックアクセスできない場合は、SSHトンネリングの詳細を指定できます。
-
「Use SSH Tunnelling」トグルを有効にします。
-
SSH接続の詳細を入力します。
-
鍵ベースの認証を使用するには、「Revoke and generate key pair」をクリックして新しいキーペアを生成し、生成された公開鍵をSSHサーバーの
~/.ssh/authorized_keysにコピーします。 -
「Verify Connection」をクリックして、接続を確認します。
接続の詳細を入力したら、Nextをクリックします。
詳細設定を行う
必要に応じて詳細設定を行えます。各設定の概要は以下のとおりです。
- Sync interval: ClickPipes が変更を確認するためにソースデータベースをポーリングする間隔です。これは宛先の ClickHouse サービスのコストに影響するため、コストを重視する場合は高めの値 (
3600超) に設定することを推奨します。 - Pull batch size: 1 回のバッチで取得する行数です。これはベストエフォートの設定であり、常に適用されるとは限りません。
- Snapshot number of tables in parallel: 初回スナップショット時に並列に取得するテーブル数です。テーブル数が多い場合に、並列に取得するテーブル数を制御するのに役立ちます。
テーブルを設定する
-
ここでは、ClickPipe の宛先データベースを選択できます。既存のデータベースを選ぶことも、新しく作成することもできます。
-
コピー元の MongoDB データベースからレプリケートするテーブルを選択できます。テーブルの選択時には、宛先の ClickHouse データベースでテーブル名を変更することもできます。
権限を確認して ClickPipe を開始する
-
権限のドロップダウンで「Full access」ロールを選択し、「Complete Setup」をクリックします。
次のステップ
MongoDB から ClickHouse Cloud にデータをレプリケートする ClickPipe の設定が完了したら、次は最適なパフォーマンスを得るために、データのクエリ方法やモデリングに注力できます。
注意事項
このコネクタを使用する際は、以下の点にご注意ください。
- MongoDB バージョン 5.1.0 以降が必要です。
- CDC (変更データキャプチャ) には MongoDB のネイティブな変更ストリーム API を使用しており、リアルタイムの変更の取得には MongoDB の oplog を利用します。
- MongoDB のドキュメントは、デフォルトで JSON type として ClickHouse にレプリケートされます。これにより、スキーマを柔軟に管理できるほか、ClickHouse の豊富な JSON 演算子をクエリや分析に活用できます。JSON データのクエリについて詳しくは、こちらをご覧ください。