Set up docs MCP概要
ClickPipes は、多様なデータソースからのデータ取り込みを、数回クリックするだけで簡単に行えるマネージドなインテグレーションプラットフォームです。最も要求の厳しいワークロード向けに設計された、堅牢かつスケーラブルな ClickPipes のアーキテクチャにより、一貫したパフォーマンスと信頼性を実現します。ClickPipes は、継続的なデータインジェストにも、一回限りのデータロードにも利用できます。
ClickPipes は、ClickPipes UI を使用してデプロイおよび管理できるほか、OpenAPI や Terraform を使用してプログラムからデプロイおよび管理することもできます。
コネクタ
ストリーミング向け ClickPipes
| コネクタ | 機能ライフサイクル | データソース |
|---|---|---|
 Kafka |
GA | Apache Kafka、Confluent Cloud、Redpanda、AWS MSK、Google Cloud Managed Service for Apache Kafka、Azure Event Hubs、WarpStream、その他の Kafka API 互換データソース |
 Amazon Kinesis |
GA | |
 GCP Pub/Sub |
プライベートプレビュー |
Object Storage 向け ClickPipes
| コネクタ | 機能ライフサイクル | データソース |
|---|---|---|
 Amazon S3 |
GA | Amazon S3、Cloudflare R2、DigitalOcean Spaces、OVH Object Storage、その他の S3 API 互換データソース。 |
 Google Cloud ストレージ |
GA | |
 Azure Blob Storage |
GA |
ClickPipes for CDC
| コネクタ | 機能ライフサイクル | データソース |
|---|---|---|
 Postgres |
GA | Amazon RDS, Amazon Aurora, Google Cloud SQL, AlloyDB, Azure Flexible Server, Supabase, Neon, Crunchy Bridge, TimescaleDB, PlanetScale, セルフマネージド などの互換性のあるデータソース。 |
 MySQL |
パブリックベータ | Amazon RDS, Amazon Aurora, Cloud SQL, Azure Flexible Server, セルフマネージド MySQL, Amazon RDS for MariaDB, セルフマネージド MariaDB などの互換性のあるデータソース。 |
 MongoDB |
パブリックベータ | MongoDB Atlas, Amazon DocumentDB, セルフマネージド などの互換性のあるデータソース。 |
 BigQuery |
プライベートプレビュー |
今後、さらに多くのコネクタが ClickPipes に追加される予定です。詳細は、お問い合わせください。
AWS IAM データベース認証
ClickPipes は、Amazon RDS および Aurora の AWS IAM データベース認証に対応しています。設定方法はデータベースエンジンと AWS サービスによって異なるため、お使いのデータベースに対応するソースのセットアップガイドを選択してください。
| データベースエンジン | AWS サービス | セットアップガイド |
|---|---|---|
| PostgreSQL | Amazon RDS | RDS for PostgreSQL |
| PostgreSQL | Amazon Aurora | Aurora PostgreSQL-Compatible Edition |
| MySQL | Amazon RDS | RDS for MySQL |
| MySQL | Amazon Aurora | Aurora MySQL-Compatible Edition |
| MariaDB | Amazon RDS | RDS for MariaDB |
固定 IP の一覧
ClickPipes の固定 NAT IP の一覧は、ClickPipes ネットワークドキュメントに移動しました。
ClickHouse設定の調整
ClickHouse Cloud では、ほとんどのユースケースに適したデフォルト設定が提供されています。ただし、ClickPipes の宛先テーブル向けに ClickHouse設定を調整する必要がある場合は、ClickPipes 専用のロールを作成するのが最も柔軟な方法です。 手順:
- カスタムロール
CREATE ROLE my_clickpipes_role SETTINGS ...を作成します。詳細は CREATE ROLE の構文を参照してください。 - ClickPipes の作成時に、
Details and Settingsステップで ClickPipes ユーザーにカスタムロールを追加します。
ClickPipes の高度な設定の調整
ClickPipes には、ほとんどのユースケースに対応できる適切なデフォルト設定が用意されています。さらに細かく調整する必要がある場合は、以下の設定を変更できます。
オブジェクトストレージ 用 ClickPipes
| 設定 | デフォルト値 | 説明 |
|---|---|---|
Max insert bytes |
10 GB | 1 回の挿入バッチで処理するバイト数。 |
Max file count |
100 | 1 回の挿入バッチで処理するファイルの最大数。 |
Max threads |
auto(3) | ファイル処理に使用する同時実行スレッドの最大数。 |
Max insert threads |
1 | ファイル処理に使用する同時実行の挿入スレッドの最大数。 |
Min insert block size bytes |
1 GB | テーブルに挿入可能なブロックの最小バイトサイズ。 |
Max download threads |
4 | 同時実行されるダウンロードスレッドの最大数。 |
Object storage polling interval |
30 s | データを ClickHouse クラスターに挿入するまでの最大待機時間を設定します。 |
Parallel distributed insert select |
2 | Parallel distributed insert select 設定。 |
Parallel view processing |
false | アタッチされたビューへのプッシュを、順次ではなく同時実行にするかどうか。 |
Use cluster function |
true | 複数のノードにまたがってファイルを並列に処理するかどうか。 |
ストリーミング ClickPipes
| 設定 | デフォルト値 | 説明 |
|---|---|---|
Streaming max insert wait time |
5 s | データを ClickHouse クラスターに挿入するまでの最大待機時間を設定します。 |
エラーの報告
ClickPipes は、インジェスト中に発生したエラーの種類に応じて、エラーを 2 つの別々のテーブルに保存します。
レコードエラー
ClickPipes は、宛先テーブルと同じ場所に、末尾が <destination_table_name>_clickpipes_error となるテーブルを作成します。このテーブルには、データ形式の不正やスキーマの不一致によって発生したエラーが格納され、無効なメッセージ全体も記録されます。このテーブルの 有効期限 (TTL) は 7 日です。
システムエラー
ClickPipe の動作に関連するエラーは、system.clickpipes_log テーブルに保存されます。このテーブルには、ClickPipe の動作に関するその他のエラー (ネットワークや接続など) もすべて保存されます。このテーブルの 有効期限 (TTL) は 7 日間です。
ClickPipes が 15 分以内にデータソースに接続できない場合、または 1 時間以内に宛先に接続できない場合、ClickPipes インスタンスは停止し、適切なメッセージをシステムエラーテーブルに保存します (ClickHouse インスタンスが利用可能な場合) 。
監視
コンソールでの監視に加えて、ClickPipes はスクレイピング用に Prometheus互換エンドポイント へメトリクスを公開しています。これらのメトリクスは、他の ClickHouse Cloud サービスのメトリクスとあわせて公開され、既存のオブザーバビリティスタック (例: Grafana、Datadog) に ClickPipes の監視を統合できます。利用可能なメトリクスの一覧については、ClickPipes の監視 を参照してください。
よくある質問
-
ClickPipes とは何ですか？
ClickPipes は ClickHouse Cloud の機能で、ClickHouse サービスを外部データソース、特に Kafka に簡単に接続できます。Kafka 向け ClickPipes を使うと、データを ClickHouse に継続的に簡単に取り込み、リアルタイム分析に利用できるようになります。
-
ClickPipes はデータ変換をサポートしていますか？
はい。ClickPipes は DDL を作成できるため、基本的なデータ変換をサポートしています。さらに、ClickHouse の materialized view 機能 を活用することで、ClickHouse Cloud サービス内の宛先テーブルにデータが読み込まれる際に、より高度な変換を適用できます。
-
ClickPipes を使用すると追加料金が発生しますか？
ClickPipes の課金は、取り込みデータとコンピュートの 2 つの項目に基づいて行われます。料金の詳細は このページ を参照してください。ClickPipes を実行すると、他の取り込みワークロードと同様に、宛先の ClickHouse Cloud サービスで間接的なコンピュートおよびストレージのコストが発生する場合もあります。
-
Kafka 向け ClickPipes の使用時にエラーや障害に対処する方法はありますか？
はい。Kafka からデータを取り込む際に、ネットワークや接続の問題などの運用上の理由で障害が発生した場合、Kafka 向け ClickPipes は自動的に再試行します。データの形式不正や無効なスキーマが発生した場合、ClickPipes はそのレコードを record_error テーブルに保存し、処理を継続します。