ClickPipes を使用して Estuary のデータを取り込む

Estuary のソースコレクションから ClickHouse にデータを移行するには、まず マテリアライゼーションを作成する必要があります。

1. Estuary ダッシュボードで、Destinations ページに移動します。
2. + New Materialization をクリックします。
3. ClickHouse Kafka API コネクタを選択します。
4. Materialization、Endpoint、Source Collections の各セクションで詳細を入力します。
   • Materialization Details: マテリアライゼーションに一意の名前を付け、データプレーン (クラウドプロバイダーとリージョン) を選択します
   • Endpoint Config: 安全な Auth Token を指定します
   • Source Collections: 既存の キャプチャをリンクするか、ClickHouse に公開するデータコレクションを選択します
5. Next、Save and Publish の順にクリックします。
6. マテリアライゼーションの詳細ページで、ClickHouse マテリアライゼーションの完全名を控えます。your-tenant/your-unique-name/dekaf-clickhouse のような形式です。

Estuary は選択したコレクションの Kafka メッセージのストリーミングを開始します。ClickHouse は、Estuary のブローカー情報と指定した認証トークンを使用して、Kafka ClickPipe 経由でこのデータにアクセスできます。

ClickHouse で新しい Kafka ClickPipe を設定し、接続情報を入力します。

1. ClickHouse Cloud ダッシュボードで、Data sources を選択します。
2. 新しい ClickPipe を作成します。
3. データソースとして Apache Kafka を選択します。
4. Estuary のブローカーおよびレジストリ情報を使用して、Kafka 接続情報を入力します。
   • ClickPipe の名前を指定します
   • ブローカーには dekaf.estuary-data.com:9092 を使用します
   • 認証はデフォルトの SASL/PLAIN のままにします
   • ユーザーには、Estuary のマテリアライゼーションの完全名 (your-tenant/your-unique-name/dekaf-clickhouse など) を入力します
   • パスワードには、マテリアライゼーションに指定した認証トークンを入力します
5. スキーマレジストリオプションを有効にします。
   • スキーマ URL には https://dekaf.estuary-data.com を使用します
   • スキーマキーはブローカーユーザー (マテリアライゼーション名) と同じです
   • シークレットはブローカーパスワード (認証トークン) と同じです

1. Kafka トピックの 1 つ (Estuary のデータコレクションの 1 つ) を選択します。
2. オフセットを選択します。
3. ClickHouse がトピックメッセージを検出します。Parse information セクションに進み、テーブル情報を設定できます。
4. 新しいテーブルを作成するか、対応する既存のテーブルにデータを読み込むかを選択します。
5. ソースフィールドをテーブルのカラムにマッピングし、カラム名、型、NULL 許容かどうかを確認します。
6. 最後の Details and settings セクションで、専用データベースユーザーの権限を選択できます。

設定内容に問題がなければ、ClickPipe を作成します。

ClickHouse は新しいデータソースをプロビジョニングし、Estuary からのメッセージのコンシュームを開始します。必要に応じて ClickPipe を作成し、目的のすべてのデータコレクションからストリーミングします。