Crunchy Bridge Postgres ソース設定ガイド

ClickPipes は Postgres バージョン 12 以降に対応しています。

Crunchy Bridge では、デフォルトで論理レプリケーションが有効になっています。以下の設定が正しく構成されていることを確認し、必要に応じて調整してください。

SHOW wal_level; -- logical である必要があります
SHOW max_wal_senders; -- 10 である必要があります
SHOW max_replication_slots; -- 10 である必要があります

postgres ユーザーで Crunchy Bridge Postgres に接続し、以下のコマンドを実行します。

1. ClickPipes 専用のユーザーを作成します。

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. 前の手順で作成したユーザーに、スキーマレベルの読み取り専用アクセス権を付与します。以下の例は public スキーマに対する権限です。レプリケーションするテーブルを含む各スキーマに対して、これらのコマンドを繰り返してください。

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. ユーザーにレプリケーション権限を付与します。

    ALTER USER clickpipes_user WITH REPLICATION;

4. レプリケーションするテーブルを含む パブリケーション を作成します。パフォーマンスへのオーバーヘッドを避けるため、パブリケーションには必要なテーブルだけを含めることを強く推奨します。

• 特定のテーブルに対するパブリケーションを作成するには:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • 特定のスキーマ内のすべてのテーブルに対するパブリケーションを作成するには:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

clickpipes パブリケーションは、変更イベントが ClickPipes にストリーミングされる対象テーブルの集合を定義します。すべてのテーブルをレプリケーションする意図がある場合を除き、FOR ALL TABLES の使用は推奨しません。不要なテーブルを含めると、Postgres から ClickPipes への WAL トラフィックが増加し、レプリケーション全体の効率が低下するためです。

Crunchy Bridge でファイアウォールルールを追加し、ClickPipes IPs を許可リストに登録します。

これで、ClickPipe を作成して、Postgres インスタンスから ClickHouse Cloud へのデータ取り込みを開始できます。 ClickPipe の作成時に必要になるため、Postgres インスタンスの設定時に使用した接続情報は必ず控えておいてください。