Crunchy Bridge Postgres 소스 설정 가이드

ClickPipes는 Postgres 12 이상 버전을 지원합니다.

Crunchy Bridge는 기본적으로 논리적 복제가 활성화되어 있습니다. 아래 설정이 올바르게 구성되어 있는지 확인하고, 아니라면 그에 맞게 조정하십시오.

SHOW wal_level; -- logical이어야 합니다
SHOW max_wal_senders; -- 10이어야 합니다
SHOW max_replication_slots; -- 10이어야 합니다

postgres 사용자로 Crunchy Bridge Postgres에 연결한 후, 아래 명령을 실행합니다.

1. ClickPipes 전용 사용자를 생성합니다:

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. 이전 단계에서 생성한 사용자에게 스키마 수준의 읽기 전용 권한을 부여합니다. 다음 예시는 public 스키마에 대한 권한을 보여줍니다. 복제하려는 테이블이 포함된 각 스키마에 대해 이 명령을 반복하십시오:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. 사용자에게 복제 권한을 부여합니다:

    ALTER USER clickpipes_user WITH REPLICATION;

4. 복제하려는 테이블을 포함하는 publication을 생성합니다. 성능 오버헤드를 피하기 위해 publication에는 필요한 테이블만 포함할 것을 강력히 권장합니다.

• 특정 테이블에 대한 publication을 생성하려면:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • 특정 스키마의 모든 테이블에 대한 publication을 생성하려면:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

clickpipes publication은 변경 이벤트가 ClickPipes로 스트리밍될 테이블 집합을 정의합니다. 모든 테이블을 복제할 계획이 아니라면 FOR ALL TABLES 사용은 권장하지 않습니다. 불필요한 테이블을 포함하면 Postgres에서 ClickPipes로 전송되는 WAL 트래픽이 증가하고 전체 복제 효율이 저하되기 때문입니다.

Crunchy Bridge에서 Firewall Rules를 추가해 ClickPipes IP 주소를 허용 목록에 등록합니다.

이제 ClickPipe를 생성하고 Postgres 인스턴스에서 ClickHouse Cloud로 데이터를 수집하기 시작할 수 있습니다. ClickPipe 생성 과정에서 필요하므로, Postgres 인스턴스를 설정할 때 사용한 연결 정보를 반드시 기록해 두십시오.