Guia de configuração da origem do Crunchy Bridge Postgres

O ClickPipes é compatível com o Postgres 12 e versões posteriores.

O Crunchy Bridge vem com a replicação lógica habilitada por padrão. Verifique se as configurações abaixo estão definidas corretamente. Caso contrário, ajuste-as conforme necessário.

SHOW wal_level; -- deve ser logical
SHOW max_wal_senders; -- deve ser 10
SHOW max_replication_slots; -- deve ser 10

Conecte-se ao seu Crunchy Bridge Postgres usando o usuário postgres e execute os comandos abaixo:

1. Crie um usuário dedicado para o ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. Conceda acesso somente leitura no nível do schema ao usuário que você criou na etapa anterior. O exemplo a seguir mostra as permissões para o schema public. Repita esses comandos para cada schema que contenha tabelas que você deseja replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. Conceda privilégios de replicação ao usuário:

    ALTER USER clickpipes_user WITH REPLICATION;

4. Crie uma publicação com as tabelas que você deseja replicar. Recomendamos não incluir na publicação mais tabelas do que o necessário, para evitar sobrecarga de desempenho.

• Para criar uma publicação para tabelas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • Para criar uma publicação para todas as tabelas em um schema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

A publicação clickpipes define o conjunto de tabelas cujos eventos de alteração serão transmitidos ao ClickPipes. Recomendamos não usar FOR ALL TABLES, a menos que você pretenda replicar todas as tabelas, pois incluir tabelas desnecessárias aumenta o tráfego de WAL do Postgres para o ClickPipes e reduz a eficiência geral da replicação.

Inclua os IPs do ClickPipes na lista de permissões adicionando as regras de firewall no Crunchy Bridge.

Agora você pode criar seu ClickPipe e começar a ingerir dados da sua instância do Postgres no ClickHouse Cloud. Certifique-se de anotar os detalhes da conexão usados ao configurar sua instância do Postgres, pois você precisará deles durante o processo de criação do ClickPipe.