Guia de configuração do Postgres no Google Cloud SQL como origem

Postgres 12 ou posterior

Você não precisa seguir as etapas abaixo se a configuração cloudsql. logical_decoding estiver ativada. Em geral, essa configuração já vem pré-configurada se você estiver migrando de outra ferramenta de replicação de dados.

1. Clique no botão Edit na página Overview.

2. Vá para Flags e altere cloudsql.logical_decoding para on. Essa alteração exigirá a reinicialização do servidor Postgres.

Conecte-se ao Cloud SQL Postgres usando o usuário admin e execute os comandos abaixo:

1. Crie um usuário dedicado para o ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. Conceda ao usuário criado na etapa anterior acesso de somente leitura no nível do schema. O exemplo a seguir mostra as permissões para o schema public. Repita esses comandos para cada schema que contenha tabelas que você deseja replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. Conceda privilégios de replicação ao usuário:

   ALTER USER clickpipes_user WITH REPLICATION;

4. Crie uma publicação com as tabelas que você deseja replicar. Recomendamos fortemente incluir na publicação apenas as tabelas necessárias para evitar sobrecarga de desempenho.

• Para criar uma publicação para tabelas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • Para criar uma publicação para todas as tabelas em um schema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

A publicação clickpipes define o conjunto de tabelas cujos eventos de alteração serão transmitidos ao ClickPipes. Recomendamos não usar FOR ALL TABLES, a menos que você pretenda replicar todas as tabelas, pois incluir tabelas desnecessárias aumenta o tráfego de WAL do Postgres para o ClickPipes e reduz a eficiência geral da replicação.

Siga as etapas abaixo para adicionar os IPs do ClickPipes à sua rede.

1. Vá para a seção Connections

2. Vá para a subseção Networking

3. Adicione os IPs públicos do ClickPipes

Agora você pode criar seu ClickPipe e iniciar a ingestão de dados da sua instância do Postgres no ClickHouse Cloud. Anote os detalhes de conexão usados ao configurar sua instância do Postgres, pois você precisará deles durante o processo de criação do ClickPipe.