Guia de configuração do Neon Postgres como fonte

Este é um guia sobre como configurar o Neon Postgres, que você pode usar para replicação no ClickPipes. Certifique-se de ter feito login no seu console do Neon para essa configuração.

Conecte-se à sua instância do Neon como usuário administrador e execute os seguintes comandos:

1. Crie um usuário dedicado para o ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. Conceda acesso somente leitura no nível do esquema ao usuário que você criou na etapa anterior. O exemplo a seguir mostra as permissões para o esquema public. Repita esses comandos para cada esquema que contenha tabelas que você deseja replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. Conceda privilégios de replicação ao usuário:

   ALTER USER clickpipes_user WITH REPLICATION;

4. Crie uma publication com as tabelas que você deseja replicar. Recomendamos fortemente incluir na publication apenas as tabelas necessárias para evitar sobrecarga de desempenho.

• Para criar uma publication para tabelas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • Para criar uma publication para todas as tabelas em um esquema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

A publication clickpipes define o conjunto de tabelas cujos eventos de alteração serão transmitidos ao ClickPipes. Recomendamos não usar FOR ALL TABLES, a menos que você pretenda replicar todas as tabelas, pois incluir tabelas desnecessárias aumenta o tráfego de WAL do Postgres para o ClickPipes e reduz a eficiência geral da replicação.

No Neon, você pode ativar a replicação lógica pela interface. Isso é necessário para que o CDC do ClickPipes replique os dados. Acesse a aba Settings e, em seguida, a seção Logical Replication.

Clique em Enable para concluir esta etapa. Depois de ativá-la, você deverá ver a mensagem de sucesso abaixo.

Vamos verificar as configurações abaixo na sua instância do Neon Postgres:

SHOW wal_level; -- should be logical
SHOW max_wal_senders; -- should be 10
SHOW max_replication_slots; -- should be 10

Se você tem o plano Neon Enterprise, pode adicionar os ClickPipes IPs à lista de permissões para permitir a replicação do ClickPipes para sua instância do Neon Postgres. Para fazer isso, clique na aba Settings e vá até a seção IP Allow.

Agora que o usuário está criado, a publication está pronta e a replicação está habilitada, podemos copiar os detalhes da conexão para criar um novo ClickPipe. Acesse o Dashboard e, na caixa de texto em que a string de conexão é exibida, mude a visualização para Somente parâmetros. Vamos precisar desses parâmetros na próxima etapa.

Agora você pode criar seu ClickPipe e começar a ingestão de dados da sua instância do Postgres para o ClickHouse Cloud. Anote os detalhes da conexão que você usou ao configurar sua instância do Postgres, pois eles serão necessários durante o processo de criação do ClickPipe.