Guía de configuración de la fuente de Neon Postgres

Esta es una guía sobre cómo configurar Neon Postgres, que puedes usar para la replicación en ClickPipes. Asegúrate de haber iniciado sesión en tu Console de Neon para esta configuración.

Conéctese a su instancia de Neon como usuario administrador y ejecute los siguientes comandos:

1. Cree un usuario dedicado para ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. Conceda acceso de solo lectura a nivel de esquema al usuario que creó en el paso anterior. El siguiente ejemplo muestra los permisos para el esquema public. Repita estos comandos para cada esquema que contenga tablas que quiera replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. Conceda privilegios de replicación al usuario:

   ALTER USER clickpipes_user WITH REPLICATION;

4. Cree una publicación con las tablas que quiera replicar. Recomendamos encarecidamente incluir en la publicación solo las tablas que necesite para evitar sobrecarga de rendimiento.

• Para crear una publicación para tablas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • Para crear una publicación para todas las tablas de un esquema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

La publicación clickpipes define el conjunto de tablas cuyos eventos de cambio se transmitirán a ClickPipes. Recomendamos no usar FOR ALL TABLES a menos que tenga previsto replicar todas las tablas, ya que incluir tablas innecesarias aumenta el tráfico WAL de Postgres a ClickPipes y reduce la eficiencia general de la replicación.

En Neon, puedes habilitar la replicación lógica desde la UI. Esto es necesario para que el CDC de ClickPipes replique los datos. Ve a la pestaña Settings y luego a la sección Logical Replication.

Haz clic en Enable para completar este paso. Una vez habilitada, deberías ver el siguiente mensaje de confirmación.

Verifiquemos la siguiente configuración en tu instancia de Neon Postgres:

SHOW wal_level; -- should be logical
SHOW max_wal_senders; -- should be 10
SHOW max_replication_slots; -- should be 10

Si tienes el plan Neon Enterprise, puedes incluir en la lista de permitidos las ClickPipes IPs para permitir la replicación desde ClickPipes hacia tu instancia de Neon Postgres. Para hacerlo, haz clic en la pestaña Settings y ve a la sección IP Allow.

Ahora que ya tenemos el usuario y la publicación listos, y la replicación habilitada, podemos copiar los detalles de conexión para crear un nuevo ClickPipe. Ve al Dashboard y, en el cuadro de texto donde aparece la cadena de conexión, cambia la vista a Solo parámetros. Necesitaremos estos parámetros en el siguiente paso.

Ahora puede crear su ClickPipe y comenzar a ingestar datos desde su instancia de Postgres hacia ClickHouse Cloud. Asegúrese de anotar los detalles de conexión que utilizó al configurar su instancia de Postgres, ya que los necesitará durante el proceso de creación de ClickPipe.