Guía de configuración de Google Cloud SQL Postgres como fuente para ClickPipes

Postgres 12 o posterior

No es necesario seguir los pasos siguientes si la configuración cloudsql. logical_decoding está activada. Normalmente, esta configuración ya debería estar preconfigurada si migras desde otra herramienta de replicación de datos.

1. Haz clic en el botón Edit de la página Overview.

2. Ve a Flags y cambia cloudsql.logical_decoding a on. Este cambio requerirá reiniciar el servidor de Postgres.

Conéctese a su instancia de Cloud SQL para Postgres con el usuario administrador y ejecute los siguientes comandos:

1. Cree un usuario dedicado para ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. Conceda acceso de solo lectura a nivel de esquema al usuario que creó en el paso anterior. El siguiente ejemplo muestra los permisos para el esquema public. Repita estos comandos para cada esquema que contenga tablas que quiera replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. Conceda privilegios de replicación al usuario:

   ALTER USER clickpipes_user WITH REPLICATION;

4. Cree una publication con las tablas que quiera replicar. Recomendamos encarecidamente incluir solo las tablas necesarias en la publication para evitar una sobrecarga de rendimiento.

• Para crear una publication para tablas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • Para crear una publication para todas las tablas de un esquema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

La publication clickpipes define el conjunto de tablas cuyos eventos de cambio se transmitirán a ClickPipes. Recomendamos no usar FOR ALL TABLES a menos que tenga la intención de replicar todas las tablas, ya que incluir tablas innecesarias aumenta el tráfico de WAL desde Postgres hasta ClickPipes y reduce la eficiencia general de la replicación.

Sigue estos pasos para añadir las IP de ClickPipes a la red.

1. Ve a la sección Conexiones

2. Ve a la subsección Redes

3. Añade las IP públicas de ClickPipes

Ahora puedes crear tu ClickPipe y empezar a ingestar datos desde tu instancia de Postgres hacia ClickHouse Cloud. Asegúrate de anotar los datos de conexión que usaste al configurar tu instancia de Postgres, ya que los necesitarás durante el proceso de creación del ClickPipe.