Guía de configuración de PlanetScale para Postgres como fuente

ClickPipes es compatible con Postgres 12 y versiones posteriores.

1. Para habilitar la replicación en su instancia de Postgres, debemos asegurarnos de que estén configurados los siguientes parámetros:

   wal_level = logical

   Para comprobarlo, puede ejecutar el siguiente comando SQL:

   SHOW wal_level;

   La salida debería ser logical de forma predeterminada. Si no es así, inicie sesión en la consola de PlanetScale, vaya a Cluster configuration->Parameters y desplácese hacia abajo hasta Write-ahead log para cambiarlo.

2. Además, se recomienda aumentar el valor de max_slot_wal_keep_size respecto a su valor predeterminado de 4GB. Esto también se hace desde la consola de PlanetScale; vaya a Cluster configuration->Parameters y, a continuación, desplácese hacia abajo hasta Write-ahead log. Para ayudarle a determinar el nuevo valor, consulte aquí.

Conéctese a su instancia de PlanetScale Postgres con el usuario predeterminado postgres.<...> y ejecute los siguientes comandos:

1. Cree un usuario específico para ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. Conceda acceso de solo lectura a nivel de esquema al usuario que creó en el paso anterior. El siguiente ejemplo muestra los permisos para el esquema public. Repita estos comandos para cada esquema que contenga tablas que quiera replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. Conceda privilegios de replicación al usuario:

   ALTER USER clickpipes_user WITH REPLICATION;

4. Cree una publicación con las tablas que quiera replicar. Recomendamos encarecidamente incluir en la publicación solo las tablas que necesite para evitar una sobrecarga de rendimiento.

• Para crear una publicación para tablas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • Para crear una publicación para todas las tablas de un esquema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

La publicación clickpipes define el conjunto de tablas cuyos eventos de cambio se transmitirán a ClickPipes. Recomendamos no usar FOR ALL TABLES a menos que tenga previsto replicar todas las tablas, ya que incluir tablas innecesarias aumenta el tráfico de WAL desde Postgres hacia ClickPipes y reduce la eficiencia general de la replicación.

1. Para conectarse a PlanetScale Postgres, es necesario añadir la rama actual al nombre de usuario creado anteriormente. Por ejemplo, si el usuario creado se llama clickpipes_user, el usuario real que debe proporcionarse durante la creación de ClickPipe es clickpipes_user.branch, donde branch hace referencia al "id" de la rama actual de PlanetScale Postgres. Para identificarlo rápidamente, puede consultar el nombre de usuario del usuario postgres que utilizó antes para crear el usuario; la parte que aparece después del punto corresponde al id de la rama.
2. No utilice el puerto PSBouncer (actualmente 6432) para pipes de CDC que se conecten a PlanetScale Postgres; debe usarse el puerto estándar 5432. Cualquiera de los dos puertos puede usarse para pipes solo de carga inicial.
3. Asegúrese de conectarse únicamente a la instancia principal; la conexión a instancias de réplica no es compatible actualmente.

Ahora puedes crear tu ClickPipe y empezar a ingestar datos desde tu instancia de Postgres en ClickHouse Cloud. Asegúrate de anotar los datos de conexión que usaste al configurar tu instancia de Postgres, ya que los necesitarás durante el proceso de creación de ClickPipe.