Guía de configuración de origen de Crunchy Bridge Postgres

ClickPipes admite Postgres 12 y versiones posteriores.

Crunchy Bridge viene con la replicación lógica habilitada de forma predeterminada. Asegúrese de que la siguiente configuración esté correctamente establecida. Si no es así, ajústela según corresponda.

SHOW wal_level; -- debe ser logical
SHOW max_wal_senders; -- debe ser 10
SHOW max_replication_slots; -- debe ser 10

Conéctese a su instancia de Crunchy Bridge Postgres con el usuario postgres y ejecute los siguientes comandos:

1. Cree un usuario dedicado para ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. Conceda acceso de solo lectura a nivel de esquema al usuario que creó en el paso anterior. El siguiente ejemplo muestra los permisos para el esquema public. Repita estos comandos para cada esquema que contenga tablas que quiera replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. Conceda privilegios de replicación al usuario:

    ALTER USER clickpipes_user WITH REPLICATION;

4. Cree una publicación con las tablas que quiera replicar. Recomendamos encarecidamente incluir en la publicación solo las tablas que necesite para evitar una sobrecarga de rendimiento.

• Para crear una publicación para tablas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • Para crear una publicación para todas las tablas de un esquema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

La publicación clickpipes define el conjunto de tablas cuyos eventos de cambio se enviarán en streaming a ClickPipes. Recomendamos no usar FOR ALL TABLES a menos que tenga la intención de replicar todas las tablas, ya que incluir tablas innecesarias aumenta el tráfico de WAL desde Postgres hacia ClickPipes y reduce la eficiencia general de la replicación.

Incluye las IP de ClickPipes en la lista segura agregando las reglas de firewall en Crunchy Bridge.

Ahora puede crear su ClickPipe y comenzar a ingestar datos de su instancia de Postgres en ClickHouse Cloud. Asegúrese de anotar los datos de conexión que utilizó al configurar su instancia de Postgres, ya que los necesitará durante el proceso de creación de ClickPipe.