Guide de configuration de Google Cloud SQL Postgres en tant que source

Postgres 12 ou version ultérieure

Vous n'avez pas besoin de suivre les étapes ci-dessous si le paramètre cloudsql. logical_decoding est activé. Ce paramètre est généralement préconfiguré si vous migrez depuis un autre outil de réplication de données.

1. Cliquez sur le bouton Edit sur la page Overview.

2. Accédez à Flags et définissez cloudsql.logical_decoding sur on. Cette modification nécessitera le redémarrage de votre serveur Postgres.

Connectez-vous à votre instance Cloud SQL Postgres avec l’utilisateur admin, puis exécutez les commandes ci-dessous :

1. Créez un utilisateur dédié pour ClickPipes :

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. Accordez à l’utilisateur créé à l’étape précédente un accès en lecture seule au niveau du schéma. L’exemple suivant montre les permissions du schéma public. Répétez ces commandes pour chaque schéma contenant des tables que vous souhaitez répliquer :

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. Accordez à l’utilisateur les privilèges de réplication :

   ALTER USER clickpipes_user WITH REPLICATION;

4. Créez une publication avec les tables que vous souhaitez répliquer. Nous vous recommandons fortement de n’inclure dans la publication que les tables nécessaires afin de limiter l’impact sur les performances.

• Pour créer une publication pour des tables spécifiques :

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • Pour créer une publication pour toutes les tables d’un schéma donné :

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

La publication clickpipes définit l’ensemble des tables dont les événements de modification seront transmis à ClickPipes. Nous déconseillons d’utiliser FOR ALL TABLES sauf si vous avez l’intention de répliquer chaque table, car l’inclusion de tables inutiles augmente le trafic WAL de Postgres vers ClickPipes et réduit l’efficacité globale de la réplication.

Veuillez suivre les étapes ci-dessous pour ajouter les ClickPipes IPs à votre réseau.

1. Accédez à la section Connections

2. Accédez à la sous-section Networking

3. Ajoutez les IP publiques de ClickPipes

Vous pouvez maintenant créer votre ClickPipe et commencer à ingérer les données de votre instance Postgres dans ClickHouse Cloud. Veillez à noter les coordonnées de connexion utilisées lors de la configuration de votre instance Postgres, car vous en aurez besoin pendant le processus de création du ClickPipe.