Руководство по настройке AlloyDB Postgres как источника

Чтобы передавать данные из экземпляра AlloyDB в ClickHouse Cloud с помощью ClickPipes, ваш экземпляр должен быть настроен для логической репликации. Это поддерживается начиная с AlloyDB версии 14.

Чтобы проверить, включена ли логическая репликация в вашем экземпляре AlloyDB, выполните следующий запрос на основном экземпляре:

SHOW  wal_level;

Если результат — logical, логическая репликация уже включена, и вы можете перейти к следующему шагу. Если результат — replica, необходимо установить флаги alloydb.enable_pglogical и alloydb.logical_decoding в значение on на основном экземпляре.

Чтобы включить эти флаги:

1. В консоли Google Cloud перейдите на страницу AlloyDB Clusters. В меню Actions для основного экземпляра нажмите Edit.

   

2. Прокрутите страницу вниз до раздела Advanced configuration options и разверните его. В разделе Flags нажмите Add a database flag.

   • Добавьте флаг allowdb.enable_pglogical и установите для него значение on
   • Добавьте флаг alloydb.logical_decoding и установите для него значение on

   

3. Нажмите Update instance, чтобы сохранить изменения конфигурации. Важно: это действие приводит к перезапуску основного экземпляра.

4. Когда статус экземпляра изменится с Updating на Ready, выполните следующий запрос на основном экземпляре, чтобы убедиться, что логическая репликация включена:

   SHOW  wal_level;

   Результат должен быть logical.

   

Подключитесь к своему экземпляру AlloyDB от имени администратора и выполните следующие команды:

1. Создайте отдельного пользователя для ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. Предоставьте пользователю, созданному на предыдущем шаге, доступ к схеме в режиме только для чтения. В следующем примере показаны разрешения для схемы public. Повторите эти команды для каждой схемы, содержащей таблицы, которые вы хотите реплицировать:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. Предоставьте пользователю права на репликацию:

   ALTER USER clickpipes_user WITH REPLICATION;

4. Создайте публикацию с таблицами, которые вы хотите реплицировать. Мы настоятельно рекомендуем включать в публикацию только действительно нужные таблицы, чтобы избежать лишней нагрузки на производительность.

• Чтобы создать публикацию для определённых таблиц:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • Чтобы создать публикацию для всех таблиц в определённой схеме:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

Публикация clickpipes определяет набор таблиц, события изменений из которых будут передаваться в ClickPipes. Мы не рекомендуем использовать FOR ALL TABLES, если только вы не планируете реплицировать каждую таблицу, поскольку включение ненужных таблиц увеличивает объём WAL-трафика из Postgres в ClickPipes и снижает общую эффективность репликации.

Затем выберите способ подключения ClickPipes к экземпляру AlloyDB.

Теперь вы можете создать свой ClickPipe и начать ингестию данных из вашего экземпляра Postgres в ClickHouse Cloud. Обязательно сохраните сведения о подключении, которые вы использовали при настройке экземпляра Postgres, — они понадобятся вам при создании ClickPipe.