Руководство по настройке источника PlanetScale for Postgres

ClickPipes поддерживает Postgres версии 12 и новее.

1. Чтобы включить репликацию на экземпляре Postgres, нужно убедиться, что установлены следующие настройки:

   wal_level = logical

   Чтобы проверить это, можно выполнить следующую SQL-команду:

   SHOW wal_level;

   По умолчанию результат должен быть logical. Если это не так, войдите в консоль PlanetScale, перейдите в Cluster configuration->Parameters и прокрутите вниз до Write-ahead log, чтобы изменить этот параметр.

2. Кроме того, рекомендуется увеличить значение параметра max_slot_wal_keep_size по сравнению со значением по умолчанию 4GB. Это также делается через консоль PlanetScale: перейдите в Cluster configuration->Parameters, затем прокрутите вниз до Write-ahead log. Чтобы подобрать новое значение, ознакомьтесь с рекомендациями здесь.

Подключитесь к своему экземпляру PlanetScale Postgres под пользователем по умолчанию postgres.<...> и выполните следующие команды:

1. Создайте отдельного пользователя для ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. Предоставьте пользователю, созданному на предыдущем шаге, доступ к схеме в режиме только для чтения. В следующем примере показаны разрешения для схемы public. Повторите эти команды для каждой схемы, содержащей таблицы, которые вы хотите реплицировать:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. Предоставьте пользователю привилегии репликации:

   ALTER USER clickpipes_user WITH REPLICATION;

4. Создайте публикацию с таблицами, которые вы хотите реплицировать. Мы настоятельно рекомендуем включать в публикацию только необходимые таблицы, чтобы избежать лишних накладных расходов по производительности.

• Чтобы создать публикацию для конкретных таблиц:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • Чтобы создать публикацию для всех таблиц в конкретной схеме:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

Публикация clickpipes определяет набор таблиц, события изменений из которых будут передаваться в ClickPipes. Мы не рекомендуем использовать FOR ALL TABLES, если только вы не планируете реплицировать все таблицы, поскольку включение лишних таблиц увеличивает WAL-трафик из Postgres в ClickPipes и снижает общую эффективность репликации.

1. Чтобы подключиться к PlanetScale Postgres, к имени пользователя, созданному выше, нужно добавить текущую ветку. Например, если созданный пользователь называется clickpipes_user, то при создании ClickPipe нужно указать имя пользователя clickpipes_user.branch, где branch — это "id" текущей ветки PlanetScale Postgres. Чтобы быстро определить его, можно посмотреть на имя пользователя postgres, которое вы ранее использовали для создания пользователя: часть после точки и будет идентификатором ветки.
2. Не используйте порт PSBouncer (сейчас это 6432) для CDC-пайпов, подключающихся к PlanetScale Postgres: необходимо использовать обычный порт 5432. Для пайпов только с начальной загрузкой можно использовать любой из этих портов.
3. Убедитесь, что подключаетесь только к основному экземпляру; подключение к экземплярам-репликам сейчас не поддерживается.

Теперь вы можете создать свой ClickPipe и начать загрузку данных из экземпляра Postgres в ClickHouse Cloud. Обязательно сохраните сведения о подключении, которые вы использовали при настройке экземпляра Postgres, так как они понадобятся вам при создании ClickPipe.