Жизненный цикл ClickPipe для Postgres

В этом документе описаны различные этапы ClickPipe для Postgres, возможные статусы и их значения.

Когда вы нажимаете кнопку Create ClickPipe, ClickPipe создаётся в состоянии Provisioning. На этапе выделения ресурсов мы разворачиваем базовую инфраструктуру для работы ClickPipes в сервисе, а также регистрируем исходные метаданные для пайпа. Поскольку вычислительные ресурсы для ClickPipes внутри сервиса общие, второй ClickPipe будет создан значительно быстрее первого, — инфраструктура уже будет готова.

После создания пайпа он переходит в состояние Setup. В этом состоянии мы создаём таблицы ClickHouse в пункте назначения. Здесь же мы получаем и сохраняем определения ваших исходных таблиц.

После завершения настройки мы переходим в состояние Snapshot (если только это не CDC-пайп, который перейдёт в состояние Running). Snapshot, Initial Snapshot и Initial Load (более распространённый вариант) — взаимозаменяемые термины. В этом состоянии создаётся снимок таблиц исходной базы данных и загружается в ClickHouse. Логическая репликация здесь не используется, но на этом шаге создаётся слот репликации, поэтому параметры max_slot_wal_keep_size и хранилища должны учитывать рост слота во время начальной загрузки. Подробнее о начальной загрузке см. в документации по параллельной начальной загрузке. Пайп также переходит в состояние Snapshot, когда запускается ресинхронизация или когда в существующий пайп добавляются новые таблицы.

После завершения начальной загрузки пайп переходит в состояние Running (если только это не пайп только со снимком, который перейдёт в Completed). На этом этапе пайп начинает CDC (фиксация изменений данных). В этом состоянии мы запускаем логическую репликацию из исходной базы данных в ClickHouse. Подробнее об управлении CDC см. в документации по управлению CDC.

Когда пайп находится в состоянии Running, его можно приостановить. Это остановит процесс CDC, и пайп перейдёт в состояние Paused. В этом состоянии новые данные из базы данных-источника не загружаются, но существующие данные в ClickHouse остаются без изменений. Затем работу пайпа можно возобновить.

При нажатии кнопки Pause пайп переходит в состояние Pausing. Это временное состояние, в котором выполняется остановка процесса CDC. После полной остановки процесса CDC пайп перейдёт в состояние Paused.

Сейчас это означает, что пайп находится в процессе удаления таблиц.

Это состояние означает, что пайп находится на этапе ресинхронизации, на котором выполняется атомарный обмен таблиц _resync с исходными таблицами. Подробнее о ресинхронизации см. в документации по ресинхронизации.

Это состояние относится к пайпам, работающим только со снимком, и означает, что создание снимка завершено и больше ничего делать не нужно.

Если в пайпе возникнет неустранимая ошибка, он перейдёт в состояние Failed. Чтобы восстановить работу после этого, вы можете обратиться в службу поддержки или повторно синхронизировать свой пайп.