Жизненный цикл MongoDB ClickPipe

В этом документе описаны различные этапы жизненного цикла MongoDB ClickPipe, возможные статусы и их значения.

Когда вы нажимаете кнопку Create ClickPipe, ClickPipe создаётся в состоянии Provisioning. На этапе подготовки мы разворачиваем базовую инфраструктуру для работы ClickPipes в этом сервисе, а также регистрируем исходные метаданные для пайпа. Поскольку вычислительные ресурсы ClickPipes в рамках сервиса являются общими, второй ClickPipe будет создан значительно быстрее первого — инфраструктура уже будет готова.

После создания пайпа он переходит в состояние Setup. На этом этапе мы создаём таблицы ClickHouse в пункте назначения.

После завершения настройки система переходит в состояние Snapshot (если только это не пайп только с CDC (фиксация изменений данных) — тогда он перейдёт в Running). Snapshot, Initial Snapshot и Initial Load (более употребительный вариант) — взаимозаменяемые термины. В этом состоянии создаётся снимок исходных коллекций MongoDB, который затем загружается в ClickHouse. Параметр хранения для oplog должен учитывать время первоначальной загрузки. Пайп также переходит в состояние Snapshot, если запускается ресинхронизация или если в существующий пайп добавляются новые таблицы.

После завершения начальной загрузки пайп переходит в состояние Running (если только это не пайп, работающий только со снимком, — тогда он перейдёт в Completed). На этом этапе пайп начинает CDC (фиксацию изменений данных). В этом состоянии мы начинаем передавать изменения из исходного кластера MongoDB в ClickHouse в режиме стриминга. О том, как управлять CDC, см. документацию по управлению CDC.

Когда пайп находится в состоянии Running, его можно приостановить. Это остановит процесс CDC, и пайп перейдёт в состояние Paused. В этом состоянии новые данные из исходной MongoDB не поступают, но уже имеющиеся данные в ClickHouse сохраняются. Из этого состояния пайп можно снова запустить.

Когда вы нажимаете кнопку Pause, пайп переходит в состояние Pausing. Это промежуточное состояние, в котором выполняется остановка процесса CDC. После полной остановки процесса CDC пайп перейдет в состояние Paused.

В настоящее время это означает, что пайп находится в процессе удаления таблиц.

Это состояние означает, что пайп находится в фазе ресинхронизации, на которой выполняется атомарная замена таблиц _resync исходными таблицами. Подробнее о ресинхронизации см. в документации по ресинхронизации.

Это состояние относится к пайпам только со снимком и означает, что создание снимка завершено и больше ничего делать не нужно.

Если в пайпе возникает неисправимая ошибка, он переходит в состояние Failed. Вы можете обратиться в службу поддержки или выполнить ресинхронизацию своего пайпа, чтобы восстановить его из этого состояния.