Жизненный цикл MySQL ClickPipe

В этом документе описаны различные этапы жизненного цикла MySQL ClickPipe, возможные статусы пайпа и их значение. Обратите внимание, что всё это также применимо к MariaDB.

Когда вы нажимаете кнопку Create ClickPipe, ClickPipe создается в состоянии Provisioning. В ходе подготовки мы разворачиваем базовую инфраструктуру для работы ClickPipes этого сервиса, а также регистрируем начальные метаданные для пайпа. Поскольку вычислительные ресурсы ClickPipes в рамках одного сервиса используются совместно, ваш второй ClickPipe будет создан гораздо быстрее, чем первый, — инфраструктура уже будет готова.

После подготовки пайпа он переходит в состояние Setup. В этом состоянии мы создаём таблицы ClickHouse в пункте назначения. Здесь же мы получаем и сохраняем определения ваших исходных таблиц.

После завершения настройки пайп переходит в состояние Snapshot (если это не пайп только для CDC, который перейдет в Running). Snapshot, Initial Snapshot и Initial Load (более распространенный вариант) — взаимозаменяемые термины. В этом состоянии создается снимок исходных таблиц MySQL и загружается в ClickHouse. Срок хранения бинарных логов должен учитывать время, необходимое для первоначальной загрузки. Подробнее о первоначальной загрузке см. в документации по параллельной первоначальной загрузке. Пайп также перейдет в состояние Snapshot, если будет запущена ресинхронизация или если в существующий пайп будут добавлены новые таблицы.

После завершения первоначальной загрузки пайп переходит в состояние Running (если это не пайп только со снимком, который в таком случае перейдёт в Completed). На этом этапе для пайпа начинается Change-Data Capture. В этом состоянии мы начинаем читать бинарные логи из исходной базы данных и синхронизировать данные с ClickHouse батчами. Подробнее об управлении CDC см. в документации по управлению CDC.

Когда пайп находится в состоянии Running, его можно приостановить. Это остановит процесс CDC, и пайп перейдет в состояние Paused. В этом состоянии новые данные из исходной базы данных не загружаются, но уже имеющиеся данные в ClickHouse сохраняются. Из этого состояния работу пайпа можно возобновить.

Когда вы нажимаете кнопку Pause, пайп переходит в состояние Pausing. Это промежуточное состояние, в котором идет остановка процесса CDC. Как только процесс CDC будет полностью остановлен, пайп перейдет в состояние Paused.

Сейчас это означает, что пайп находится в процессе удаления таблиц.

Это состояние означает, что пайп находится в фазе ресинхронизации, на которой выполняется атомарная подмена таблиц _resync исходными таблицами. Подробнее см. в документации по ресинхронизации.

Это состояние применяется к пайпам, работающим только со снимком, и означает, что создание снимка завершено и больше ничего делать не нужно.

Если в пайпе возникнет неустранимая ошибка, он перейдёт в состояние Failed. Чтобы восстановить пайп после этого, обратитесь в службу поддержки или выполните ресинхронизацию его.