Ciclo de vida de um ClickPipe do MongoDB

Este documento descreve as várias fases de um ClickPipe do MongoDB, os diferentes status que ele pode ter e o significado de cada um deles.

Quando você clica no botão Create ClickPipe, o ClickPipe é criado no estado Provisioning. No processo de provisionamento, colocamos em operação a infraestrutura subjacente necessária para executar o ClickPipes no serviço, além de registrar alguns metadados iniciais do pipe. Como a capacidade de processamento do ClickPipes em um serviço é compartilhada, seu segundo ClickPipe será criado muito mais rápido do que o primeiro — já que a infraestrutura já está pronta.

Após o provisionamento de um pipe, ele entra no estado Setup. É nesse estado que criamos as tabelas de destino do ClickHouse.

Quando a configuração é concluída, entramos no estado Snapshot (a menos que seja um pipe somente de CDC, que passará para Running). Snapshot, Initial Snapshot e Initial Load (mais comum) são termos intercambiáveis. Nesse estado, capturamos um snapshot das coleções de origem no MongoDB e as carregamos no ClickHouse. A configuração de retenção do oplog deve levar em conta o tempo da carga inicial. O pipe também entrará no estado Snapshot quando uma ressincronização for acionada ou quando novas tabelas forem adicionadas a um pipe existente.

Quando a carga inicial é concluída, o pipe entra no estado Running (a menos que seja um pipe somente de snapshot, caso em que passará para Completed). É nesse momento que o pipe inicia a captura de alterações de dados (CDC). Nesse estado, começamos a transmitir as alterações do cluster MongoDB de origem para o ClickHouse. Para obter informações sobre como controlar o CDC, consulte a documentação sobre como controlar o CDC.

Quando o pipe estiver no estado Running, você poderá pausá-lo. Isso interromperá o processo de CDC, e o pipe entrará no estado Paused. Nesse estado, nenhum dado novo é extraído do MongoDB de origem, mas os dados já existentes no ClickHouse permanecem intactos. Você pode retomar o pipe a partir desse estado.

Ao clicar no botão Pause, o pipe entra no estado Pausing. Este é um estado transitório em que o processo de CDC está sendo interrompido. Quando o processo de CDC for totalmente interrompido, o pipe entrará no estado Paused.

Atualmente, isso indica que o pipe está em processo de remoção de tabelas.

Este estado indica que o pipe está na fase de ressincronização, na qual realiza uma substituição atômica das tabelas resync pelas tabelas originais. Mais informações sobre a ressincronização podem ser encontradas na documentação de ressincronização.

Este estado se aplica a pipes apenas de snapshot e indica que o snapshot foi concluído e não há mais nada a fazer.

Se houver um erro irrecuperável no pipe, ele entrará no estado Failed. Você pode entrar em contato com o suporte ou ressincronizar seu pipe para sair desse estado.