Ciclo de vida de um ClickPipe do MySQL

Este documento descreve as várias fases de um ClickPipe do MySQL, os diferentes status que ele pode ter e o significado de cada um deles. Observe que isso também se aplica ao MariaDB.

Quando você clica no botão Create ClickPipe, o ClickPipe é criado no estado Provisioning. O processo de provisionamento é quando ativamos a infraestrutura subjacente para executar o ClickPipes para o serviço, além de registrar alguns metadados iniciais para o pipe. Como a capacidade computacional do ClickPipes dentro de um serviço é compartilhada, seu segundo ClickPipe será criado muito mais rapidamente do que o primeiro – pois a infraestrutura já está pronta.

Depois que um pipe é provisionado, ele entra no estado Setup. Nesse estado, criamos as tabelas de destino no ClickHouse. Também obtemos e registramos aqui as definições das tabelas de origem.

Quando a configuração é concluída, entramos no estado Snapshot (a menos que seja um pipe somente de CDC, que faria a transição para Running). Snapshot, Initial Snapshot e Initial Load (mais comum) são termos intercambiáveis. Nesse estado, capturamos um snapshot das tabelas MySQL de origem e o carregamos no ClickHouse. A configuração de retenção dos logs binários deve levar em conta o tempo da carga inicial. Para mais informações sobre a carga inicial, consulte a documentação de carga inicial paralela. O pipe também entrará no estado Snapshot quando uma ressincronização for acionada ou quando novas tabelas forem adicionadas a um pipe existente.

Quando a carga inicial é concluída, o pipe entra no estado Running (a menos que seja um pipe somente de snapshot, caso em que passa para Completed). É nesse ponto que o pipe inicia a Change Data Capture (CDC). Nesse estado, começamos a ler os logs binários do banco de dados de origem e sincronizamos os dados com o ClickHouse em lotes. Para saber como controlar o CDC, consulte a documentação sobre controle de CDC.

Quando o pipe estiver no estado Running, você poderá pausá-lo. Isso interromperá o processo de CDC, e o pipe entrará no estado Paused. Nesse estado, nenhum dado novo é extraído do banco de dados de origem, mas os dados já existentes no ClickHouse permanecem intactos. Você pode retomar o pipe a partir desse estado.

Ao clicar no botão Pause, o pipe entra no estado Pausing. Este é um estado transitório no qual o processo de CDC está sendo interrompido. Quando o processo de CDC for totalmente interrompido, o pipe entrará no estado Paused.

No momento, isso indica que o pipe está em processo de remoção de tabelas.

Este estado indica que o pipe está na fase de ressincronização, na qual realiza uma substituição atômica das tabelas _resync pelas tabelas originais. Mais informações sobre a ressincronização podem ser encontradas na documentação de ressincronização.

Este estado se aplica a pipes que usam apenas snapshot e indica que o snapshot foi concluído e que não há mais nada a ser feito.

Se houver um erro irrecuperável no pipe, ele entrará no estado Failed. Você pode entrar em contato com o suporte ou ressincronizar o pipe para sair desse estado.