Ciclo de vida de um ClickPipe do Postgres

Este documento apresenta as várias fases de um ClickPipe do Postgres, os diferentes status que ele pode ter e o que eles significam.

Quando você clica no botão Create ClickPipe, o ClickPipe é criado no estado Provisioning. O processo de provisionamento é quando inicializamos a infraestrutura subjacente para executar o ClickPipes para o serviço, além de registrar alguns metadados iniciais para o pipe. Como o compute do ClickPipes dentro de um serviço é compartilhado, seu segundo ClickPipe será criado muito mais rapidamente do que o primeiro — pois a infraestrutura já estará pronta.

Depois que um pipe é provisionado, ele entra no estado Setup. Nesse estado, criamos as tabelas de destino no ClickHouse. Também obtemos e registramos aqui as definições das suas tabelas de origem.

Quando a configuração é concluída, entramos no estado Snapshot (a menos que seja um pipe apenas com CDC, que passaria para Running). Snapshot, Initial Snapshot e Initial Load (mais comum) são termos intercambiáveis. Nesse estado, tiramos um snapshot das tabelas do banco de dados de origem e as carregamos no ClickHouse. Isso não usa replicação lógica, mas o slot de replicação é criado nesta etapa; portanto, os parâmetros max_slot_wal_keep_size e de armazenamento devem considerar o crescimento do slot durante a carga inicial. Para mais informações sobre a carga inicial, consulte a documentação sobre carga inicial paralela. O pipe também entrará no estado Snapshot quando um resync for acionado ou quando novas tabelas forem adicionadas a um pipe existente.

Quando a carga inicial é concluída, o pipe entra no estado Running (a menos que seja um pipe apenas de snapshot, caso em que passaria para Completed). É nesse momento que o pipe inicia o CDC. Nesse estado, iniciamos a replicação lógica do banco de dados de origem para o ClickHouse. Para obter informações sobre como controlar o CDC, consulte a documentação sobre controle de CDC.

Quando o pipe estiver no estado Running, você poderá pausá-lo. Isso interromperá o processo de CDC, e o pipe entrará no estado Paused. Nesse estado, nenhum dado novo é extraído do banco de dados de origem, mas os dados já existentes no ClickHouse permanecem intactos. Você pode retomar o pipe a partir desse estado.

Ao clicar no botão Pause, o pipe entra no estado Pausing. Esse é um estado transitório em que o processo de CDC está sendo interrompido. Assim que o processo de CDC for totalmente interrompido, o pipe entrará no estado Paused.

No momento, isso indica que o pipe está removendo tabelas.

Este estado indica que o pipe está na fase de resync em que realiza uma troca atômica das tabelas _resync pelas tabelas originais. Mais informações sobre o resync podem ser encontradas na documentação de resync.

Esse estado se aplica a pipes somente de snapshot e indica que o snapshot foi concluído e não há mais nada a fazer.

Se houver um erro irrecuperável no pipe, ele entrará no estado Failed. Você pode entrar em contato com o suporte ou resync seu pipe para sair desse estado.