Cycle de vie d’un ClickPipe MongoDB

Ce document présente les différentes phases d’un ClickPipe MongoDB, les différents statuts qu’il peut avoir et leur signification.

Lorsque vous cliquez sur le bouton Create ClickPipe, le ClickPipe est créé à l’état Provisioning. Le processus de provisioning consiste à mettre en place l’infrastructure sous-jacente nécessaire à l’exécution de ClickPipes pour le service, ainsi qu’à enregistrer les métadonnées initiales du pipe. Comme la capacité de calcul de ClickPipes au sein d’un service est partagée, votre deuxième ClickPipe sera créé bien plus rapidement que le premier – l’infrastructure étant déjà en place.

Une fois le pipe provisionné, il passe à l’état Setup. C’est à ce stade que nous créons les tables ClickHouse de destination.

Une fois la configuration terminée, on passe à l’état Snapshot (sauf s’il s’agit d’un pipe CDC uniquement, qui passe alors à l’état Running). Snapshot, Initial Snapshot et Initial Load (le plus courant) sont des termes interchangeables. Dans cet état, un snapshot des collections MongoDB source est effectué et chargé dans ClickHouse. Le paramètre de rétention de l’oplog doit tenir compte de la durée du chargement initial. Le pipe passe également à l’état Snapshot lorsqu’une resynchronisation est déclenchée ou lorsque de nouvelles tables sont ajoutées à un pipe existant.

Une fois le chargement initial terminé, le pipe passe à l’état Running (sauf s’il s’agit d’un pipe de type snapshot uniquement, auquel cas il passe à l’état Completed). C’est à ce moment que le pipe lance la capture des changements de données (CDC). Dans cet état, nous commençons à transmettre en continu les changements du cluster MongoDB source vers ClickHouse. Pour plus d’informations sur le contrôle de la CDC, consultez la documentation sur le contrôle de la CDC.

Une fois le pipe à l’état Running, vous pouvez le mettre en pause. Cela arrête le processus CDC et le pipe passe à l’état Paused. Dans cet état, aucune nouvelle donnée n’est extraite de la source MongoDB, mais les données existantes dans ClickHouse restent intactes. Vous pouvez relancer le pipe depuis cet état.

Lorsque vous cliquez sur le bouton Pause, le pipe passe à l'état Pausing. Il s'agit d'un état transitoire pendant lequel le processus CDC est en cours d'arrêt. Une fois le processus CDC complètement arrêté, le pipe passe à l'état Paused.

Actuellement, cela indique que le pipe est en cours de suppression de tables.

Cet état indique que le pipe se trouve dans la phase de resynchronisation au cours de laquelle il effectue un échange atomique des _tables de resynchronisation avec les tables d'origine. Vous trouverez plus d'informations sur la resynchronisation dans la documentation de resynchronisation.

Cet état s'applique aux pipes d'instantané uniquement et indique que l'instantané est terminé et qu'il n'y a plus rien à faire.

En cas d’error irrécupérable dans le pipe, celui-ci passe à l’état Failed. Vous pouvez contacter le support ou resynchronisation votre pipe pour sortir de cet état.