Ciclo de vida de un ClickPipe para MySQL

Este documento describe las distintas fases de un ClickPipe para MySQL, los diferentes estados que puede tener y lo que significan. Ten en cuenta que esto también se aplica a MariaDB.

Al hacer clic en el botón Create ClickPipe, el ClickPipe se crea en estado Provisioning. En el proceso de aprovisionamiento se pone en marcha la infraestructura subyacente necesaria para ejecutar ClickPipes para el servicio, además de registrar algunos metadatos iniciales para el pipe. Como la capacidad de procesamiento de ClickPipes dentro de un servicio se comparte, el segundo ClickPipe se creará mucho más rápido que el primero, ya que la infraestructura ya estará en su lugar.

Una vez aprovisionado un pipe, entra en el estado Setup. En este estado creamos las tablas de destino en ClickHouse. Aquí también obtenemos y registramos las definiciones de sus tablas de origen.

Una vez completada la configuración, se pasa al estado Snapshot (salvo que sea un pipe solo de CDC, en cuyo caso pasará a Running). Snapshot, Initial Snapshot e Initial Load (el más habitual) son términos intercambiables. En este estado, se toma una instantánea de las tablas MySQL de origen y se cargan en ClickHouse. La configuración de retención de los logs binarios debe tener en cuenta el tiempo de la carga inicial. Para obtener más información sobre la carga inicial, consulta la documentación sobre carga inicial en paralelo. El pipe también entrará en el estado Snapshot cuando se active una resincronización o cuando se añadan tablas nuevas a un pipe existente.

Una vez completada la carga inicial, el pipe entra en el estado Running (a menos que sea un pipe solo de instantánea, en cuyo caso pasará a Completed). Aquí es donde el pipe inicia la captura de cambios de datos (CDC). En este estado, empezamos a leer los logs binarios de la base de datos de origen y a sincronizar los datos con ClickHouse por lotes. Para obtener más información sobre cómo controlar CDC, consulta la documentación sobre el control de CDC.

Una vez que el pipe esté en el estado Running, puedes pausarlo. Esto detendrá el proceso de CDC y el pipe pasará al estado Paused. En este estado, no se extraerán datos nuevos de la base de datos de origen, pero los datos existentes en ClickHouse permanecerán intactos. Puedes reanudar el pipe desde este estado.

Al hacer clic en el botón Pause, el pipe entra en el estado Pausing. Este es un estado transitorio en el que se está deteniendo el proceso de CDC. Una vez que el proceso de CDC se haya detenido por completo, el pipe pasará al estado Paused.

Actualmente, esto indica que el pipe está eliminando tablas.

Este estado indica que el pipe está en la fase de resincronización, en la que realiza un intercambio atómico entre las tablas _resync y las tablas originales. Encontrarás más información sobre la resincronización en la documentación de resincronización.

Este estado se aplica a los pipes de solo instantánea e indica que la instantánea se ha completado y no queda nada más por hacer.

Si se produce un error irrecuperable en el pipe, entrará en el estado Failed. Puede ponerse en contacto con el equipo de soporte o resincronizar su pipe para salir de este estado.