Set up docs MCPBladePipe es una herramienta de integración de datos de extremo a extremo en tiempo real, con latencia inferior a un segundo, que facilita un flujo de datos fluido entre plataformas.
ClickHouse es uno de los conectores preconfigurados de BladePipe, lo que permite a los usuarios integrar automáticamente datos de diversas fuentes en ClickHouse. En esta página se muestra paso a paso cómo cargar datos en ClickHouse en tiempo real.
Fuentes compatibles
Actualmente, BladePipe admite la integración de datos con ClickHouse desde las siguientes fuentes:
- MySQL/MariaDB/AuroraMySQL
- Oracle
- PostgreSQL/AuroraPostgreSQL
- MongoDB
- Kafka
- PolarDB-MySQL
- OceanBase
- TiDB
Próximamente se admitirán más fuentes.
Descargar y ejecutar BladePipe
-
Inicia sesión en BladePipe Cloud.
-
Sigue las instrucciones de Instalar Worker (Docker) o Instalar Worker (binario) para descargar e instalar un Worker de BladePipe.
Agregar ClickHouse como destino
-
En BladePipe, haga clic en "DataSource" > "Add DataSource".
-
Seleccione
ClickHousey complete la configuración indicando el host y el puerto de ClickHouse, el nombre de usuario y la contraseña; luego haga clic en "Test Connection".
-
Haga clic en "Add DataSource" en la parte inferior para agregar una instancia de ClickHouse.
Agregar MySQL como fuente
En este tutorial, usamos una instancia de MySQL como fuente y explicamos el proceso para cargar datos de MySQL en ClickHouse.
-
En BladePipe, haga clic en "DataSource" > "Add DataSource".
-
Seleccione
MySQLy complete la configuración con el host y el puerto de MySQL, el nombre de usuario y la contraseña; luego haga clic en "Test Connection".
-
Haga clic en "Add DataSource" en la parte inferior y se agregará una instancia de MySQL.
Crear un pipeline
-
En BladePipe, haz clic en "DataJob" > "Create DataJob".
-
Selecciona las instancias de MySQL y ClickHouse que has agregado y haz clic en "Test Connection" para comprobar que BladePipe esté conectado a ellas. Luego, selecciona las bases de datos que se van a mover.
-
Selecciona "Incremental" en DataJob Type, junto con la opción "Full Data".
-
Selecciona las tablas que se van a replicar.
-
Selecciona las columnas que se van a replicar.
-
Confirma la creación del DataJob y este se ejecutará automáticamente.
Verificar los datos
- Detenga la escritura de datos en la instancia de MySQL y espere a que ClickHouse complete la fusión de los datos.
- Cree un DataJob de verificación. Una vez que se complete el DataJob de verificación, revise los resultados para confirmar que los datos de ClickHouse sean los mismos que los de MySQL.
