Set up docs MCPBladePipe est un outil d’intégration de données de bout en bout en temps réel, avec une latence inférieure à une seconde, qui assure une circulation fluide des données entre les plateformes.
ClickHouse est l’un des connecteurs préconfigurés de BladePipe, permettant aux utilisateurs d’intégrer automatiquement des données provenant de diverses sources dans ClickHouse. Cette page explique comment charger des données dans ClickHouse en temps réel, étape par étape.
Sources prises en charge
Actuellement, BladePipe prend en charge l’intégration de données vers ClickHouse à partir des sources suivantes :
- MySQL/MariaDB/AuroraMySQL
- Oracle
- PostgreSQL/AuroraPostgreSQL
- MongoDB
- Kafka
- PolarDB-MySQL
- OceanBase
- TiDB
La prise en charge d’autres sources est prévue.
Télécharger et exécuter BladePipe
-
Connectez-vous à BladePipe Cloud.
-
Suivez les instructions de Installer un Worker (Docker) ou de Installer un Worker (binaire) pour télécharger et installer un Worker BladePipe.
Ajouter ClickHouse comme cible
-
Dans BladePipe, cliquez sur "DataSource" > "Add DataSource".
-
Sélectionnez
ClickHouse, puis renseignez les paramètres en indiquant l'hôte et le port de votre instance ClickHouse, ainsi que le nom d'utilisateur et le mot de passe, puis cliquez sur "Test Connection".
-
Cliquez sur "Add DataSource" en bas de la page pour ajouter une instance ClickHouse.
Ajouter MySQL comme source
Dans ce tutoriel, nous utilisons une instance MySQL comme source et expliquons le processus de chargement des données MySQL dans ClickHouse.
-
Dans BladePipe, cliquez sur "DataSource" > "Add DataSource".
-
Sélectionnez
MySQL, puis renseignez les paramètres en indiquant l'hôte et le port MySQL, le nom d'utilisateur et le mot de passe, puis cliquez sur "Test Connection".
-
Cliquez sur "Add DataSource" en bas de la page, puis une instance MySQL est ajoutée.
Créer un pipeline
-
Dans BladePipe, cliquez sur "DataJob" > "Create DataJob".
-
Sélectionnez les instances MySQL et ClickHouse ajoutées, puis cliquez sur "Test Connection" pour vérifier que BladePipe est bien connecté à ces instances. Sélectionnez ensuite les bases de données à déplacer.
-
Sélectionnez "Incremental" comme type de DataJob, ainsi que l’option "Full Data".
-
Sélectionnez les tables à répliquer.
-
Sélectionnez les colonnes à répliquer.
-
Confirmez la création du DataJob, puis le DataJob s’exécute automatiquement.
Vérifier les données
- Arrêtez l’écriture des données dans l’instance MySQL et attendez que ClickHouse fusionne les données.
- Créez un DataJob de vérification. Une fois le DataJob de vérification terminé, examinez les résultats pour confirmer que les données dans ClickHouse sont identiques à celles de MySQL.
