Set up docs MCPBladePipe é uma ferramenta de integração de dados ponta a ponta em tempo real, com latência inferior a um segundo, que proporciona um fluxo de dados contínuo entre plataformas.
O ClickHouse é um dos conectores pré-configurados do BladePipe, permitindo que os usuários integrem automaticamente dados de várias fontes ao ClickHouse. Esta página mostra como carregar dados no ClickHouse em tempo real, passo a passo.
Fontes suportadas
Atualmente, o BladePipe oferece suporte à integração de dados com o ClickHouse a partir das seguintes fontes:
- MySQL/MariaDB/AuroraMySQL
- Oracle
- PostgreSQL/AuroraPostgreSQL
- MongoDB
- Kafka
- PolarDB-MySQL
- OceanBase
- TiDB
Mais fontes serão suportadas futuramente.
Baixe e execute o BladePipe
-
Faça login no BladePipe Cloud.
-
Siga as instruções em Instalar o Worker (Docker) ou Instalar o Worker (Binário) para baixar e instalar um Worker do BladePipe.
Adicione o ClickHouse como destino
-
No BladePipe, clique em "DataSource" > "Add DataSource".
-
Selecione
ClickHousee preencha as configurações informando o host e a porta do ClickHouse, além do nome de usuário e da senha. Em seguida, clique em "Test Connection".
-
Clique em "Add DataSource" na parte inferior para adicionar uma instância do ClickHouse.
Adicionar o MySQL como fonte
Neste tutorial, usamos uma instância do MySQL como fonte e explicamos o processo de carregar dados do MySQL no ClickHouse.
-
No BladePipe, clique em "DataSource" > "Add DataSource".
-
Selecione
MySQLe preencha as configurações informando o host e a porta do MySQL, o nome de usuário e a senha, e clique em "Test Connection".
-
Clique em "Add DataSource" na parte inferior, e uma instância do MySQL será adicionada.
Criar um pipeline
-
No BladePipe, clique em "DataJob" > "Create DataJob".
-
Selecione as instâncias adicionadas do MySQL e do ClickHouse e clique em "Test Connection" para garantir que o BladePipe esteja conectado a elas. Em seguida, selecione os bancos de dados que serão movidos.
-
Em DataJob Type, selecione "Incremental" junto com a opção "Full Data".
-
Selecione as tabelas a serem replicadas.
-
Selecione as colunas a serem replicadas.
-
Confirme a criação do DataJob, e ele será executado automaticamente.
Verifique os dados
- Interrompa a gravação de dados na instância do MySQL e aguarde o ClickHouse concluir a mesclagem dos dados.
- Crie um DataJob de verificação. Quando o DataJob de verificação for concluído, revise os resultados para confirmar que os dados no ClickHouse são os mesmos do MySQL.
