Set up docs MCPBladePipe — это инструмент для сквозной интеграции данных в реальном времени с задержкой менее секунды, обеспечивающий бесперебойную передачу данных между платформами.
ClickHouse — один из готовых коннекторов BladePipe, который позволяет автоматически загружать данные из различных источников в ClickHouse. На этой странице показано, как шаг за шагом загружать данные в ClickHouse в реальном времени.
Поддерживаемые источники
В настоящее время BladePipe поддерживает интеграцию данных в ClickHouse из следующих источников:
- MySQL/MariaDB/AuroraMySQL
- Oracle
- PostgreSQL/AuroraPostgreSQL
- MongoDB
- Kafka
- PolarDB-MySQL
- OceanBase
- TiDB
В будущем список поддерживаемых источников будет расширен.
Скачивание и запуск BladePipe
-
Войдите в BladePipe Cloud.
-
Следуйте инструкциям в Install Worker (Docker) или Install Worker (Binary), чтобы скачать и установить воркер BladePipe.
Добавьте ClickHouse в качестве целевого назначения
-
В BladePipe нажмите "Источник данных" > "Добавить источник данных".
-
Выберите
ClickHouse, затем заполните настройки: укажите хост и порт ClickHouse, имя пользователя и пароль, после чего нажмите "Проверить соединение".
-
Нажмите "Добавить источник данных" внизу страницы — экземпляр ClickHouse будет добавлен.
Добавление MySQL в качестве источника
В этом руководстве мы используем экземпляр MySQL в качестве источника и покажем, как загрузить данные из MySQL в ClickHouse.
-
В BladePipe нажмите "DataSource" > "Add DataSource".
-
Выберите
MySQL, заполните настройки, указав хост и порт MySQL, имя пользователя и пароль, затем нажмите "Test Connection".
-
Нажмите внизу "Add DataSource", и экземпляр MySQL будет добавлен.
Создайте конвейер
-
В BladePipe нажмите "DataJob" > "Create DataJob".
-
Выберите добавленные экземпляры MySQL и ClickHouse и нажмите "Test Connection", чтобы убедиться, что BladePipe подключён к ним. Затем выберите базы данных, которые нужно перенести.
-
В качестве типа DataJob выберите "Incremental" вместе с опцией "Full Data".
-
Выберите таблицы для репликации.
-
Выберите столбцы для репликации.
-
Подтвердите создание DataJob — он запустится автоматически.
Проверьте данные
- Остановите запись данных в экземпляре MySQL и дождитесь, пока ClickHouse завершит слияние данных.
- Создайте Verification DataJob. После завершения Verification DataJob проверьте результаты, чтобы убедиться, что данные в ClickHouse совпадают с данными в MySQL.
