Set up docs MCPBladePipe는 1초 미만의 지연 시간을 지원하는 실시간 엔드투엔드 데이터 통합 도구로, 여러 플랫폼 전반에서 원활한 데이터 흐름을 지원합니다.
ClickHouse는 BladePipe에서 제공하는 사전 구축된 connector 중 하나로, 다양한 소스의 데이터를 ClickHouse로 자동 통합할 수 있습니다. 이 페이지에서는 데이터를 ClickHouse로 실시간 로드하는 방법을 단계별로 설명합니다.
지원되는 소스
현재 BladePipe는 다음 소스에서 ClickHouse로의 데이터 통합을 지원합니다:
- MySQL/MariaDB/AuroraMySQL
- Oracle
- PostgreSQL/AuroraPostgreSQL
- MongoDB
- Kafka
- PolarDB-MySQL
- OceanBase
- TiDB
추후 더 많은 소스를 지원할 예정입니다.
BladePipe 다운로드 및 실행
-
BladePipe Cloud에 로그인합니다.
-
Worker 설치(Docker) 또는 Worker 설치(Binary)의 안내에 따라 BladePipe Worker를 다운로드하고 설치합니다.
ClickHouse를 대상으로 추가
-
BladePipe에서 "DataSource" > "Add DataSource"를 클릭합니다.
-
ClickHouse를 선택한 다음 ClickHouse 호스트와 포트, 사용자 이름, 비밀번호를 입력해 설정하고 "Test Connection"을 클릭합니다.
-
하단의 "Add DataSource"를 클릭하면 ClickHouse 인스턴스가 추가됩니다.
MySQL을 소스로 추가하기
이 튜토리얼에서는 MySQL 인스턴스를 소스로 사용하여 MySQL 데이터를 ClickHouse로 적재하는 과정을 설명합니다.
-
BladePipe에서 "DataSource" > "Add DataSource"를 클릭하십시오.
-
MySQL를 선택한 다음 MySQL 호스트와 포트, 사용자 이름, 비밀번호를 입력하여 설정을 완료하고 "Test Connection"을 클릭하십시오.
-
하단의 "Add DataSource"를 클릭하면 MySQL 인스턴스가 추가됩니다.
파이프라인 생성
-
BladePipe에서 "DataJob" > "Create DataJob"을 클릭합니다.
-
추가한 MySQL 및 ClickHouse 인스턴스를 선택한 다음 "Test Connection"을 클릭하여 BladePipe가 해당 인스턴스에 연결되어 있는지 확인합니다. 그런 다음 옮길 데이터베이스를 선택합니다.
-
DataJob Type에서 "Incremental"을 선택하고, "Full Data" 옵션도 함께 선택합니다.
-
복제할 테이블을 선택합니다.
-
복제할 컬럼을 선택합니다.
-
DataJob 생성을 확인하면 DataJob이 자동으로 실행됩니다.
데이터 검증
- MySQL 인스턴스의 데이터 쓰기를 중지하고 ClickHouse에서 데이터가 머지될 때까지 기다리십시오.
- 검증용 DataJob을 생성합니다. 검증용 DataJob이 완료되면 결과를 검토하여 ClickHouse의 데이터가 MySQL의 데이터와 동일한지 확인하십시오.
