Set up docs MCP개요
ClickPipes는 몇 번의 클릭만으로 다양한 데이터 소스에서 데이터를 수집할 수 있도록 해주는 관리형 통합 플랫폼입니다. 가장 까다로운 워크로드를 위해 설계된 ClickPipes의 견고하고 확장 가능한 아키텍처는 일관된 성능과 안정성을 보장합니다. ClickPipes는 지속적인 데이터 수집 또는 일회성 데이터 적재 작업에 사용할 수 있습니다.
ClickPipes는 ClickPipes UI를 사용해 배포하고 관리할 수 있으며, OpenAPI 및 Terraform을 사용해 프로그래밍 방식으로도 배포하고 관리할 수 있습니다.
커넥터
스트리밍용 ClickPipes
| 커넥터 | 기능 수명 주기 | 데이터 소스 |
|---|---|---|
 Kafka |
일반 제공 | Apache Kafka, Confluent Cloud, Redpanda, AWS MSK, Google Cloud Managed Service for Apache Kafka, Azure Event Hubs, WarpStream 및 기타 Kafka API 호환 데이터 소스 |
 Amazon Kinesis |
일반 제공 | |
 GCP Pub/Sub |
비공개 프리뷰 |
객체 스토리지용 ClickPipes
| 커넥터 | 기능 수명 주기 | 데이터 소스 |
|---|---|---|
 Amazon S3 |
일반 제공 | Amazon S3, Cloudflare R2, DigitalOcean Spaces, OVH Object Storage 및 기타 S3 API 호환 데이터 소스 |
 Google Cloud Storage |
일반 제공 | |
 Azure Blob Storage |
일반 제공 |
CDC용 ClickPipes
| 커넥터 | 기능 수명 주기 | 데이터 소스 |
|---|---|---|
 Postgres |
일반 제공 | Amazon RDS, Amazon Aurora, Google Cloud SQL, AlloyDB, Azure Flexible Server, Supabase, Neon, Crunchy Bridge, TimescaleDB, PlanetScale, 자가 관리형 및 기타 호환 가능한 데이터 소스 |
 MySQL |
Public Beta | Amazon RDS, Amazon Aurora, Cloud SQL, Azure Flexible Server, 자가 관리형 MySQL, Amazon RDS for MariaDB, 자가 관리형 MariaDB 및 기타 호환 가능한 데이터 소스 |
 MongoDB |
Public Beta | MongoDB Atlas, Amazon DocumentDB, 자가 관리형 및 기타 호환 가능한 데이터 소스 |
 BigQuery |
비공개 프리뷰 |
더 많은 커넥터가 ClickPipes에 추가될 예정입니다. 자세한 내용은 문의하기에서 확인할 수 있습니다.
AWS IAM 데이터베이스 인증
ClickPipes는 Amazon RDS 및 Aurora에서 AWS IAM 데이터베이스 인증을 지원합니다. 설정 방법은 데이터베이스 엔진과 AWS 서비스에 따라 다르므로, 사용 중인 데이터베이스에 맞는 소스 설정 가이드를 선택하십시오.
| 데이터베이스 엔진 | AWS 서비스 | 설정 가이드 |
|---|---|---|
| PostgreSQL | Amazon RDS | PostgreSQL용 RDS |
| PostgreSQL | Amazon Aurora | Aurora PostgreSQL-Compatible Edition |
| MySQL | Amazon RDS | MySQL용 RDS |
| MySQL | Amazon Aurora | Aurora MySQL-Compatible Edition |
| MariaDB | Amazon RDS | MariaDB용 RDS |
정적 IP 목록
ClickPipes 정적 NAT IP 주소 목록은 ClickPipes 네트워킹 문서로 옮겨졌습니다.
ClickHouse 설정 조정
ClickHouse Cloud는 대부분의 경우에 적절한 기본값을 제공합니다. 그러나 ClickPipes 대상 테이블에 일부 ClickHouse 설정을 조정해야 한다면, ClickPipes 전용 역할을 사용하는 것이 가장 유연한 방법입니다. 단계:
- 사용자 지정 역할
CREATE ROLE my_clickpipes_role SETTINGS ...을 생성합니다. 자세한 내용은 CREATE ROLE 구문을 참조하십시오. - ClickPipes를 생성할 때
Details and Settings단계에서 ClickPipes 사용자에 사용자 지정 역할을 추가합니다.
ClickPipes 고급 설정 조정
ClickPipes는 대부분의 사용 사례에 적합한 기본 설정을 제공합니다. 추가적인 세부 조정이 필요한 경우 다음 설정을 조정할 수 있습니다:
객체 스토리지 ClickPipes
| Setting | Default value | Description |
|---|---|---|
Max insert bytes |
10 GB | 단일 삽입 배치에서 처리할 바이트 수입니다. |
Max file count |
100 | 단일 삽입 배치에서 처리할 수 있는 최대 파일 수입니다. |
Max threads |
auto(3) | 파일 처리를 위한 최대 동시 스레드 수입니다. |
Max insert threads |
1 | 파일 처리를 위한 최대 동시 삽입 스레드 수입니다. |
Min insert block size bytes |
1 GB | 테이블에 삽입할 수 있는 블록의 최소 바이트 크기입니다. |
Max download threads |
4 | 최대 동시 다운로드 스레드 수입니다. |
Object storage polling interval |
30 s | 데이터를 ClickHouse 클러스터에 삽입하기 전 대기하는 최대 주기를 설정합니다. |
Parallel distributed insert select |
2 | 병렬 분산 insert select 설정입니다. |
Parallel view processing |
false | attached 상태인 뷰로 푸시를 순차가 아닌 동시 방식으로 수행할지 여부입니다. |
Use cluster function |
true | 여러 노드에서 파일을 병렬로 처리할지 여부입니다. |
스트리밍 ClickPipes
| 설정 | 기본값 | 설명 |
|---|---|---|
Streaming max insert wait time |
5 s | 데이터를 ClickHouse 클러스터에 삽입하기 전까지 대기할 수 있는 최대 시간을 설정합니다. |
오류 보고
ClickPipes는 수집 과정에서 발생한 오류를 오류 유형에 따라 두 개의 별도 테이블(table)에 저장합니다.
레코드 오류
ClickPipes는 대상 테이블과 함께 <destination_table_name>_clickpipes_error 접미사가 붙은 테이블을 생성합니다. 이 테이블에는 형식이 잘못된 데이터나 스키마 불일치로 인해 발생한 모든 오류가 포함되며, 유효하지 않은 메시지 전체도 저장됩니다. 이 테이블의 TTL은 7일입니다.
시스템 오류
ClickPipe 작동과 관련된 오류는 system.clickpipes_log 테이블에 저장됩니다. 여기에는 ClickPipe 작동 중 발생하는 기타 모든 오류(네트워크, 연결 등)도 저장됩니다. 이 테이블의 TTL은 7일입니다.
ClickPipes가 15분 이내에 데이터 소스에 연결하지 못하거나 1시간 이내에 대상에 연결하지 못하면, ClickPipes 인스턴스는 중지되며 system error table에 적절한 메시지가 저장됩니다(ClickHouse 인스턴스를 사용할 수 있는 경우).
모니터링
콘솔 내 모니터링 외에도 ClickPipes는 스크레이핑을 위해 Prometheus-compatible endpoint에 메트릭을 노출합니다. 이러한 메트릭은 다른 ClickHouse Cloud 서비스 메트릭과 함께 게시되며, 기존 관측성 스택(예: Grafana, Datadog)에 ClickPipes 모니터링을 통합할 수 있습니다. 사용 가능한 전체 메트릭 목록은 Monitoring ClickPipes에서 확인하십시오.
FAQ
-
ClickPipes란 무엇입니까?
ClickPipes는 ClickHouse 서비스를 외부 데이터 소스, 특히 Kafka에 쉽게 연결할 수 있도록 해주는 ClickHouse Cloud 기능입니다. ClickPipes for Kafka를 사용하면 데이터를 ClickHouse에 지속적으로 손쉽게 적재하여 실시간 분석에 활용할 수 있습니다.
-
ClickPipes는 데이터 변환을 지원합니까?
예, ClickPipes는 DDL 생성 기능을 제공하여 기본적인 데이터 변환을 지원합니다. 이후에는 ClickHouse의 materialized view 기능을 활용해 데이터가 ClickHouse Cloud 서비스의 대상 테이블에 적재되는 과정에서 더 고급 변환을 적용할 수 있습니다.
-
ClickPipes를 사용하면 추가 비용이 발생합니까?
ClickPipes는 수집된 데이터와 컴퓨트의 2가지 차원으로 청구됩니다. 가격에 대한 자세한 내용은 이 페이지에서 확인할 수 있습니다. 또한 ClickPipes를 실행하면 다른 수집 워크로드와 마찬가지로 대상 ClickHouse Cloud 서비스에서 간접적인 컴퓨트 및 스토리지 비용이 발생할 수 있습니다.
-
ClickPipes for Kafka를 사용할 때 오류나 장애를 처리할 방법이 있습니까?
예, ClickPipes for Kafka는 네트워크 문제, 연결 문제 등 운영상 이슈로 인해 Kafka에서 데이터를 수집하지 못하는 경우 자동으로 재시도합니다. 데이터 형식이 잘못되었거나 스키마가 유효하지 않은 경우, ClickPipes는 해당 레코드를 record_error table에 저장하고 처리를 계속합니다.