데이터 수집 | ClickHouse Docs

ClickHouse는 데이터 통합 및 변환을 위한 다양한 솔루션과 통합됩니다. 자세한 내용은 아래 페이지를 확인하십시오.

데이터 수집 도구	설명
Airbyte	오픈소스 데이터 통합 플랫폼입니다. ELT 데이터 파이프라인을 생성할 수 있으며, 즉시 사용할 수 있는 140개 이상의 커넥터를 제공합니다.
Apache Airflow	코드로 워크플로를 작성, 예약, 모니터링할 수 있는 오픈소스 플랫폼으로, DAG에서 ClickHouse 쿼리 실행 및 데이터 적재를 위한 provider를 제공합니다.
Apache Spark	단일 노드 머신 또는 클러스터에서 데이터 엔지니어링, 데이터 과학, 머신 러닝을 실행하기 위한 멀티 언어 엔진입니다.
Apache Flink	배치 쓰기를 지원하는 Flink의 DataStream API를 통해 ClickHouse로 실시간 데이터를 수집하고 처리합니다.
Amazon Glue	Amazon Web Services(AWS)에서 제공하는 완전 관리형 서버리스 데이터 통합 서비스로, 분석, 머신 러닝, 애플리케이션 개발을 위해 데이터를 탐색, 준비, 변환하는 과정을 간소화합니다.
Artie	운영 데이터를 ClickHouse로 복제하여 고객 대상 분석, 운영 워크플로, 프로덕션 환경의 Agentic AI를 가능하게 하는 완전 관리형 실시간 데이터 스트리밍 플랫폼입니다.
Azure Synapse	Microsoft Azure에서 제공하는 완전 관리형 클라우드 기반 분석 서비스로, 빅데이터와 데이터 웨어하우징을 결합해 SQL, Apache Spark, 데이터 파이프라인을 사용한 대규모 데이터 통합, 변환, 분석을 간소화합니다.
Azure Data Factory	대규모 데이터 워크플로를 생성, 예약, 오케스트레이션할 수 있는 클라우드 기반 데이터 통합 서비스입니다.
Apache Beam	개발자가 배치 및 스트림(연속) 데이터 처리 파이프라인을 모두 정의하고 실행할 수 있게 해주는 오픈소스 통합 프로그래밍 모델입니다.
Apify	웹 스크래핑 및 브라우저 자동화 플랫폼으로, 이 통합을 통해 스크래핑 및 크롤링한 데이터를 ClickHouse에 적재할 수 있습니다.
BladePipe	1초 미만의 지연 시간으로 플랫폼 전반에서 원활한 데이터 흐름을 지원하는 실시간 엔드 투 엔드 데이터 통합 도구입니다.
dbt	분석 엔지니어가 select 문만 작성해 warehouse에서 데이터를 변환할 수 있도록 지원합니다.
dlt	다양한, 그리고 종종 정리되지 않은 데이터 소스의 데이터를 구조화가 잘 된 실시간 데이터셋으로 적재할 수 있도록 Python 스크립트에 추가할 수 있는 오픈소스 라이브러리입니다.
Erathos	SaaS 도구와 데이터베이스에서 웨어하우스로 데이터가 이동하는 동안 팀이 모든 동기화 작업을 실시간으로 관리할 수 있도록 설계된 제어 중심의 ELT 플랫폼입니다.
Estuary	유연한 배포 옵션과 함께 밀리초 단위 지연 시간의 ETL 파이프라인을 구현할 수 있는 right-time 데이터 플랫폼입니다.
Fivetran	클라우드 데이터 플랫폼 전반에서 데이터를 외부로, 내부로, 그리고 플랫폼 간에 이동시키는 자동화된 데이터 이동 플랫폼입니다.
Google Dataflow	ClickHouse에 데이터를 적재하기 위한 Template 및 Java runner를 제공하는 완전 관리형 Google Cloud 서비스로, 스트림 및 배치 데이터 처리를 지원합니다.
NiFi	소프트웨어 시스템 간 데이터 흐름을 자동화하도록 설계된 오픈소스 워크플로 관리 소프트웨어입니다.
Streamkap	SQL Server와 같은 데이터베이스의 데이터를 ClickHouse로 복제하기 위한 실시간 Change Data Capture(CDC) 스트리밍 플랫폼입니다.
Vector	조직이 관측성 데이터를 직접 제어할 수 있도록 지원하는 고성능 관측성 데이터 파이프라인입니다.