첫 번째 GCS ClickPipe 만들기

GCS ClickPipe는 Google Cloud Storage (GCS)에서 데이터를 수집할 수 있는 완전관리형의 복원력 높은 방법입니다. 일회성 수집과 지속적인 수집을 모두 지원하며, 정확히 한 번 처리 의미 체계를 제공합니다.

데이터 소스 선택

1. ClickHouse Cloud의 기본 탐색 메뉴에서 Data sources를 선택한 다음 Create ClickPipe를 클릭합니다.

2. Google Cloud Storage 타일을 클릭하세요.

ClickPipe 연결 설정

1. 새 ClickPipe를 설정하려면 객체 스토리지 서비스에 연결하고 인증하는 데 필요한 세부 정보를 입력해야 합니다.

GCS 파일 경로: GCS ClickPipe는 상호 운용성을 위해 Cloud Storage XML API를 사용하므로 storage.googleapis.com 엔드포인트가 필요합니다:
```
https://storage.googleapis.com/bucket-name/key-name
```
POSIX 와일드카드를 사용해 여러 파일이나 프리픽스와 일치시킬 수 있습니다. 지원되는 패턴에 대한 자세한 내용은 참고 문서를 참조하십시오.

2. Incoming data를 클릭합니다. ClickPipes가 다음 단계에 필요한 버킷 메타데이터를 가져옵니다.

데이터 포맷 선택

UI에 지정된 버킷의 파일 목록이 표시됩니다. 데이터 포맷(현재 ClickHouse 포맷의 일부만 지원)을 선택하고, 지속적인 수집을 활성화할지 선택합니다. 자세한 내용은 개요 페이지의 "continuous ingest" 섹션을 참조하십시오.

테이블, 스키마 및 설정 구성

다음 단계에서는 데이터를 새 ClickHouse 테이블에 수집할지, 기존 테이블을 재사용할지 선택할 수 있습니다. 화면의 안내에 따라 테이블 이름, 스키마, 설정을 수정하십시오. 상단의 샘플 테이블에서 변경 사항의 실시간 미리보기를 확인할 수 있습니다.

제공된 컨트롤을 사용해 고급 설정도 사용자 지정할 수 있습니다.

또는 데이터를 기존 ClickHouse 테이블에 수집하도록 선택할 수도 있습니다. 이 경우 UI에서 소스 필드를 선택한 대상 테이블의 ClickHouse 필드에 매핑할 수 있습니다.

권한 구성

마지막으로 내부 ClickPipes 사용자에 대한 권한을 구성할 수 있습니다.

권한: ClickPipes는 대상 테이블에 데이터를 쓰기 위한 전용 사용자를 생성합니다. 사용자 지정 Role 또는 미리 정의된 Role 중 하나를 선택해 이 내부 사용자의 Role을 지정할 수 있습니다.

Full access: 클러스터 전체에 대한 액세스 권한입니다. 대상 테이블과 함께 materialized view 또는 딕셔너리(Dictionary)를 사용하는 경우 필요합니다.
Only destination table: 대상 테이블에만 INSERT 권한을 부여합니다.

설정 완료

"Complete Setup"을 클릭하면 시스템이 ClickPipe를 등록하고, 요약 테이블에 표시된 항목을 확인할 수 있습니다.

요약 테이블에는 소스 또는 ClickHouse의 대상 테이블에서 샘플 데이터를 표시하는 컨트롤이 제공됩니다.

또한 ClickPipe를 제거하고 수집 작업의 요약을 표시하는 컨트롤도 제공합니다.

축하합니다! 첫 번째 ClickPipe 설정을 성공적으로 완료했습니다. 이 ClickPipe가 지속적인 수집용으로 구성된 경우 원격 data source에서 데이터를 실시간으로 수집하면서 계속 실행됩니다. 그렇지 않으면 Batch를 수집한 후 완료됩니다.