Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

오픈 테이블 포맷 직접 쿼리하기

View as MarkdownEdit this pageReport an issueSet up docs MCP

ClickHouse는 객체 스토리지에 직접 저장된 오픈 테이블 포맷의 데이터를 바로 쿼리할 수 있는 테이블 함수를 제공합니다. 이를 위해 외부 catalog에 연결할 필요가 없습니다. AWS Athena가 S3에서 읽는 방식과 마찬가지로, 저장된 위치에서 데이터를 직접 쿼리합니다.

함수 호출에서 스토리지 경로와 자격 증명을 직접 전달하면 나머지는 ClickHouse가 처리합니다. 모든 ClickHouse SQL 구문과 함수를 사용할 수 있으며, 쿼리는 ClickHouse의 병렬 실행과 효율적인 네이티브 Parquet 리더의 이점을 활용할 수 있습니다.

다음 예시는 S3의 각 lakehouse 포맷에 저장된 hits 데이터셋을 사용합니다. 각 lake 포맷에는 각 객체 스토리지 제공자별 전용 함수가 있습니다.

iceberg 테이블 함수(icebergS3의 별칭)는 객체 스토리지에서 Iceberg 테이블을 직접 읽습니다. 각 스토리지 백엔드에 대응하는 변형으로 icebergS3, icebergAzure, icebergHDFS, icebergLocal이 있습니다.

예시 구문:

icebergS3(url [, NOSIGN | access_key_id, secret_access_key, [session_token]] [,format] [,compression_method])

icebergAzure(connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])

icebergLocal(path_to_table, [,format] [,compression_method])

예시:

SELECT
    url,
    count() AS cnt
FROM icebergS3('https://datasets-documentation.s3.amazonaws.com/lake_formats/iceberg/')
GROUP BY url
ORDER BY cnt DESC
LIMIT 5
┌─url────────────────────────────────────────────────┬─────cnt─┐
│ http://liver.ru/belgorod/page/1006.jки/доп_приборы │ 3288173 │ -- 3.29 million
│ http://kinopoisk.ru                                │ 1625250 │ -- 1.63 million
│ http://bdsm_po_yers=0&with_video                   │  791465 │
│ http://video.yandex                                │  582400 │
│ http://smeshariki.ru/region                        │  514984 │
└────────────────────────────────────────────────────┴─────────┘

5 rows in set. Elapsed: 3.375 sec. Processed 100.00 million rows, 9.98 GB (29.63 million rows/s., 2.96 GB/s.)
Peak memory usage: 10.48 GiB.

클러스터 Variant

icebergS3Cluster 함수는 ClickHouse 클러스터의 여러 노드에 읽기를 분산합니다. 이니시에이터(initiator) 노드는 모든 노드에 연결을 설정하고 데이터 파일을 동적으로 배분합니다. 각 워커(worker) 노드는 모든 파일을 읽을 때까지 작업을 요청하고 처리합니다. icebergCluster는 icebergS3Cluster의 별칭(alias)입니다. Azure(icebergAzureCluster) 및 HDFS(icebergHDFSCluster)용 변형도 제공됩니다.

예시 구문:

icebergS3Cluster(cluster_name, url [, NOSIGN | access_key_id, secret_access_key, [session_token]] [,format] [,compression_method])
-- icebergCluster is an alias for icebergS3Cluster

icebergAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])

예시 (ClickHouse Cloud):

SELECT
    url,
    count() AS cnt
FROM icebergS3Cluster(
    'default',
    'https://datasets-documentation.s3.amazonaws.com/lake_formats/iceberg/'
)
GROUP BY url
ORDER BY cnt DESC
LIMIT 5

테이블 엔진

매 쿼리마다 테이블 함수를 사용하는 대신, Iceberg 테이블 엔진을 사용하여 영구 테이블을 생성할 수 있습니다. 데이터는 여전히 객체 스토리지에 저장되며 필요 시 읽어오므로 ClickHouse로 데이터가 복사되지 않습니다. 이 방식의 장점은 테이블 정의가 ClickHouse에 저장되어, 사용자마다 스토리지 경로와 자격 증명을 별도로 지정하지 않아도 여러 사용자와 세션에서 공유할 수 있다는 점입니다. 각 스토리지 백엔드에 대응하는 엔진 변형은 다음과 같습니다: IcebergS3(또는 Iceberg 별칭), IcebergAzure, IcebergHDFS, IcebergLocal.

테이블 엔진과 테이블 함수 모두 S3, AzureBlobStorage, HDFS 스토리지 엔진과 동일한 캐싱 메커니즘을 사용하는 데이터 캐싱을 지원합니다. 또한 메타데이터 캐시는 manifest 파일 정보를 메모리에 저장하여 Iceberg 메타데이터를 반복적으로 읽는 횟수를 줄여줍니다. 이 캐시는 use_iceberg_metadata_files_cache 설정을 통해 기본적으로 활성화되어 있습니다.

예시 구문:

테이블 엔진 Iceberg는 IcebergS3의 별칭(alias)입니다.

CREATE TABLE iceberg_table
    ENGINE = IcebergS3(url [, NOSIGN | access_key_id, secret_access_key, [session_token]] [,format] [,compression_method])

CREATE TABLE iceberg_table
    ENGINE = IcebergAzure(connection_string|storage_account_url, container_name, blobpath, [account_name, account_key, format, compression])

CREATE TABLE iceberg_table
    ENGINE = IcebergLocal(path_to_table, [,format] [,compression_method])

예시:

CREATE TABLE hits_iceberg
    ENGINE = IcebergS3('https://datasets-documentation.s3.amazonaws.com/lake_formats/iceberg/')

SELECT
    url,
    count() AS cnt
FROM hits_iceberg
GROUP BY url
ORDER BY cnt DESC
LIMIT 5
┌─url────────────────────────────────────────────────┬─────cnt─┐
│ http://liver.ru/belgorod/page/1006.jки/доп_приборы │ 3288173 │
│ http://kinopoisk.ru                                │ 1625250 │
│ http://bdsm_po_yers=0&with_video                   │  791465 │
│ http://video.yandex                                │  582400 │
│ http://smeshariki.ru/region                        │  514984 │
└────────────────────────────────────────────────────┴─────────┘

5 rows in set. Elapsed: 2.737 sec. Processed 100.00 million rows, 9.98 GB (36.53 million rows/s., 3.64 GB/s.)
Peak memory usage: 10.53 GiB.

파티션 프루닝, 스키마 진화, 타임 트래블, 캐싱 등 지원되는 기능에 대한 자세한 내용은 지원 매트릭스를 참조하십시오. 전체 참고 문서는 iceberg 테이블 함수 및 Iceberg 테이블 엔진 문서를 참조하십시오.

Navigation