本节将介绍 ClickHouse 对数据湖的支持。 ClickHouse 支持多种主流表存储格式和数据目录,包括 Iceberg、Delta Lake、Hudi、AWS Glue、REST Catalog、Unity Catalog 和 Microsoft OneLake。
开放表存储格式
Iceberg
请参阅 iceberg,该函数支持从亚马逊 S3、兼容 S3 的服务、HDFS、Azure 以及本地文件系统中读取数据。icebergCluster 是 iceberg 函数的分布式版本。
Delta Lake
请参阅 deltaLake,它支持从亚马逊 S3、兼容 S3 的服务、Azure 以及本地文件系统中读取数据。deltaLakeCluster 是 deltaLake 函数的分布式版本。
Hudi
请参阅 hudi,它支持从亚马逊 S3 和兼容 S3 的服务中读取数据。hudiCluster 是 hudi 函数的分布式版本。
数据目录
AWS Glue
AWS Glue 数据目录可与 Iceberg 表搭配使用。你可以将其与 iceberg 表引擎一起使用,或与 DataLakeCatalog 数据库引擎一起使用。
Iceberg REST Catalog
Iceberg REST Catalog 可用于 Iceberg 表。你可以将其与 iceberg 表引擎一起使用,也可以与 DataLakeCatalog 数据库引擎一起使用。
Snowflake Horizon Catalog
Snowflake Horizon Catalog 为 Snowflake 托管的 Iceberg 表提供 Iceberg REST API。
使用 catalog_type = 'horizon' 的 DataLakeCatalog。请参阅 Horizon catalog 指南。
Unity Catalog
Unity Catalog 可用于 Delta Lake 和 Iceberg 表。你可以将其与 iceberg 或 deltaLake 表引擎配合使用,也可以与 DataLakeCatalog 数据库引擎配合使用。
Microsoft OneLake
Microsoft OneLake 可与 Delta Lake 和 Iceberg 表配合使用。你还可以将其与 DataLakeCatalog 数据库引擎结合使用。