Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

deltaLakeCluster

View as MarkdownEdit this pageReport an issueSet up docs MCP

Это расширение для табличной функции deltaLake.

Позволяет параллельно обрабатывать файлы из таблиц Delta Lake в Amazon S3 на множестве узлов указанного кластера. На узле-инициаторе создаётся connection ко всем узлам кластера, и каждый файл динамически распределяется между ними. Узел-воркер запрашивает у инициатора следующую задачу для обработки и выполняет её. Это повторяется, пока не будут завершены все задачи.

Синтаксис

deltaLakeCluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])
deltaLakeCluster(cluster_name, named_collection[, option=value [,..]])

deltaLakeS3Cluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])
deltaLakeS3Cluster(cluster_name, named_collection[, option=value [,..]])

deltaLakeAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])
deltaLakeAzureCluster(cluster_name, named_collection[, option=value [,..]])

deltaLakeS3Cluster — это псевдоним deltaLakeCluster; оба используются для S3.

Аргументы

  • cluster_name — имя кластера, используемое для формирования набора адресов и параметров подключения к удалённым и локальным серверам.
  • Описание всех остальных аргументов совпадает с описанием аргументов в эквивалентной табличной функции deltaLake.
  • Необязательный параметр extra_credentials можно использовать для передачи role_arn для ролевого доступа в ClickHouse Cloud. Инструкции по настройке см. в разделе Безопасный доступ к S3.

Возвращаемое значение

Таблица с указанной структурой для чтения данных из кластера из указанной таблицы Delta Lake в S3.

Виртуальные столбцы

  • _path — Путь к файлу. Тип: LowCardinality(String).
  • _file — Имя файла. Тип: LowCardinality(String).
  • _size — Размер файла в байтах. Тип: Nullable(UInt64). Если размер файла неизвестен, значение — NULL.
  • _time — Время последнего изменения файла. Тип: Nullable(DateTime). Если время неизвестно, значение — NULL.
  • _etag — ETag файла. Тип: LowCardinality(String). Если ETag неизвестен, значение — NULL.
Navigation