Set up docs MCPЭто расширение табличной функции hudi.
Позволяет параллельно обрабатывать файлы из таблиц Apache Hudi в Amazon S3 на множестве узлов указанного кластера. На узле-инициаторе создаётся соединение со всеми узлами кластера, после чего каждый файл динамически распределяется между ними. На узле-воркере у инициатора запрашивается следующая задача на обработку, и затем она обрабатывается. Это повторяется, пока не будут завершены все задачи.
Синтаксис
hudiCluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])Аргументы
| Аргумент | Описание |
|---|---|
cluster_name |
Имя кластера, используемое для формирования набора адресов и параметров подключения к удалённым и локальным серверам. |
url |
URL бакета с путём к существующей таблице Hudi в S3. |
aws_access_key_id, aws_secret_access_key |
Долговременные учётные данные пользователя аккаунта AWS. Их можно использовать для аутентификации запросов. Эти параметры необязательны. Если учётные данные не указаны, будут использованы значения из конфигурации ClickHouse. Дополнительные сведения см. в разделе Using S3 for Data Storage. |
format |
Формат файла. |
structure |
Структура таблицы. Формат: 'column1_name column1_type, column2_name column2_type, ...'. |
compression |
Параметр необязателен. Поддерживаемые значения: none, gzip/gz, brotli/br, xz/LZMA, zstd/zst. По умолчанию сжатие определяется автоматически по расширению файла. |
extra_credentials |
Параметр необязателен. Используется для передачи role_arn для доступа на основе ролей в ClickHouse Cloud. Инструкции по настройке см. в разделе Secure S3. |
Возвращаемое значение
Таблица с указанной структурой для чтения данных из указанной таблицы Hudi в S3 на заданном кластере.
Виртуальные столбцы
_path— Путь к файлу. Тип:LowCardinality(String)._file— Имя файла. Тип:LowCardinality(String)._size— Размер файла в байтах. Тип:Nullable(UInt64). Если размер файла неизвестен, значение равноNULL._time— Время последнего изменения файла. Тип:Nullable(DateTime). Если время неизвестно, значение равноNULL._etag— ETag файла. Тип:LowCardinality(String). Если ETag неизвестен, значение равноNULL.