Set up docs MCPПодключите ClickHouse Cloud к каталогам данных, чтобы получить доступ к таблицам в открытом табличном формате. Подключения можно настроить в интерфейсе источник данных. Для настройки через SQL используйте движок базы данных DataLakeCatalog в предпочитаемом редакторе SQL.
После подключения таблицы каталога отображаются в консоли SQL в базе данных с выбранным вами именем. К ним можно выполнять стандартные запросы ClickHouse SQL, объединять их с таблицами MergeTree с помощью JOIN и использовать в качестве источников для materialized views.
Предварительные требования
Перед подключением каталога убедитесь в следующем:
- Разрешения сервиса. Для доступа к странице Источники данных и добавления каталогов требуется разрешение
control-plane:service:manage. - Запущенный сервис. Если сервис бездействует, активируйте его на странице Источники данных или в настройках сервиса, прежде чем подключать или просматривать связанные каталоги.
- Учетные данные каталога. Перед открытием выдвижной панели подготовьте сведения о подключении для вашего типа каталога. Для каждого каталога используются разные поля и способы аутентификации — см. ниже раздел Добавление подключения к каталогу.
Подключение каталога
Откройте выдвижную панель каталога данных
- В левой навигации выберите Источники данных.
- Если вы ещё не настроили ни одного источника данных, нажмите + Add catalog. В противном случае нажмите Add data source > Add data lake catalog.
- На выдвижной панели Connect your data catalog выберите каталог из раскрывающегося списка Select catalog. Если каталог поддерживает несколько открытых табличных форматов, выберите нужный формат в поле Open table format.
Добавьте подключение к каталогу
Выберите ниже свой каталог, чтобы ознакомиться с инструкциями и предварительными требованиями. Затем укажите параметры подключения, а также Database name — базу данных ClickHouse, через которую таблицы вашего каталога будут доступны в SQL-консоли.
Каталог AWS Glue предоставляет доступ к таблицам Iceberg, зарегистрированным в Glue Data Catalog.
Перед подключением убедитесь, что:
- используется ClickHouse версии 25.12+;
- таблицы Iceberg зарегистрированы в AWS Glue Data Catalog в целевом регионе;
- для аутентификации по ключу доступа у вас есть ключ доступа пользователя IAM с разрешениями на чтение метаданных Glue и соответствующих объектов S3;
- для аутентификации с использованием роли IAM (26.2+) у вас есть роль IAM, доверяющая сервисной роли ClickHouse. Добавьте ARN сервисной роли из Settings → Network security information в политику доверия роли. Примеры политик IAM см. в разделе Безопасный доступ к данным Iceberg.
На выдвижной панели укажите AWS Region (например, us-west-2), затем выберите метод аутентификации:
Аутентификация по ключу доступа
- Выберите AWS Access Key в качестве метода аутентификации.
- Введите Access Key ID и Secret Access Key.
- Укажите Database name для базы данных ClickHouse, предоставляющей доступ к таблицам Glue.
Аутентификация с использованием роли IAM (26.2+)
- Выберите AWS IAM Role в качестве метода аутентификации.
- Скопируйте Service role ID (IAM) с выдвижной панели и добавьте его в политику доверия роли IAM.
- Укажите AWS Role ARN и необязательное AWS Role Session Name.
- Укажите Database name для базы данных ClickHouse, предоставляющей доступ к таблицам Glue.
Выполняйте запросы к таблицам Iceberg в Unity Catalog, использующим внешние хранилища, с помощью OAuth-учётных данных сервисного субъекта Databricks. Полную информацию о настройке см. в руководстве по Unity Catalog.
Перед подключением убедитесь в следующем:
- Используется ClickHouse версии 25.12 или выше.
- Unity Catalog настроен для доступа к внешним данным.
- У сервисного субъекта Databricks есть OAuth client ID и secret, как описано здесь. Сервисный субъект имеет привилегии
USE CATALOG,USE SCHEMA,USE EXTERNAL SCHEMAиSELECTдля таблиц, к которым вы хотите выполнять запросы.
В выдвижной панели:
- Введите URL рабочего пространства Databricks (например,
dbc-1234567a-cbde.cloud.databricks.com). - Введите имя каталога Databricks, к которому нужно подключиться (например,
icebench). - Введите OAuth Client ID и Client secret для сервисного субъекта.
- Введите имя базы данных ClickHouse, предоставляющей доступ к таблицам Unity Catalog.
Выполняйте запросы к таблицам Unity Catalog Delta Lake, использующим внешние расположения хранилищ, с помощью персонального токена доступа (PAT) Databricks. Полные инструкции по настройке см. в руководстве по Unity Catalog.
Перед подключением убедитесь, что:
- используется ClickHouse версии 25.12 или выше;
- Unity Catalog настроен для доступа к внешним данным;
- у вас есть персональный токен доступа Databricks с правами
EXTERNAL USE SCHEMA,USE CATALOG,USE SCHEMAиSELECTкак минимум для целевых таблиц.
На выдвижной панели:
- Укажите URL рабочего пространства Databricks (например,
dbc-1234567a-cbde.azuredatabricks.net). - Укажите имя каталога Databricks, к которому требуется подключиться.
- Укажите свой персональный токен доступа.
- Укажите имя базы данных ClickHouse, которая предоставляет доступ к вашим таблицам Delta.
Подключитесь к любому каталогу, поддерживающему спецификацию Iceberg REST Catalog. Полную информацию о настройке см. в руководстве по REST-каталогу.
Перед подключением убедитесь, что:
- Используется ClickHouse версии 25.12 или выше.
- Конечная точка REST-каталога доступна из ClickHouse Cloud.
- У вас есть учетные данные OAuth-клиента или Bearer-токен — в зависимости от конфигурации каталога.
- У вас есть URI S3 или совместимой конечной точки хранилища для данных таблиц (например,
s3://my-bucket/path).
В выдвижной панели:
- Введите URL каталога (например,
https://catalog.example.com/v1). - Введите хранилище или пространство имен каталога (например,
demo). - Введите префикс URI конечной точки хранилища для хранения данных таблиц.
- Выберите метод аутентификации: учетные данные OAuth-клиента или Bearer-токен, затем введите соответствующие учетные данные.
- Введите имя базы данных для базы данных ClickHouse, предоставляющей доступ к таблицам REST-каталога.
Выполняйте запросы к таблицам Iceberg в Microsoft Fabric OneLake с помощью учетных данных приложения Azure AD. Полную инструкцию по настройке см. в руководстве по Fabric OneLake.
Перед подключением убедитесь, что:
- Используется ClickHouse версии 25.12 или выше.
- Таблицы Iceberg существуют в рабочем пространстве Fabric.
- У вас есть приложение Entra ID (Azure AD) с идентификатором клиента и секретом.
- У вас есть идентификаторы тенанта, рабочего пространства и элемента данных. Используйте Lakehouse ID из URL страницы Lakehouse. Подробнее о том, где найти эти значения, см. в предварительных требованиях Microsoft OneLake.
В выдвижной панели:
- Введите Workspace ID Fabric.
- В поле Data Item ID укажите Lakehouse ID. Идентификаторы хранилищ не поддерживаются.
- Введите Tenant ID, Application (client) ID и Client secret Entra ID.
- Введите Database name для базы данных ClickHouse, предоставляющей доступ к таблицам OneLake.
Подключитесь к развертыванию Snowflake Open Catalog (Polaris) для таблиц Iceberg. Полную информацию о настройке см. в руководстве по каталогу Polaris.
Перед подключением убедитесь, что:
- Используется ClickHouse версии 26.2 или выше.
- У вас есть каталог Polaris с учетными данными OAuth-клиента.
- У вас есть URI конечной точки хранилища данных таблиц Iceberg (например,
s3://company-iceberg-prod/warehouse/).
В выдвижной панели:
- Введите идентификатор аккаунта каталога (например,
ab12345.snowflakecomputing.com). - Введите имя каталога (например,
snowflake_open_catalog). - Введите OAuth идентификатор клиента и секрет клиента.
- Введите префикс URI конечной точки хранилища для хранения таблиц.
- Введите имя базы данных для базы данных ClickHouse, предоставляющей доступ к вашим таблицам Polaris.
Подключитесь к Google Cloud BigLake Metastore (также известному как каталог среды выполнения Lakehouse) для работы с таблицами Iceberg в GCS. Полные инструкции по настройке см. в руководстве по BigLake Metastore.
Перед подключением убедитесь, что:
- используется ClickHouse версии 26.2 или выше;
- у вас есть экземпляр BigLake Metastore с таблицами Iceberg в GCS;
- у вас есть учетные данные Google Application Default Credentials (ADC): идентификатор клиента, секрет клиента, токен обновления и идентификатор проекта квоты.
В выдвижной панели:
- Введите Google ADC Client ID, Client Secret, Refresh Token и Quota Project ID.
- Введите URI бакета Cloud Storage для данных таблиц (например,
gs://biglake-public-nyc-taxi-iceberg). - Введите имя базы данных ClickHouse, предоставляющей доступ к вашим таблицам BigLake.
Сохраните подключение
После заполнения полей:
- Нажмите Add catalog. При сохранении ClickHouse проверит подключение и учетные данные.
- При успешном сохранении появится уведомление со ссылкой View in SQL console. Каталог будет указан в таблице Linked catalogs с его статусом подключения и количеством таблиц.
В меню Actions в строке подключенного каталога можно удалить подключение к нему. При удалении из ClickHouse удаляется база данных каталога, но данные во внешнем каталоге не затрагиваются.
Выполните запрос к данным
Просмотрите таблицы каталога
На странице Источники данных найдите свой каталог в таблице Связанные каталоги и нажмите Просмотреть таблицы.
ClickHouse откроет консоль SQL с выбранной базой данных каталога и отобразит список доступных таблиц.
Выполните запрос
Введите запрос в редакторе SQL и нажмите Запустить. Заключите полное имя таблицы в обратные кавычки:
SELECT * FROM `identity_profiles.identity_profiles_iceberg`
Устранение неполадок
- Если в консоли SQL не отображаются ваши таблицы, проверьте учетные данные, сетевой доступ и типы таблиц в каталоге. Убедитесь, что ожидаемые таблицы используют поддерживаемые файловые и табличные форматы.
См. также
- Ускорение аналитики данных в lakehouse — загрузка таблиц каталога в MergeTree для повторяющихся запросов
- Безопасный доступ к данным Iceberg — настройка роли IAM для доступа к AWS Iceberg и Glue