Set up docs MCPBigQuery ClickPipe предоставляет полностью управляемый и отказоустойчивый способ приёма данных из BigQuery в ClickHouse Cloud. В закрытой предварительной версии поддерживается метод репликации первоначальной загрузки, который позволяет массово загружать наборы данных BigQuery для анализа и прототипирования. Поддержка CDC появится в будущем — а пока мы рекомендуем использовать Google Cloud Storage ClickPipe, чтобы после завершения первоначальной загрузки непрерывно синхронизировать экспортированные из BigQuery данные с ClickHouse Cloud.
BigQuery ClickPipes можно вручную развёртывать и настраивать через интерфейс ClickPipes, а также программно с помощью OpenAPI и Terraform.
Предварительные требования
-
У вас должны быть права на управление сервисными аккаунтами и ролями IAM в вашем проекте GCP, либо вам потребуется помощь администратора. Мы рекомендуем создать отдельный сервисный аккаунт с минимально необходимым набором разрешений, следуя официальной документации.
-
Для процесса первоначальной загрузки требуется бакет Google Cloud Storage (GCS), предоставляемый пользователем, в качестве промежуточного хранилища. Мы рекомендуем создать отдельный бакет для вашего ClickPipe, следуя официальной документации. В будущем промежуточный бакет будет предоставляться и управляться ClickPipes.
Выберите источник данных
1. В ClickHouse Cloud выберите Data sources в главном меню навигации и нажмите Create ClickPipe.
2. Нажмите на плитку BigQuery.
Настройте подключение ClickPipe
Чтобы настроить новый ClickPipe, необходимо указать параметры подключения и аутентификации для вашего хранилища данных BigQuery, а также бакет Google Cloud Storage (GCS) для промежуточного хранилища.
1. Загрузите ключ .json для сервисного аккаунта, который вы создали для ClickPipes. Убедитесь, что у сервисного аккаунта есть минимально необходимый набор разрешений.
2. Выберите Replication method. В закрытой предварительной версии поддерживается только вариант Initial load only.
3. Укажите путь к бакету Google Cloud Storage (GCS) для промежуточного хранения данных во время первоначальной загрузки.
4. Нажмите Next, чтобы выполнить проверку.
Настройте ClickPipe
В зависимости от размера вашего набора данных BigQuery или общего объёма таблиц, которые вы хотите синхронизировать, может потребоваться изменить стандартные настройки ингестии для ClickPipe.
Настройте таблицы
1. Выберите базу данных ClickHouse, в которую нужно реплицировать таблицы BigQuery. Вы можете выбрать существующую базу данных или создать новую.
2. Выберите таблицы и, при необходимости, столбцы, которые вы хотите реплицировать. В списке будут показаны только те наборы данных, к которым у указанного сервисного аккаунта есть доступ.
3. Для каждой выбранной таблицы обязательно задайте пользовательский ключ сортировки в разделе Advanced settings > Use a custom sorting key. В будущем ключ сортировки будет автоматически определяться на основе существующих ключей кластеризации или ключей партиционирования в исходной базе данных.
Настройте разрешения
Наконец, вы можете настроить разрешения для внутреннего пользователя ClickPipes.
Permissions: ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Вы можете назначить этому внутреннему пользователю пользовательскую роль или одну из предопределённых ролей:
Full access: полный доступ к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.Only destination: разрешения на вставку только в целевую таблицу.
Завершите настройку
Нажмите Create ClickPipe, чтобы завершить настройку. Вы будете перенаправлены на страницу обзора, где сможете отслеживать ход первоначальной загрузки и перейти к подробной информации о ваших ClickPipes для BigQuery.
