Создание первого GCS ClickPipe

GCS ClickPipe предоставляет полностью управляемый и отказоустойчивый способ приёма данных из Google Cloud Storage (GCS). Он поддерживает как однократную загрузку, так и непрерывную ингестию с семантикой «ровно один раз».

Выберите источник данных

1. В ClickHouse Cloud выберите Источники данных в главном меню навигации и нажмите Create ClickPipe.

2. Нажмите на плитку Google Cloud Storage.

Настройте подключение ClickPipe

1. Чтобы настроить новый ClickPipe, необходимо указать данные для подключения и аутентификации в вашем сервисе объектного хранилища.

Путь к файлу GCS: GCS ClickPipe использует XML API Cloud Storage для обеспечения совместимости и требует использования конечной точки storage.googleapis.com:
```
https://storage.googleapis.com/bucket-name/key-name
```
Вы можете использовать подстановочные шаблоны POSIX, чтобы указывать несколько файлов или префиксов. Поддерживаемые шаблоны описаны в справочной документации.

2. Нажмите Incoming data. ClickPipes получит метаданные из вашего бакета для следующего шага.

Выберите формат данных

В интерфейсе отобразится список файлов в указанном бакете. Выберите формат данных (в настоящее время мы поддерживаем только часть форматов ClickHouse) и укажите, нужно ли включить непрерывную ингестию. Подробнее см. в разделе "continuous ingest" на странице обзора.

Настройте таблицу, схему и параметры

На следующем шаге вы можете выбрать, выполнять ли приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры. В верхней части страницы доступен предварительный просмотр изменений в реальном времени в примере таблицы.

Вы также можете настроить дополнительные параметры с помощью доступных элементов управления

Либо вы можете выбрать приём данных в существующую таблицу ClickHouse. В этом случае интерфейс позволит сопоставить поля источника с полями ClickHouse в выбранной целевой таблице.

Настройте разрешения

Наконец, вы можете настроить разрешения для внутреннего пользователя ClickPipes.

Разрешения: ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Вы можете назначить этому внутреннему пользователю пользовательскую роль или одну из предопределённых ролей:

Full access: полный доступ к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.
Only destination table: только разрешения INSERT для целевой таблицы.

Завершите настройку

После нажатия "Complete Setup" система зарегистрирует ваш ClickPipe, и вы увидите его в сводной таблице.

В сводной таблице доступны элементы управления для отображения примеров данных из источника или из целевой таблицы ClickHouse

А также элементы управления для удаления ClickPipe и отображения сводки по заданию приёма.

Поздравляем! Вы успешно настроили свой первый ClickPipe. Если этот ClickPipe настроен для непрерывной ингестии, он будет непрерывно работать, выполняя приём данных в реальном времени из удалённого источника данных. В противном случае он примет батч и завершит работу.