Интеграция с ClickHouse Cloud

ClickPipes — это управляемая интеграционная платформа, которая сводит ингестию данных из самых разных источников к нескольким нажатиям кнопок. Созданная для самых требовательных рабочих нагрузок, надёжная и масштабируемая архитектура ClickPipes обеспечивает стабильно высокую производительность и надёжность. ClickPipes можно использовать для непрерывной ингестии данных или одноразовой загрузки данных.

ClickPipes можно развёртывать и управлять ими через интерфейс ClickPipes, а также программно с помощью OpenAPI и Terraform.

Коннектор	Стадия жизненного цикла	Источники данных
Kafka	GA	Apache Kafka, Confluent Cloud, Redpanda, AWS MSK, Google Cloud Managed Service for Apache Kafka, Azure Event Hubs, WarpStream и другие источники данных, совместимые с API Kafka.
Amazon Kinesis	GA
GCP Pub/Sub	Закрытая предварительная версия

Коннектор	Стадия жизненного цикла	Источники данных
Amazon S3	GA	Amazon S3, Cloudflare R2, DigitalOcean Spaces, OVH Object Storage и другие источники данных с поддержкой API S3.
Google Cloud Storage	GA
Azure Blob Storage	GA

Коннектор	Стадия жизненного цикла	Источники данных
Postgres	GA	Amazon RDS, Amazon Aurora, Google Cloud SQL, AlloyDB, Azure Flexible Server, Supabase, Neon, Crunchy Bridge, TimescaleDB, PlanetScale, самоуправляемый и другие совместимые источники данных.
MySQL	Публичная бета	Amazon RDS, Amazon Aurora, Cloud SQL, Azure Flexible Server, самоуправляемый MySQL, Amazon RDS для MariaDB, самоуправляемый MariaDB и другие совместимые источники данных.
MongoDB	Публичная бета	MongoDB Atlas, Amazon DocumentDB, самоуправляемый и другие совместимые источники данных.
BigQuery	Закрытая предварительная версия

В ClickPipes будут добавляться новые коннекторы; подробнее можно узнать, связавшись с нами.

ClickPipes поддерживает аутентификацию к базе данных через AWS IAM для Amazon RDS и Aurora. Конфигурация зависит от движка базы данных и сервиса AWS, поэтому выберите руководство по настройке источника, соответствующее вашей базе данных:

Список статических NAT IP-адресов ClickPipes перенесён в документацию по сетевому взаимодействию ClickPipes.

ClickHouse Cloud предоставляет оптимальные настройки по умолчанию для большинства сценариев использования. Однако если вам нужно изменить некоторые параметры ClickHouse для целевых таблиц ClickPipes, наиболее гибким решением будет отдельная роль для ClickPipes. Шаги:

1. создайте пользовательскую роль CREATE ROLE my_clickpipes_role SETTINGS .... Подробнее см. в разделе о синтаксисе CREATE ROLE.
2. добавьте пользовательскую роль пользователю ClickPipes на этапе Details and Settings при создании ClickPipes.

ClickPipes предлагает разумные настройки по умолчанию, подходящие для большинства сценариев использования. Если в вашем случае требуется более тонкая настройка, вы можете изменить следующие параметры:

ClickPipes хранит ошибки в двух отдельных таблицах в зависимости от типа ошибки, возникшей во время ингестии.

ClickPipes создаст рядом с вашей целевой таблицей таблицу с постфиксом <destination_table_name>_clickpipes_error. В этой таблице будут содержаться все ошибки, вызванные некорректными данными или несоответствием схемы, а также полное содержимое недопустимого сообщения. Для этой таблицы установлен TTL 7 дней.

Ошибки, связанные с работой ClickPipe, будут храниться в таблице system.clickpipes_log. В ней будут храниться все прочие ошибки, связанные с работой вашего ClickPipe (сетевые ошибки, проблемы с подключением и т. д.). Для этой таблицы TTL составляет 7 дней.

Если ClickPipes не сможет подключиться к источнику данных в течение 15 минут или к пункту назначения в течение 1 часа, экземпляр ClickPipes будет остановлен, а в системной таблице ошибок будет сохранено соответствующее сообщение (при условии, что экземпляр ClickHouse доступен).

Помимо мониторинга в консоли, ClickPipes предоставляет метрики через совместимую с Prometheus конечную точку для сбора. Эти метрики публикуются вместе с другими метриками сервиса ClickHouse Cloud и позволяют интегрировать мониторинг ClickPipes с вашим существующим стеком обсервабилити (например, Grafana, Datadog). Полный список доступных метрик см. в разделе Мониторинг ClickPipes.

• Что такое ClickPipes?

  ClickPipes — это возможность ClickHouse Cloud, которая упрощает подключение сервисов ClickHouse к внешним источникам данных, в частности к Kafka. С ClickPipes for Kafka вы можете легко организовать непрерывную загрузку данных в ClickHouse, делая их доступными для Real-time аналитики.

• Поддерживает ли ClickPipes преобразование данных?

  Да, ClickPipes поддерживает базовое преобразование данных, предоставляя доступ к созданию DDL. Затем по мере загрузки данных в целевую таблицу в сервисе ClickHouse Cloud вы можете применять к ним более сложные преобразования с помощью возможности materialized view ClickHouse.

• Влечет ли использование ClickPipes дополнительные расходы?

  ClickPipes тарифицируется по двум параметрам: принимаемые данные и Compute. Подробная информация о ценах доступна на этой странице. Использование ClickPipes также может косвенно приводить к дополнительным затратам на compute и хранилище в целевом сервисе ClickHouse Cloud, как и любая рабочая нагрузка приёма данных.

• Есть ли способ обрабатывать ошибки или сбои при использовании ClickPipes for Kafka?

  Да, ClickPipes for Kafka автоматически выполняет повторные попытки при сбоях во время чтения данных из Kafka, вызванных любыми эксплуатационными проблемами, включая сетевые проблемы, проблемы с подключением и т. д. В случае некорректно сформированных данных или недопустимой схемы ClickPipes сохранит запись в таблицу record_error и продолжит обработку.