Set up docs MCPСовременное хранилище данных больше не предполагает жёсткой связки между хранилищем и вычислительными ресурсами. Вместо этого отдельные, но взаимосвязанные слои хранения, управления и обработки запросов дают вам гибкость в выборе подходящих инструментов для ваших рабочих процессов.
Добавив открытые табличные форматы и высокопроизводительный движок запросов, такой как ClickHouse, к облачному объектному хранилищу, вы получаете возможности уровня базы данных — ACID-транзакции, соблюдение схемы и быстрые аналитические запросы — без ущерба для открытости вашего озера данных. Такое сочетание объединяет высокую производительность с совместимым и экономичным хранилищем, поддерживая как традиционную аналитику, так и современные рабочие нагрузки AI/ML.
Что даёт эта архитектура
Объединив открытое объектное хранилище и форматы таблиц с ClickHouse в качестве движка для выполнения запросов, вы получаете:
| Преимущество | Описание |
|---|---|
| Согласованные обновления таблиц | Атомарные коммиты состояния таблицы означают, что параллельные записи не приводят к повреждению данных и не оставляют их в частичном состоянии. Это решает одну из самых серьёзных проблем необработанных озёр данных. |
| Управление схемой | Обязательная валидация и отслеживание изменений схемы предотвращают проблему «болота данных», когда данные становятся непригодными к использованию из-за несогласованности схем. |
| Производительность запросов | Индексирование, статистика и оптимизация структуры данных — например, пропуск данных и кластеризация — позволяют SQL-запросам выполняться со скоростью, сопоставимой со специализированным хранилищем данных. В сочетании со столбцовым движком ClickHouse это справедливо даже для данных, хранящихся в объектном хранилище. |
| Управление данными | Каталоги и форматы таблиц обеспечивают детализированное управление доступом и аудит на уровне строк и столбцов, компенсируя ограниченные возможности безопасности в обычных озёрах данных. |
| Разделение хранилища и вычислительных ресурсов | Хранилище и вычислительные ресурсы масштабируются независимо в стандартном объектном хранилище, которое значительно дешевле проприетарного хранилища данных. Хотя такое разделение стало стандартом для современных облачных хранилищ данных, открытые форматы позволяют выбрать, какой именно вычислительный движок будет масштабироваться вместе с вашими данными. |
Как ClickHouse обеспечивает работу вашего хранилища данных
Данные поступают из стриминговых платформ и существующих хранилищ данных через объектное хранилище в ClickHouse, где они преобразуются, оптимизируются и становятся доступны вашим BI/AI-инструментам.
Ингестия данных
Для массовой загрузки данных обычно используют объектное хранилище, например S3 или GCS, в качестве промежуточного слоя. Благодаря высокой производительности ClickHouse при чтении Parquet вы можете загружать данные со скоростью сотни миллионов строк в секунду, используя S3 table engine. Для стриминга в реальном времени ClickPipes подключается напрямую к таким платформам, как Kafka и Confluent.
Вы также можете мигрировать из существующих хранилищ данных, таких как Snowflake, BigQuery и Databricks, экспортируя данные в объектное хранилище и загружая их в ClickHouse через table engines.
Запросы
Вы можете выполнять запросы к данным напрямую в объектных хранилищах, таких как S3 и GCS, или в озерах данных с открытыми табличными форматами, такими как Iceberg, Delta Lake и Hudi, — напрямую или через каталоги данных, такие как AWS Glue Catalog, Unity Catalog и Iceberg REST.
ClickHouse Cloud предлагает кэш запросов, разреженные индексы и проекции из коробки, а также более 70 форматов файлов и SQL-функции для работы с датами, массивами, JSON, геоданными и приближёнными агрегациями на больших масштабах.
Преобразование данных
Materialized views в ClickHouse автоматизируют преобразования — они срабатывают при вставке новых данных в исходные таблицы, поэтому вы можете извлекать, агрегировать и изменять данные по мере их поступления без создания специализированных конвейеров.
Для более сложного моделирования интеграция ClickHouse с dbt позволяет определять преобразования как SQL-модели с контролем версий.
Интеграции
ClickHouse имеет нативные коннекторы для BI-инструментов, таких как Tableau и Looker. Инструменты без нативного коннектора могут подключаться через протокол MySQL. MCP server подключает ClickHouse к LLM для диалоговой аналитики, а гибкие механизмы управления доступом RBAC позволяют безопасно предоставлять таблицы в режиме только для чтения.
Гибридная архитектура: лучшее из двух миров
Помимо запросов к озеру данных, вы можете направлять критичные к производительности данные в нативное хранилище ClickHouse MergeTree для сценариев, где требуется минимальная задержка — панели мониторинга в реальном времени, операционная аналитика или интерактивные приложения.
Это даёт вам многоуровневую стратегию хранения данных. Горячие, часто используемые данные находятся в оптимизированном хранилище ClickHouse, обеспечивая время отклика запросов менее секунды, а полная история данных остаётся в озере и по-прежнему доступна для запросов. Вы также можете использовать materialized view в ClickHouse, чтобы непрерывно преобразовывать и агрегировать данные из озера в оптимизированные таблицы, автоматически связывая эти два уровня.
Вы сами выбираете, где будут храниться данные, исходя из требований к производительности, а не из технических ограничений.