Отправка OpenTelemetry в ClickStack через Bindplane

Bindplane — это конвейер телеметрии на базе OpenTelemetry, который обеспечивает централизованное управление коллекторами OpenTelemetry. Он упрощает работу с крупными парками коллекторов, предоставляя визуальное редактирование конфигурации, безопасную поэтапную выкатку и аналитику конвейеров.

При работе в большом масштабе управление парком коллекторов OpenTelemetry становится операционным узким местом. ClickStack уже доказал, что способен справляться с экстремальными объёмами ингестии: клиенты принимают телеметрию со скоростью в гигабайты в секунду и хранят сотни PB. В результате фокус смещается с производительности запросов на надёжную эксплуатацию инфраструктуры коллекторов, передающей данные в ClickHouse.

Bindplane решает эту задачу, предоставляя:

• Централизованное управление коллекторами OpenTelemetry — от тысяч до более чем миллиона
• Визуальное редактирование конфигурации с безопасной выкаткой в один клик
• Автоматическое обнаружение ресурсов и обогащение, которые единообразно применяются до того, как данные попадут в ClickStack
• Маршрутизацию fan-out, чтобы одни и те же потоки телеметрии можно было одновременно отправлять в ClickStack и другие пункты назначения
• Полную прозрачность конвейера, включая состояние коллекторов, пропускную способность и сквозную производительность

• Запущенный экземпляр ClickStack (локально, на сервере или в ClickHouse Cloud)
• Учётная запись Bindplane (создайте учётную запись на app.bindplane.com)
• Установленный Bindplane OTel Collector (см. Install Your First Collector)
• Сетевая связность от коллекторов Bindplane до вашей конечной точки OTLP ClickStack
• ключ API для ингестии ClickStack (находится в ClickStack Team Settings > API Keys, см. документацию)
• Открыты необходимые сетевые порты (4318 для HTTP/s или 4317 для gRPC)

Настройте ClickStack как пункт назначения

1. Войдите в свою учетную запись Bindplane
2. Перейдите в Library
3. Нажмите Add Destination
4. Выберите ClickStack из списка доступных пунктов назначения
5. Настройте подключение:
   • Protocol: выберите HTTP или gRPC (по умолчанию: HTTP на порту 4318)
   • Hostname: введите имя хоста или IP-адрес конечной точки OTLP ClickStack
   • Port: введите порт (4318 для HTTP, 4317 для gRPC)
   • API Ingestion Key: введите ключ API для ингестии ClickStack
6. Задайте имя пункту назначения (например, "ClickStack Production")
7. Нажмите Save, чтобы создать пункт назначения

Создайте конфигурацию

После настройки пункта назначения ClickStack создайте конфигурацию для обработки и маршрутизации телеметрии:

1. Перейдите в Configurations → Create Configuration
2. Задайте имя конфигурации (например, "ClickStack Pipeline")
3. Выберите Collector Type и Platform для своего развертывания
4. Добавьте источники:
   • Нажмите Add Source, чтобы выбрать из более чем 80 доступных источников
   • Для тестирования можно добавить источник-генератор телеметрии, чтобы имитировать трафик
   • Для продакшн добавьте источники для вашей фактической телеметрии (логов, метрик, трасс)
5. Добавьте пункт назначения ClickStack:
   • Нажмите Add Destination
   • Выберите пункт назначения ClickStack, созданный на предыдущем шаге
   • Выберите, какие типы телеметрии отправлять (Logs, Metrics, Traces или все)

Добавьте процессоры (необязательно)

Bindplane предоставляет аналитику конвейера и рекомендации по процессорам. Вы можете добавлять процессоры, чтобы:

• Filter: уменьшить объём данных, исключив ненужную телеметрию
• Sample: применять стратегии сэмплирования к трассам с большим объёмом данных
• Enrich: добавлять атрибуты resource, labels или метаданные
• Transform: изменять структуру или содержимое телеметрии
• Batch: оптимизировать размеры батчей для эффективной передачи

Эти процессоры последовательно применяются ко всему вашему парку коллекторов до того, как данные попадут в ClickStack.

Разверните коллекторы и запустите выкатку

1. Добавьте коллектор (BDOT Collector) в свою конфигурацию:

   • Перейдите в Agents в Bindplane
   • Установите коллектор Bindplane в целевых системах, следуя инструкциям Bindplane по установке
   • После подключения коллектор появится в списке коллекторов

2. Назначьте конфигурацию вашим коллекторам:

   • Выберите коллекторы, которые хотите использовать
   • Назначьте им свою конфигурацию ClickStack

3. Запустите выкатку:

   • Нажмите Start Rollout, чтобы развернуть конфигурацию
   • Bindplane проверит конфигурацию перед выкаткой
   • Отслеживайте статус выкатки в интерфейсе Bindplane

Проверьте телеметрию в ClickStack

После выкатки конфигурации телеметрия начнёт поступать в ClickStack из вашего управляемого парка коллекторов:

1. Войдите в свой экземпляр ClickStack (интерфейс HyperDX)
2. Перейдите в разделы Logs, Metrics или Traces
3. Вы должны увидеть телеметрические данные, поступающие от коллекторов под управлением Bindplane
4. Данные, поступающие в ClickStack, уже обогащены и структурированы процессорами Bindplane

Bindplane поддерживает маршрутизацию fan-out, позволяя одновременно отправлять одни и те же потоки телеметрии в несколько пунктов назначения. Вы можете:

• Отправлять журналы, метрики и трассировки в ClickStack для долгосрочного хранения и анализа
• Направлять те же данные в другие платформы обсервабилити для оповещений в реальном времени
• Пересылать определённые телеметрические данные в платформы SIEM для анализа безопасности

Это настраивается добавлением нескольких пунктов назначения в конфигурацию Bindplane.

Для сценариев с большими объёмами данных настройте сжатие в пункте назначения ClickStack:

• HTTP: Поддерживает gzip, deflate, snappy, zstd или none (по умолчанию: gzip)
• gRPC: Поддерживает gzip, snappy, zstd или none (по умолчанию: gzip)

Сжатие снижает расход пропускной способности при отправке телеметрии в ClickStack, что особенно важно при работе в большом масштабе.

Теперь, когда телеметрия поступает из Bindplane в ClickStack, вы можете:

• Создать панели мониторинга: Создавайте визуализации в ClickStack (HyperDX) для журналов, метрик и трейсов
• Настроить оповещения: Настройте оповещения в ClickStack для критических состояний
• Масштабировать развертывание: Добавляйте больше коллекторов и источников по мере роста ваших потребностей в обсервабилити
• Оптимизировать конвейер: Используйте возможности аналитики конвейера в Bindplane, чтобы находить возможности для оптимизации

• Документация Bindplane по интеграции с ClickStack