Envío de OpenTelemetry a ClickStack con Bindplane

Bindplane es un pipeline de telemetría nativo de OpenTelemetry que ofrece administración centralizada de OpenTelemetry Collectors. Simplifica la operación de grandes flotas de collectors al ofrecer edición visual de la configuración, rollouts seguros e inteligencia de pipeline.

A gran escala, gestionar flotas de OpenTelemetry Collectors se convierte en el cuello de botella operativo. ClickStack ha demostrado que puede manejar volúmenes de ingestión extremos: los clientes están ingestando telemetría a gigabytes por segundo y almacenando cientos de petabytes. El reto deja de ser el rendimiento de las consultas y pasa a ser la operación fiable de la infraestructura de collectors que alimenta ClickHouse.

Bindplane resuelve esto al ofrecer:

• Gestión centralizada de OpenTelemetry Collectors, desde miles hasta más de un millón
• Edición visual de la configuración con rollouts seguros con un solo clic
• Detección automática de recursos y enriquecimiento aplicados de forma coherente antes de que los datos lleguen a ClickStack
• Enrutamiento fan-out, para que los mismos flujos de telemetría puedan enviarse a ClickStack y a otros destinos simultáneamente
• Visibilidad completa del pipeline, incluido el estado de los collectors, el throughput y el rendimiento de extremo a extremo

• Una instancia de ClickStack en ejecución (local, Server o ClickHouse Cloud)
• Una cuenta de Bindplane (crea una cuenta en app.bindplane.com)
• OTel collector de Bindplane instalado (consulta Instala tu primer collector)
• Conectividad de red entre los collectors de Bindplane y tu endpoint OTLP de ClickStack
• API key de ingesta de ClickStack (se encuentra en ClickStack Team Settings > API Keys; consulta la documentación aquí)
• Puertos de red necesarios abiertos (4318 para HTTP/s o 4317 para gRPC)

Configura ClickStack como destino

1. Inicia sesión en tu cuenta de Bindplane
2. Ve a Library
3. Haz clic en Add Destination
4. Selecciona ClickStack en la lista de destinos disponibles
5. Configura la conexión:
   • Protocol: Elige HTTP o gRPC (valor predeterminado: HTTP en el puerto 4318)
   • Hostname: Introduce el nombre de host o la dirección IP del endpoint OTLP de ClickStack
   • Port: Introduce el puerto (4318 para HTTP, 4317 para gRPC)
   • API key de ingesta: Introduce tu API key de ingesta de ClickStack
6. Asigna un nombre al destino (p. ej., "ClickStack Production")
7. Haz clic en Save para crear el destino

Crea una configuración

Una vez configurado el destino de ClickStack, crea una configuración para procesar y enrutar la telemetría:

1. Ve a Configurations → Create Configuration
2. Asigna un nombre a la configuración (p. ej., "ClickStack Pipeline")
3. Selecciona el Collector Type y la Platform para tu implementación
4. Añade fuentes:
   • Haz clic en Add Source para elegir entre más de 80 fuentes disponibles
   • Para hacer pruebas, puedes añadir una fuente generadora de telemetría para simular tráfico
   • Para producción, añade fuentes para tu telemetría real (logs, métricas, trazas)
5. Añade el destino de ClickStack:
   • Haz clic en Add Destination
   • Selecciona el destino de ClickStack que creaste en el paso anterior
   • Elige qué tipos de telemetría enviar (Logs, Métricas, Trazas o todos)

Añade procesadores (opcional)

Bindplane proporciona inteligencia de pipeline y recomendaciones de procesadores. Puedes añadir procesadores para:

• Filter: Reducir el volumen de datos excluyendo telemetría innecesaria
• Sample: Aplicar estrategias de sampling a trazas de gran volumen
• Enrich: Añadir atributos de recursos, labels o metadatos
• Transform: Modificar la estructura o el contenido de la telemetría
• Batch: Optimizar el tamaño de los lotes para una transmisión eficiente

Estos procesadores se aplican de forma coherente en toda tu flota de collectors antes de que los datos lleguen a ClickStack.

Implementa collectors e inicia el rollout

1. Añade un collector (BDOT Collector) a tu configuración:

   • Ve a Agents en Bindplane
   • Instala el collector de Bindplane en tus sistemas de destino siguiendo las instrucciones de instalación de Bindplane
   • El collector aparecerá en tu lista de collectors una vez que se conecte

2. Asigna la configuración a tus collectors:

   • Selecciona los collectors que quieras usar
   • Asígnales tu configuración de ClickStack

3. Inicia un rollout:

   • Haz clic en Start Rollout para implementar la configuración
   • Bindplane validará la configuración antes de desplegarla
   • Supervisa el estado del rollout en la UI de Bindplane

Verifica la telemetría en ClickStack

Una vez desplegada la configuración, la telemetría empezará a fluir hacia ClickStack desde tu flota gestionada de collectors:

1. Inicia sesión en tu instancia de ClickStack (UI de HyperDX)
2. Ve al explorador de Logs, Métricas o Trazas
3. Deberías ver datos de telemetría de tus collectors gestionados por Bindplane
4. Los datos que llegan a ClickStack ya están enriquecidos y estructurados por los procesadores de Bindplane

Bindplane admite el enrutamiento fan-out, lo que le permite enviar los mismos flujos de telemetría a varios destinos simultáneamente. Puede:

• Enviar logs, métricas y trazas a ClickStack para su almacenamiento y análisis a largo plazo
• Enrutar los mismos datos a otras plataformas de observabilidad para generar alertas en tiempo real
• Reenviar telemetría específica a plataformas SIEM para su análisis de seguridad

Esto se configura agregando varios destinos a la configuración de Bindplane.

Para escenarios de alto volumen, configura la compresión en tu destino de ClickStack:

• HTTP: admite gzip, deflate, snappy, zstd o none (por defecto: gzip)
• gRPC: admite gzip, snappy, zstd o none (por defecto: gzip)

La compresión reduce el consumo de ancho de banda al enviar telemetría a ClickStack, algo especialmente importante a gran escala.

Ahora que la telemetría fluye de Bindplane a ClickStack, puedes:

• Crear dashboards: Crea visualizaciones en ClickStack (HyperDX) para logs, métricas y trazas
• Configurar alertas: Configura alertas en ClickStack para condiciones críticas
• Escalar tu implementación: Agrega más collectors y fuentes a medida que crezcan tus necesidades de observabilidad
• Optimizar tu pipeline: Usa la inteligencia de pipeline de Bindplane para identificar oportunidades de optimización

• Integración de ClickStack en la documentación de Bindplane