Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs

Langfuse

O que é Langfuse?

Langfuse é uma plataforma open-source de engenharia de LLM que ajuda equipes a depurar, analisar e iterar colaborativamente em suas aplicações de LLM. Ela faz parte do ecossistema ClickHouse e usa o ClickHouse como base para oferecer um backend de observabilidade escalável e de alto desempenho.

Ao aproveitar o armazenamento colunar do ClickHouse e seus recursos analíticos rápidos, o Langfuse pode lidar com bilhões de traces e eventos com baixa latência, o que o torna adequado para cargas de trabalho de produção com alto throughput.

Por que Langfuse?

  • Open source: Totalmente open source, com API pública para integrações personalizadas
  • Otimizado para produção: Projetado para ter sobrecarga mínima de desempenho
  • SDKs de ponta: SDKs nativos para Python e JavaScript
  • Suporte a frameworks: Integrado a frameworks populares como OpenAI SDK, LangChain e LlamaIndex
  • Multimodal: Suporte a rastreamento de texto, imagens e outras modalidades
  • Plataforma completa: Conjunto de ferramentas para todo o ciclo de desenvolvimento de aplicações com LLM

Opções de implantação

O Langfuse oferece opções flexíveis de implantação para atender a diferentes necessidades de segurança e infraestrutura.

Langfuse Cloud é um serviço totalmente gerenciado, com um cluster ClickHouse gerenciado para desempenho ideal. Possui certificações SOC 2 Type II e ISO 27001, está em conformidade com o GDPR e está disponível nas regiões dos EUA (AWS us-west-2) e da UE (AWS eu-west-1).

Self-hosted Langfuse é totalmente open source (licença MIT) e gratuito para implantar na sua própria infraestrutura usando Docker ou Kubernetes. Você executa sua própria instância do ClickHouse (ou usa o ClickHouse Cloud) para armazenar dados de observabilidade, garantindo controle total sobre seus dados.

Arquitetura

O Langfuse depende apenas de componentes open source e pode ser implantado localmente, em infraestrutura em nuvem ou on-premise:

  • ClickHouse: Armazena grandes volumes de dados de observabilidade (traces, spans, generations, scores). Permite agregação e análises rápidas para dashboards.
  • Postgres: Armazena dados transacionais, como contas de usuário, configurações de projeto e definições de prompt.
  • Redis: Gerencia o enfileiramento de eventos e o cache.
  • S3/Blob Storage: Armazena payloads grandes e dados brutos de eventos.
flowchart TB
    User["UI, API, SDKs"]
    subgraph vpc["VPC"]
        Web["Web Server<br/>(langfuse/langfuse)"]
        Worker["Async Worker<br/>(langfuse/worker)"]
        Postgres@{ img: "https://langfuse.com/images/logos/postgres_icon.svg", label: "Postgres - OLTP\n(Transactional Data)", pos: "b", w: 60, h: 60, constraint: "on" }
        Cache@{ img: "https://langfuse.com/images/logos/redis_icon.png", label: "Redis\n(Cache, Queue)", pos: "b", w: 60, h: 60, constraint: "on" }
        ClickHouse@{ img: "https://langfuse.com/images/logos/clickhouse_icon.svg", label: "ClickHouse - OLAP\n(Observability Data)", pos: "b", w: 60, h: 60, constraint: "on" }
        S3@{ img: "https://langfuse.com/images/logos/s3_icon.svg", label: "S3 / Blob Storage\n(Raw events, multi-modal attachments)", pos: "b", w: 60, h: 60, constraint: "on" }
    end
    LLM["LLM API/Gateway<br/>(optional; BYO; can be same VPC or VPC-peered)"]

    User --> Web
    Web --> S3
    Web --> Postgres
    Web --> Cache
    Web --> ClickHouse
    Web -..->|"optional for playground"| LLM

    Cache --> Worker
    Worker --> ClickHouse
    Worker --> Postgres
    Worker --> S3
    Worker -..->|"optional for evals"| LLM

Funcionalidades

Observabilidade

A observabilidade é essencial para entender e depurar aplicações com LLM. Diferentemente do software tradicional, aplicações com LLM envolvem interações complexas e não determinísticas que podem ser difíceis de monitorar e depurar. O Langfuse oferece recursos abrangentes de rastreamento que ajudam você a entender exatamente o que está acontecendo na sua aplicação.

📹 Quer saber mais? Assista a uma demonstração completa, de ponta a ponta do Langfuse observabilidade e veja como integrá-lo à sua aplicação.

Os traces permitem acompanhar cada chamada de LLM e outras lógicas relevantes no seu aplicativo.

Gerenciamento de prompts

Gerenciamento de prompts é essencial para desenvolver aplicações de LLM eficazes. O Langfuse fornece ferramentas para ajudar você a gerenciar, versionar e otimizar seus prompts ao longo de todo o ciclo de desenvolvimento.

📹 Quer saber mais? Assista ao guia completo do Gerenciamento de prompts do Langfuse e veja como integrá-lo à sua aplicação.

Crie um novo prompt via UI, SDKs ou API.

Avaliação e conjuntos de dados

avaliação é crucial para garantir a qualidade e a confiabilidade das suas aplicações de LLM. O Langfuse oferece ferramentas de avaliação flexíveis que se adaptam às suas necessidades específicas, seja para testar em desenvolvimento ou monitorar o desempenho em produção.

📹 Quer saber mais? Assista ao guia completo do Langfuse avaliação e veja como usá-lo para melhorar sua aplicação de LLM.

Visualize os resultados das avaliações no dashboard do Langfuse.

Guias de início rápido

Comece a usar o Langfuse em minutos. Escolha a opção que melhor atende às suas necessidades atuais:

Saiba mais

Navigation