LangfuseEine Open-Source-Plattform für LLM-Engineering, die Observability, Metriken, Evaluierungen und Prompt‑Management bietet, um große Sprachmodell-Apps zu debuggen und zu verbessern.

Langfuse ist eine Open-Source-LLM (Large Language Model) Engineering-Plattform, die Entwicklern dabei hilft, KI‑Agenten und Anwendungen zu bauen, zu debuggen und zu verbessern. Sie bietet ein umfassendes Set an Tools für Observability, Metriken, Evaluierungen und Prompt-Management, sodass Teams zusammenarbeiten und kontinuierlich die Qualität, die Kosten und die Latenz ihrer KI-Produkte optimieren können. Langfuse unterstützt den gesamten LLM-Engineering-Zyklus, vom Prototyp bis zur Produktion, indem es Observability, Prompt-Management, Evaluierungen, Experimente und menschliche Annotation in einen einzigen Workflow integriert. Die Plattform bietet Funktionen wie hierarchisches Tracing, das jeden LLM‑Aufruf, jede Tool‑Invocation und jeden Retrieval‑Schritt erfasst und das Filtern nach Benutzer, Session, Kosten, Latenz oder benutzerdefinierten Metadaten ermöglicht. Sie unterstützt zudem verschiedene Evaluationsmethoden, darunter LLM‑as‑a‑Judge, heuristische Funktionen und menschliche Review. Zusätzlich stellt Langfuse ein Prompt‑Management‑System mit Ein‑Klick‑Deployments und Rollbacks, einen Playground zum Testen von Prompts sowie Werkzeuge zur Definition und zum Vergleich von Experimenten bereit. Langfuse funktioniert mit jeder Sprache und jedem Framework, das OTel‑Instrumentierung unterstützt, und bietet über 100 Integrationen mit beliebten Agent‑Frameworks, Modell‑Anbietern und anderen Tools. Es ist eine offene Plattform mit einer MIT‑Lizenz, die es Nutzer*innen ermöglicht, Self‑Hosting in großem Maßstab zu betreiben und zur Community beizutragen. Langfuse wird von über 100.000 Ingenieur*innen und 19 der Fortune‑50‑Unternehmen genutzt und verarbeitet monatlich über 10 Milliarden Beobachtungen.