LangfuseEen open-source LLM-engineeringsplatform dat observability, metrics, evaluaties en promptbeheer biedt om grote taalmodeltoepassingen te debuggen en te verbeteren

Langfuse is een open-source LLM (Large Language Model) engineeringplatform dat is ontworpen om ontwikkelaars te helpen bij het bouwen, debuggen en verbeteren van AI-agents en -toepassingen. Het biedt een uitgebreide set tools voor observatie, metriek, evaluaties en promptbeheer, waardoor teams kunnen samenwerken en continu de kwaliteit, kosten en latentie van hun AI-producten kunnen verbeteren. Langfuse ondersteunt de volledige LLM-engineeringscyclus, van prototype tot productie, door observatie, promptbeheer, evaluaties, experimenten en menselijke annotatie te integreren in een enkele workflow. Het platform biedt functies zoals hiërarchische tracing, die elke LLM-aanroep, tool-oproep en retrievestap vastlegt en filtering mogelijk maakt op gebruiker, sessie, kosten, latentie of aangepaste metadata. Het ondersteunt ook verschillende evaluatiemethoden, waaronder LLM-as-a-judge, heuristische functies en menselijke beoordeling. Daarnaast biedt Langfuse een promptsysteem voor beheer met één-klik-implementaties en rollbacks, een speelveld voor het testen van prompts en tools voor het definiëren en vergelijken van experimenten. Langfuse werkt met elke taal en elk framework dat OTel-instrumentatie ondersteunt en heeft meer dan 100 integraties met populaire agentframeworks, modelproviders en andere tools. Het is een open platform met een MIT-licentie, waardoor gebruikers het op grote schaal zelf kunnen hosten en bijdragen aan de community. Langfuse wordt gebruikt door meer dan 100.000 ingenieurs en 19 van de Fortune 50-bedrijven, waarbij het meer dan 10 miljard observaties per maand verwerkt.