LangfuseEn öppen källkodsplattform för LLM-utveckling som erbjuder överskådlighet, mått, utvärderingar och prompt-hantering för att felsöka och förbättra stora språkmodellers tillämpningar...

Langfuse är en öppen källkodsplattform för LLM (Large Language Model)-utveckling som är utformad för att hjälpa utvecklare att bygga, felsöka och förbättra AI-agenter och tillämpningar. Den erbjuder ett komplett verktygsset för observabilitet, mått, utvärderingar och hantering av prompt, vilket möjliggör för team att samarbeta och kontinuerligt förbättra kvalitet, kostnad och latency för sina AI-produkter. Langfuse stödjer hela LLM-utvecklingscykeln, från prototyp till produktion, genom att integrera observabilitet, hantering av prompt, utvärderingar, experiment och mänsklig annotering i ett enda arbetsflöde. Plattformen erbjuder funktioner som hierarkisk spårning, som fångar varje LLM-anrop, verktygsanrop och hämtningssteg, och tillåter filtrering efter användare, session, kostnad, latens eller anpassad metadata. Den stöder också olika utvärderingsmetoder, inklusive LLM-som-domare, heuristiska funktioner och mänsklig granskning. Dessutom tillhandahåller Langfuse ett prompts-hanteringsystem med enklicksdistribution och återställning, en lekplats för testning av prompts och verktyg för experimentdefinition och jämförelse. Langfuse fungerar med alla språk och ramverk som stöder OTel-instrumentering och har över 100 integrationer med populära agentramverk,-modellleverantörer och andra verktyg. Det är en öppen plattform med en MIT-licens, vilket gör att användare kan värd eget på stor skala och bidra till communityt. Langfuse används av över 100 000 ingenjörer och 19 av Fortune 50-företagen, som hanterar över 10 miljarder observationer per månad.