LangfuseO platformă de inginerie LLM open-source care oferă observabilitate, metrici, evaluări și gestionare de prompt-uri pentru depanarea și îmbunătățirea aplicațiilor cu modele de limbaj mari...

Langfuse este o platformă de inginerie a modelului de limbă open source dezvoltată pentru a ajuta dezvoltatorii să construiască, să debifeze și să îmbunătățească agentii și aplicații AI. Oferează un set complet de instrumente pentru observabilitate, metrice, evaluări și gestionarea cererilor, permitemand echipelor să colaboreze și să îmbunătățească în mod continuu calitatea, costul și latența produselor lor AI. Langfuse sprijină întreaga ciclu de inginerie a modelului de limbă, de la prototip la producție, prin integrarea observabilității, gestionării cererilor, evaluărilor, experimentelor și anotării umane într-un flux de lucru unic. Platforma oferă funcții ca trasee ierarhice, care captură fiecare apel LLM, invocarea instrumentului și pasul de recuperare, și permite filtrele după utilizator, sesiune, cost, latență sau metadate personalizate. De asemenea, sprijină diverse metode de evaluare, inclusiv LLM-as-a-judecat, funcții heuristice și recenzii umane. În plus, Langfuse furnizează un sistem de gestionare a prompturilor cu depuneri cu un singur clic și rollback-uri, o sală de joc pentru testarea prompturilor și instrumente de definire și comparare a experimentelor. Langfuse funcționează cu orice limbă și framework ce acceptă instrumentarea OTel și dispune de peste 100 de interfețe cu framework-uri de agent populaare, furnizori de modeluri și alte instrumente. Este o platformă deschisă, cu o licență MIT, care permite utilizatorilor să găzduiască în mod autonomic la scală și să contribuie la comunitate. Langfuse este utilizat de peste 100.000 de ingineri și 19 dintre firmele Fortune 50, gestionând peste 10 miliarde de observații pe lună.