LangfuseПлатформа інженерії LLM відкритого джерелла, що забезпечує спостережуваність, показники, оцінки та керування викликами для дебагування та підвищення великомасштабних моделі мови...

Langfuse є відкритою вихідною платнею розробки ЛЛМ (Великих Моделей Язикової Праці), яка допоможе розробникам створювати, підтримувати і вдосконалювати інтелектуальні агенти та програми. Вона надає повний набір інструментів для спостереження, метрик, оцінок, управління промтами, що дозволяє командам співробітничати і тривалий час вдосконалювати якість, вартість, та затримку їхніх інтелектуальних продуктів. Langfuse підтримує усю петлю розробки ЛЛМ від прототипу до виробництва, інтегруючи спостереження, управління промтами, оцінки, експерименти і людську анотацію в єдиний процес роботи. Платформа забезпечує функції, такі як ієрархічна відстеження, яке записує кожний виклик LLM, активування інструментів та етапи повернення даних, та дозволяє фільтрувати за користувачем, сесією, вартістю, затримкою або індивідуальних відомостях метаданих. Вона також підтримує різні методи оцінки, зокрема LLM-as-a-judge, онтологічні функції та людську оцінку. Більше того, Langfuse надаються послуга управління промтоми з однією кліком розгортання та відновлення, лабіринт для тестування промтоми та інструменти визначення та порівняння експериментів. Langfuse працює з будь-якою мовою та середовищем, яке підтримує інструменти OTel та має понад 100 інтеграцій зі популярними фреймворками-агентами, постачальниками моделей та іншими засобами. Langfuse — відкрита платформа зі ліцензією MIT, що дозволяє користувачам самостійно приймати рішення про масштабність та доповнювати спільноту. Langfuse використовують понад 100 тисяч інженерів та 19 із Fortune 50 корпорацій, обробляючи більше 10 мільярдів спостережень протягом місяця.