LangSmithSuurkeelemudelite rakenduste jälgitavuse, hindamise ja silumise platvorm LangChain meeskonnalt

LangSmith on arendaja platvorm, mille on loonud LangChain meeskond, et aidata meeskondadel jälgida, testida, hinnata ja jälgida suurkeelemudelitega töötavaid rakendusi. Kuigi see integreerub tihedalt LangChain ja LangGraph raamistikega, on see raamistikust sõltumatu ja võib instrumenteerida ükskõik millist LLM-rakendust oma SDK-de ja API-de kaudu. Selle põhiülesanne on käsitleda LLM-põhiste süsteemide omast ettearvamatust, kus väljundid on mittedeterministlikud ja tõrked võivad olla peened, andes arendajatele nähtavuse sellesse, mida nende ahelad, agendid ja viiped tegelikult käitusaja jooksul teevad. Platvorm keskendub jälgimisele: iga rakenduse käivitamine annab üksikasjaliku, pesastatud jälje, mis näitab iga sammu, sealhulgas saadetud viiped, mudeli vastused, märgi kasutamine, latentsus, tööriista kõned ja vahepealsed väljundid. See muudab keeruliste mitmeastmeliste agentide ja andmeteotsinguga suurendatud genereerimise torujuhtmete silumise lihtsamaks, kus halva vastuse allikas võib olla mitu kihti sügaval. Arendajad saavad uurida üksikuid jälgi, filtreerida ja otsida käivitamisi ning uurida täpseid sisendeid ja väljundeid igas sõlmes. LangSmith pakub ka hindamisvahendeid rakenduse kvaliteedi mõõtmiseks. Meeskonnad saavad luua andmekogumeid tootmisjäljest või valitud näidetest, käivitada oma rakenduse nende andmekogumite vastu ja hinnata väljundeid sisseehitatud hindajate, kohandatud koodipõhiste kontrollide või LLM-i kui kohtuniku lähenemisviiside abil. See toetab regressioonitestimist, kui viiped või mudelid muutuvad, ja aitab kvantifitseerida, kas muutused tegelikult parandavad tulemusi, mitte ei põhine intuitsioonil. Tootmises kasutamiseks pakub see jälgimisandureid, mis jälgivad mõõdikuid nagu latentsus, maksumus, tõrgete määrad ja tagasiside aja jooksul, koos võimalusega koguda inimlikku tagasisidet ja kasutaja annekteerimisi. Viipade halduse ja mänguvälja komponent võimaldab meeskondadel iteratiivida viipadel ja võrrelda mudeli väljundeid kõrvuti. LangSmith on suunatud peamiselt arendajatele ja meeskondadele, kes tarnivad LLM-funktsioone, kes peavad liikuma ad hoc printimislausete silumisest süstemaatilise jälgitavuse ja hindamise suunas. Selle peamine tugevus on integreerumise sügavus LangChain ökosüsteemiga ja ühtne töövoog, mis ühendab jälgimise, andmekogumid ja hindamise. Ausad kompromissid hõlmavad seda, et kõige rikkalikum kogemus eeldab, et olete mugav LangChain / LangGraph maailmas, et LLM-põhine hindamine on iseenesest ebatäpne ja nõuab hoolikat disaini, ning et see on majutatud kommertsprodukt, millel on kasutus-põhine hinnakiri, kuigi mõned plaanid pakuvad iseseisva majutamise võimalusi.