CovalMélységű tesztelési és értékelési platform a hatalmas skálán működő AI hangos és beszélgetői ügynökök tesztelésére

A Coval egy tesztelési és értékelési platform, amely a beszélgető AI-ügynököket fejlesztő csapatokat célozza meg, különösen azokat, amelyek hang- és chat-módusokban működnek. Megoldást kínál egy az ügynökfejlesztés során gyakran felmerülő problémára: a hagyományos unit tesztek és a manuális spot-ellenőrzések nem képesek megragadni az agens rendszerek nem determinisztikus, többlépcsős természetét, ami megnehezíti, hogy tudjuk, egy változtatás javítja vagy rombolja a valós világbeli viselkedést. A platform alapötlete a szimuláció. Ehelyett, hogy kizárólag statikus tesztesetekre támaszkodna, a Coval szimulált felhasználói interakciókat generál, amelyek az ügynököt sok különböző forgatókönyvben és beszélgetési úton vizsgálják. Ezek a szimulált futások később értékelhetők meghatározott metrikák és elvárások alapján, ami lehetővé teszi a csapatok számára, hogy a változások kiadása előtt mérjék a megbízhatóságot, és elkapják a regressziókat, ahogy az ügynökök és a promptok fejlődnek. A Coval mind a hang-, mind a szövegügynökök számára pozícionálja magát, ami figyelemre méltó, mivel a hang további rétegeket vezet be — beszéd-szöveg, késleltetés és váltás —, amelyek a mögöttes nyelvi modell mellett befolyásolják az ügynök minőségét. A cég hasonló összehasonlításokat váltott ki azzal, ahogyan az autonóm járművek csapatai nagyméretű szimulációt használnak a viselkedés validálására az üzembe helyezés előtt, és hasonló tesztelési filozófiát alkalmaznak az MI-ügynökökre. A tipikus munkafolyamatban a csapat összekapcsolja az ügynököt, meghatározza a forgatókönyveket és az értékelési kritériumokat, lefuttatja a szimulációkat, és áttekinti az eredményeket a futások során, hogy nyomon kövesse a teljesítményt az idő múlásával. Ez támogatja a használatot a fejlesztésben, valamint a folyamatos monitorozásban és a regressziós tesztelésben, mint egy CI-stílusú folyamat részeként. Mint viszonylag fiatal termék egy fejlődő kategóriában, az árazás, integrációk és az pontos metrikák lefedettsége részleteinek megerősítése érdekében ajánlott közvetlenül ellenőrizni, és a csapatoknak értékelniük kell, hogy a szimulált szcenáriók mennyire tükrözik a saját termelési forgalmukat. A fő különbség az általános LLM-értékelő eszközöktől az, hogy a több fordulós, több modális ügynokszoftver-szimulációra helyezi a hangsúlyt, nem pedig az egyes promptok értékelésére.