CovalMeasure AI voice a chat agenti na zachovanie kvality a stability pred vývojom a monitorovanie podmienok.

Coval je platforma na testovanie a hodnotenie určená pre tímy, ktoré vytvárajú konverzačné AI agenty, najmä tie, ktoré fungujú cez hlasové a chatové modality. Rieši opakujúci sa problém vo vývoji agentov: tradičné jednotkové testy a manuálne kontroly nezachytia nedeterministickú, viacotáčkovú povahu agentyckých systémov, čo sťažuje určenie, či zmena zlepšuje alebo zhoršuje správanie v reálnom svete. Základná myšlienka platformy je simulácia. Namiesto toho, aby sa spoliehal výlučne na statické testovacie prípady, Coval generuje simulované interakcie používateľov, ktoré preverujú agenta v mnohých scenároch a konverzačných cestách. Tieto simulované spustenia môžu byť potom hodnotené podľa definovaných metrík a očakávaní, čo umožňuje tímom merať spoľahlivosť pred vydaním zmien a chytiť regresie, keď sa agenti a výzvy vyvíjajú. Coval sa pozicionuje pre hlasové aj textové agenty, čo je pozoruhodné, pretože hlasové rozhranie zavádza ďalšie vrstvy — prevod reči na text, latenciu a striedanie sa — ktoré ovplyvňujú kvalitu agenta nad rámec základného jazykového modelu. Spoločnosť si získala porovnania so spôsobom, akým tímy autonómnych vozidiel používajú rozsiahle simulácie na overenie správania pred nasadením, pričom na agenty AI aplikuje podobnú testovaciu filozofiu. V typickom pracovnom postupe tím pripojí svojho agenta, definuje scenáre a hodnotiace kritériá, spustí simulácie a prehodnotí výsledky naprieč spusteniami, aby sledoval výkonnosť v čase. To podporuje použitie pri vývoji, ako aj priebežné monitorovanie a regresné testovanie ako súčasť procesu podobného CI. Ako relatívne mladý produkt vo vyvíjajúcej sa kategórii je najlepšie si podrobnosti o cenách, integráciách a presnom pokrytí metrík overiť priamo a tímy by mali zhodnotiť, ako dobre simulované scenáre odrážajú ich vlastný produkčný traffic. Hlavný rozdiel od všeobecných nástrojov na hodnotenie LLM spočíva v dôraze na simuláciu viacročných, viackanálových agentov namiesto hodnotenia jednotlivých promptov.