CovalAi-puhelin- ja chat- agenttien testaamisjärjestelmä suurimmalle käytölle

Coval on testaamista ja arviointia koskeva alusta, joka osoittaa olevansa erityisesti työryhmille, jotka kehittävät keskustelua käsitteleviä AI-kenraaleja äänen ja chat-muodostelmiin. Covalin on tarkoitus vastata yleistä ongelmaa agenttien kehittämisessä: perinteiset yksittäiset testit ja manuaaliset silminnailu-testit ei ole suunnilleen kykenevät ottamaan huomioon agenteiden äärellisesti määriteltyä, monivaiheista luonnon. Tämä aiheuttaa yhtäläistä hankalia ongelmaa muuttujien käyttöön: on niin vaikea tiedostaa, oliko muutos parantanut vai haitallisestaa todellista käyttäytymistä. Alkuperäinen ratkaisun ideana tässä laitteessa on simulaatio. Sen sijaan, että riitauttaisiin ainoastaan halusitestiaseista, Coval luonnostaa käyttäjäinteraktioiden simulointituloksia, jonka avulla agentti testataan monesta tilanteesta ja konsultatiotieista. Näitä simuloidun juoksutuksia voi sitten arvostella määriteltävillä metrisillä ja odotusarvoilla, mikä mahdollistaa tiimien relianssin arvioimisen vaihtoehtoisuuksien luovutustilanteissa sekä agentien ja kysymysten evoluution aikana regressiot tarkkailemalla. Coval sijoittuu molempiin puhe- ja tekstiohjaimiin, mikä on merkittävästi yksilöllinen, koska puheekaan tuo mukaan lisäkerroksia, kuten puheesta tekstiksi kääntäminen, aineenomistus ja käännytykset, jotka vaikuttavat ohjaimen laatuun muodostumassa tekoinopeudessa. Yhtiön on piiloteltu vertautuvan itseohjautuvan ajokoneiden kehityskunnossa laajakuvion simuloinnissa validoidaan käyttäytyminen ennen laitteen kuljetusta, soveltamalla samanlaista kokeilun filosofiaa AI-ohjaimiin. Yhdessä työskentelevien työryhmien työssä, agentti yhdistetään tietokantaan, skenaarioita ja arviointikriteereitä määritellään, simuloinneja tehdään ja tuloksia lukuun otetaan useamman simuloinnin aikana tarkoituksena seurata suoritusta ajan myötä. Tämä tuki kehitystyötä, sekä kustannustehokasta jatkuvaa tulosten seurantaa, mukautuvana osana CI-työskentelyä. Tuote on erittäin nuori kehittyvän kategoriassa, joten yksityiskohtia hinnasta, integrointien ja tarkkoja metriikkiä koskevista yksityiskohdista ovat parhaiten vahvistettavissa suoraan sekä yhteisöjen tulisi arvioida, miten hyvin sen simuloidut skenaariot kuvastavat omia tuotantoliikenteitään. Sen pääasialliset seikat yleisen LLM-arvioinnin töistä eroavat siinä, että painopiste on monikäyttäjäinen, monimodaalinen agenttisimulaatiossa eikä yksipuolisen lupausten arvioinnissa.