Covalמפלטפורמה עבור ניסיון ובדיקה של מערכות AI לדוברים ושאלונים בסילבן

Coval הוא פלטפורמת בדיקות והערכה שמיועדת לצוותים המפתחים סוכנים AI שיחוניים, במיוחד אלה שפועלים במספר מדיומים כגון קול ושיחה. הפלטפורמה פותרת בעיה חוזרת בפיתוח סוכנים: בדיקות יחידה מסורתיות ובדיקות ידניות לא עונות על הטבע הלא-דטרמיניסטי והקולטי הרב-סיבובי של מערכות סוכנות, מה שמקשה לדעת האם שינוי משפר או פוגע בהתנהגות בעולם האמיתי. הרעיון המרכזי של הפלטפורמה הוא סימולציה. במקום להסתמך רק על מקרים סטטיים של בדיקה, Coval מייצרת אינטראקציות משתמש סימולטטיביות שמאתגרות סוכן במספר תרחישים ונתיבי שיחה. הריצות הסימולטטיביות הללו ניתן להעריך על פי מדדים וציפיות מוגדרות, מה שמאפשר לצוותים למדוד אמינות לפני שינויים ולגלות רגרסיות ככל שהסוכנים והקווים משתנים. Coval מציגה עצמה עבור סוכנים קוליים וטקסטיים, וזה שולט במיוחד משום שהקול מוסיף שכבות נוספות — תמלול דיבור-ל-טקסט, עיכובים וזמני תור — שמטפחות את איכות הסוכן מעבר למודל השפה הבסיסי. החברה קנתה השוואה לאופן שבו צוותי רכבים אוטונומיים משתמשים בסימולציה בקנה מידה גדול כדי לאמת את ההתנהגות לפני פריסה, ומיישמת פילוסופיה בדיקה דומה לסוכנים ה-AI. בזרימת עבודה טיפוסית, צוות מחבר את הסוכן שלו, מגדיר סינריו וקריטריוני הערכה, מבצע סימולציות, ובוחן את התוצאות בין הריצות כדי לעקוב אחר הביצועים לאורך זמן. זה תומך בשימוש בפיתוח וכן במעקב רציף ובבדיקות רגרסיה כחלק מתהליך בסגנון CI. כיוון שזהו מוצר יחסית צעיר בקטגוריה המתפתחת, מומלץ לאשר ישירות פרטי המחיר, האינטגרציות והכיסוי המדויק של המדדים, ולבדוק עד כמה תרחישי הסימולציה שלו משקפים את תעבורת הייצור של הצוותים. ההבדל המרכזי שלו ביחס לכלים כלליים להערכת LLM הוא הדגש על סימולציה מרובת סיבובים, מרובת מודאליות של סוכן במקום דירוג מבוסס בקשה יחידה.