Covalمنصة لاختبار وتقييم الوكلاء الذكاء الاصطناعي المتكلمين والكتابية لضمان الجودة والموثوقية قبل النشر.

Coval هي منصة اختبار وتقييم متجهة Towards الفرق التي تبني وكلاء الذكاء الاصطناعي للمحادثة، ولا سيما تلك التي تعمل عبر صيغ الصوت والمراسلة. وهي تعالج مشكلة متكررة في تطوير الوكيل: لا تحقق الاختبارات الوحدوية التقليدية والفحوصات اليدوية النقطية طبيعة الانظمة الوكيلية غير الحتمية ومتعددة الدورة، مما يجعل من الصعب المعرفة ما إذا كان التغيير يتحسن أو يرتد سلوك العالم الحقيقي. فكرة منصة Coval الأساسية هي محاكاة. بدلاً من الاعتماد فقط على حالات اختبار الثابتة، يولد Coval تفاعلات مستخدم محاكاة تُقوم بتشغيل الوكيل عبر سيناريوهات عديدة ومسارات محادثات. يمكن بعد ذلك تسجيل هذه التشغيل المحاكاة مقابل معايير ومعايير محددة، مما يسمح للفرق بقياس الموثوقية قبل شحن التغييرات والقبض على الإنحلالات عندما تتطور الوكلاء والدلالات. يتم وضع Coval للا एजنتات الصوتية والنصية، مما يُلاحظ لأنه يُدخل الصوت طبقات إضافية - seperti كتابة الكلام، التأخير، والتحول - التي تؤثر على جودة الوكيل إلى ما وراء نموذج اللغة التحتية. وقد drew الشركة مقارنات بطريقة فرق المركبات المستقلة استخدام المحاكاة على نطاق واسع untuk التحقق من السلوك قبل النشر، وتطبيق فلسفة الاختبار المماثلة للوكلاء الذكاء الاصطناعي. في تدفق عمل نمطي، ي kếtن الفريق وسيطهم، و يحدد سيناريوهات ومعايير التقييم، و चलّن محاكاة، و يراجع نتائج عبر التشغيل لتتبع الأداء مع مرور الوقت. هذا يدعم الاستخدام في التطوير وكذلك المراقبة المستمرة واختبار الانحدار كجزء من العملية بنمط CI. كنتيجة لكونها منتجاً شاباً نسبياً في فئة متطورة، من الأفضل التأكد من تفاصيل تسعيره، وإمكانيات التكامل، وطيف المقاييس بدقة من خلال التواصل المباشر،且 ينبغي على الفرق تقييم كيفية تعكس السيناريوهات المحاكاة الخاصة به حركة المرور الإنتاجية الخاصة بهم. التمييز الرئيسي له عن أدوات تقييم LLM العامة هو التركيز على محاكاة الوكلاء متعددة الدورات ومتعددة الطرق بدلاً من تقييم الإشارات المنفردة.