LangSmithمنصة لمراقبة و تقييم و تصحيح تطبيقات نماذج اللغة الكبيرة من فريق لانج تشين

LangSmith هو منصة مطورين مبنية من قبل الفريق الذي يقف وراء LangChain لمساعدة الفرق على تتبع واختبار وتقييم ومراقبة التطبيقات التي تعمل بواسطة نماذج اللغة الكبيرة. بينما يتكامل بشكل密 مع إطارات LangChain وLangGraph ، إنه محايد الإطار ويمكنه تجهيز أي تطبيق LLM من خلال SDK و API الخاصة به. الغرض الرئيسي منه هو معالجة غير المتقبل للنماذج القائمة على LLM ، حيث تكون الإخراجات غير متسلسلة والتقصير يمكن أن يكون دقيقًا ، من خلال إعطاء المطورين رؤية حول ما يفعلونه بالفعل في وقت التشغيل. المنصة تركز على التتبع: كل تشغيل للتطبيق ينتج تتبعًا مفصلًا متداخلًا يظهر كل خطوة، بما في ذلك الاستفسارات المرسلة والاستجابات النموذجية واستخدام التوكن وطول فترة الاستجابةและมكالمات الأداة والاخراجات الوسيطية. هذا يجعل من السهل تصحيح أخطاء وكلاء المتعددين المتداخلين وأنابيب التوليد المُحسّنة بالاسترجاع حيث قد يكون مصدر إجابة سيئة مدفونًا على عدة طبقات. يمكن للمطورين فحص التتبعات الفردية وفرزها وSEARCH عبر التشغيلات والاطلاع على المدخلات والمخرجات الدقيقة في كل عقدة. يقدم LangSmith أيضًا أدوات تقييم لقياس جودة التطبيق. يمكن للفرق بناء مجموعات بيانات من الإحاطات الإنتاجية أو الأمثلة المعدة ، وتشغيل تطبيقاتهم على هذه المجموعات البيانية ، وتقويم الإخراجات باستخدام الحكم المدمج أو فحوصات مخصصة قائمة على الكود أو مناهج LLM كمشرع. يدعم هذا الاختبار الانحداري عند تغيير الدعم أو النماذج ويساعد على تحديد ما إذا كان التغييرات ت تحسين النتائج بشكل فعلي вместع зави على الحدس. للاستخدام الإنتاجي، يقدم لوحات تحكم لمراقبة المعايير مثل الاضطراب والكلفة ومعدلات الأخطاء والردود الفعل مع مرور الوقت، إلى جانب القدرة على جمع ردود أفعال بشرية وتعليقات المستخدم. يتضمن مكونًا لإدارة وتجربة الدفعات يؤهل الفرق لتكرار الدفعات وترقيمها ومقارنة مخرجات النموذج جنبًا إلى جنب. LangSmith يصبو في الأساس إلى المطورين والفرق التي تنشر ميزات LLM الذين يحتاجون إلى الخروج من تصحيح عبارة الطباعة الروتيني نحو مراقبة منهجية وتقييم. نقطة قوته الرئيسية هي عمق التكامل مع نظام LangChain وWORKFLOW الموحد الذي يصل بين الت 跟athe datasets وتقييم. التبادل الصادق يتضمن أن经验 الأغنى يفترض أنك مرتاح في عالم LangChain / LangGraph ، أن تقييم LLM بنفسه غير 完 hảo ويتطلب تصميماً دقيقاً ، وأنه produkt مُضيف تجاري مع أسعار استعمالية ، على الرغم من وجود خيارات الاستضافة الذاتية لبعض الخطط. ينافس أدوات أخرى للمراقبة LLM مثل Langfuse و Helicone و Arize Phoenix و Weights & Biases Weave.