Manifestتعاون مع Manifest لتتحكم في تكاليف الذكاء الاصطناعي والإنفاق بطريقة محسّنة.

Manifest هو منصة مفتوحة المصدر مصممة للمساعدة في إدارة وتحسين تكاليف الاستدلال الإصطناعي للمستخدمين من خلال توفير طبقة توجيه بين الوكلاء أو التطبيقات الإصطناعية وعدد من مزودي نماذج اللغة الكبيرة (LLM). وهي تعالج تحدي الفواتير الإصطناعية المرتفعة و复كسية استخدام خدمات LLM المتعددة بشكل فعال من خلال إعطاء المستخدمين التحكم في استهلاكهم للنموذج والنفقات. يعمل الأداة من خلال تمكين المستخدمين من连接 وكلائهم الأوتوماتيكيين أو تطبيقاتهم أو محفاتهم من الجهات الثالثة مع Manifest. ثم يقومون بإضافة موفرי LLM المفضلين لديهم ، والذين يمكن أن يتضمنون خدمات تستند إلى مفتاح API (مثل OpenAI و Anthropic و Mistral) ، والاشتراكات الشهرية الحالية (على سبيل المثال Anthropic و GitHub Copilot) ، ونقاط النهاية المخصصة المتوافقة مع OpenAI أو Anthropic ، و حتى النماذج المحلية التي تعمل على البنية التحتية الشخصية من خلال Ollama أو LM Studio أو llama.cpp. После подключения Manifest позволяет пользователям определять правила маршрутизации, выбирать конкретные модели и провайдеров для разных запросов и устанавливать резервные варианты. Это позволяет выполнять динамический выбор модели на основе стоимости, производительности или доступности. Например, он может отдавать приоритет использованию квот из предоплаченной подписки и автоматически переходить на modèle оплаты по мере использования, когда превышаются лимиты. Платформа также предлагает реальное время визуализации расходов, giúp пользователям отслеживать каждую потраченную доллар по всей операции ИИ. تتميز Manifest بخاصية "AUTO-FIX"، التي تحاول معالجة 故障 الطلبات الشائعة لنموذج LLM قبل وصولها إلى العميل. وتشمل هذه الخاصية исправление مشاكل مثل النماذج المبطلة أو غير الموجودة، والمعاملات الخاطئة، وطلبات التشفير الخاطئة، ونوافذ السياق المتجاوزة، بهدف منع thời gian الإيقاف و cải thiện معدلات نجاح الطلبات. تم بناء Manifest مع مراعاة المرونة، ودعم مجموعة واسعة من تطبيقات الذكاء الاصطناعي ووكلاء الشخصية وعمليات العمل. وهو متاح كإصدار سحابي لسهولة الترحيل أو توزيعة Docker المُضيفة ذاتيًا، مما يعكس طабعه المفتوح المصدر. يهدف هذا النهج إلى جعل الذكاء الاصطناعي أكثر ميسورًا وقابلًا للوصول، من المطورين الفرديين إلى الشركات المعتمدة، من خلال تقديم أدوات للحد من التكاليف دون المساس بالجودة أو قفل المستخدمين في مزود واحد.