ManifestΕπιτήρηση κόστους σε πραγματικό χρόνο και δρομολόγηση για AI agents και εφαρμογές, επιτρέποντας τη βελτιστοποίηση inference LLM από πολλούς παρόχους.

Manifest είναι μια πλατφόρμα ανοιχτού κώδικα σχεδιασμένη για να βοηθά τους χρήστες να διαχειρίζονται και να βελτιστοποιούν τα έξοδα inference AI, παρέχοντας ένα επίπεδο δρομολόγησης μεταξύ AI agents ή εφαρμογών και διαφόρων παρόχων large language model (LLM). Αντιμετωπίζει την πρόκληση των υψηλών λογαριασμών AI και της πολυπλοκότητας της αποτελεσματικής χρήσης πολλαπλών υπηρεσιών LLM, δίνοντας στους χρήστες τον έλεγχο της κατανάλωσης μοντέλων και των εξόδων. Το εργαλείο λειτουργεί επιτρέποντας στους χρήστες να συνδέσουν τους αυτόνομους πράκτορες, τις εφαρμογές ή third‑party harnesses με το Manifest. Στη συνέχεια, προσθέτουν τους προτιμώμενους παρόχους LLM, οι οποίοι μπορεί να περιλαμβάνουν υπηρεσίες βασισμένες σε κλειδί API (όπως OpenAI, Anthropic, Mistral), υπάρχουσες μηνιαίες συνδρομές (π.χ., Anthropic, GitHub Copilot), προσαρμοσμένα endpoints συμβατά με OpenAI ή Anthropic, και ακόμη και τοπικά μοντέλα που εκτελούνται σε προσωπική υποδομή μέσω Ollama, LM Studio ή llama.cpp. Μόλις συνδεθεί, το Manifest επιτρέπει στους χρήστες να ορίζουν κανόνες δρομολόγησης, να επιλέγουν συγκεκριμένα μοντέλα και παρόχους για διαφορετικές ερωτήσεις, και να ρυθμίζουν εναλλακτικές λύσεις. Αυτό επιτρέπει δυναμική επιλογή μοντέλων βασισμένη σε κόστος, απόδοση ή διαθεσιμότητα. Για παράδειγμα, μπορεί να δίνει προτεραιότητα στη χρήση των ποσοτήτων από μια προπληρωμένη συνδρομή και να επιστρέφει αυτόματα σε μοντέλα pay-as-you-go όταν υπερβαίνουν τα όρια. Η πλατφόρμα προσφέρει επίσης απεικόνιση σε πραγματικό χρόνο των δαπανών, βοηθώντας τους χρήστες να παρακολουθούν κάθε δολάριο που δαπανάται σε όλες τις AI λειτουργίες τους. Μία ξεχωριστή δυνατότητα είναι η λειτουργία "AUTO-FIX" της Manifest, η οποία προσπαθεί να διορθώσει κοινές αποτυχίες αιτημάτων LLM πριν φτάσουν στον πράκτορα. Αυτό περιλαμβάνει την επιδιόρθωση προβλημάτων όπως καταργημένα ή μη διαθέσιμα μοντέλα, λανθασμένες παραμέτρους, κακοσχηματισμένα αιτήματα και υπερβαίνοντας τα παράθυρα συμφραζομένων, με στόχο την αποφυγή χρόνου διακοπής λειτουργίας και την ενίσχυση των ποσοστών επιτυχίας των αιτημάτων. Το Manifest είναι σχεδιασμένο με ευελιξία στο μυαλό, υποστηρίζοντας μια ευρεία γκάμα εφαρμογών AI, προσωπικών αγέντες και ροών εργασίας. Διατίθεται ως έκδοση στο cloud για ευκολία ενσωμάτωσης ή ως αυτοφιλοξενούμενη εγκατάσταση Docker, αντικατοπτρίζοντας τη φύση του ως ανοιχτού κώδικα. Αυτή η προσέγγιση στοχεύει στο να κάνει την AI πιο προσιτή και προσβάσιμη, από ανεξάρτητους προγραμματιστές έως εγκατεστημένες επιχειρήσεις, προσφέροντας εργαλεία για μείωση του κόστους χωρίς να θυσιάζει την ποιότητα ή να κλειδώνει τους χρήστες σε έναν μόνο πάροχο.