New APIВідкрите джерело LLM-ґейтвею, що об'єднує кілька API-провайдерів ШІ з маршрутизацією, білінгом та аналітикою

Новий API являє собою відкритий LLM-розширення гейтвея, яке надає єдиний інтерфейс для підключення до декілька провайдерів моделів штучного інтелекту, включаючи OpenAI, Anthropic Claude та Google Gemini-стильну API. Воно виконує функцію центрального рівня управління, який дозволяє командам маршрутизувати запит за поставками, керувати доступом та відслідковувати використання з однієї місця. Проект спрямований на розробників, команди платформи та організації, які споживають AI API у масштабі та хочуть мати єдиний шлюз замість інтеграції кожного провайдера окремо. Виводіючи інтерфейси відкритого типу OpenAI, він дозволяє вже створеним додаткам та SDK працювати з багатьма серверами без переписування клієнтського коду. Поза простим проксіванням, New API зосереджується на операційних проблемах, такі як обмеження токенами, опалювання та управління кредиторською відповідальністю, аудит запитів та аналіз використання. Ці функції роблять її придатною для створення внутрішніх платформ AI або продажу/розрахунку доступу декільком користувачам або командам. Як відкрите джерело коду інструмент, який можна розпочинати на власній основі, він надає керування операціями щодо розгортання та потоку даних, щодо яких може бути особливо важливим управління витратами та дотримання вимог законодавства. Це позиціонує його в одному і тому ж просторі, що й інші ґейтів API та агрегатори, такі як LiteLLM та One API, від яких він має походження. Як і майже всі самовідкриті гейтвеї, імплентування New API вимагає налаштування інфраструктури та постійну технічну допомогу, а широкий спектр підтримки провайдерів та стабільності залежать від спільних внесків спільноти.