New APINyílt forráskódú LLM gateway, amely többféle AI szolgáltató API-ját egyesíti routeolás, fizetési és elemző szolgáltatásokkal

4.3 (4)

Értékelte Daniel Nikulshyn·Frissítve 2026. június

Open Source LLM Gateway API Routing Billing Analytics Enterprise Multi-Model

Áttekintés

A New API egy nyílt forráskódú LLM gateway, amely egyetlen interface-t kínál a többféle AI modellező szolgáltató (az OpenAI, Anthropic Claude, és a Google Gemini típusú API-k) csatlakoztatására. Központi kezelőrétekként működik, lehetővé téve az eszközcsapatok számára, hogy a szolgáltatók közötti kéréseket útvonalat kössön, hozzáférést és használati statisztikák felügyeletét is ebből egy helyről. A projekt célja a rendszermérnököknek, a platformcsapatoknak és azoknak az szervezeteknek, amelyek nagy skálán fogyasztanak mesterséges intelligencia API-kat és egyetlen átjárónak szeretnének rendelkezni az olyan integráció helyett, hogy minden provider-vel külön is meg kelljen oldani. Az OpenAI-összeegyeztethető API végpontok kimagyaráztatásával lehetővé teszik, hogy a meglévő alkalmazások és SDK-k dolgozzanak sokféle backend-kel anélkül, hogy a kliens-kódot újra kelljen írni. A klasszikus proxyolás mögött a New API operatív aggályokkal foglalkozik, például token-alapú kvóták bevezetésével, számlázással, hitelkezeléssel, kérelemellenőrzéssel és felhasználási elemzésekkel. Ezek a funkciók olyan belső AI platformok építését teszik alkalomassá, vagy az egyes felhasználókat vagy csapatokat terhelő több felhasználóra/szervezetre irányuló eladás/méréstervezéssel együtt. Nyílt forráskódú, saját kiszolgálóra telepíthető eszköz, amely a futtatás és adatáramlás felett ad hatalmat az operátoroknak, amely jelentős lehet a költségkezelésben és az összeegyeztethetőségben. Ezzel a megoldással együttáll az egyéb API-kapunyitó és összesítőkkel, például a LiteLLM-mel és az One API-val, amelyből az átvesz egyes elemeit. Mint a legtöbb önalapú kapuknál, a New API átvételéhez infrastruktúra beállítások és folyamatos karbantartás szükséges, továbbá a szerveződéshez érkező támogatói által meghatározott széles provider támogatás és stabilitás függ a közösségi hozzájárulásoktól.

Fő funkciók

Egyetemes mutatószámú API-gateway
Open AI-kompatibilis végpontok
Kérések szállítása több szolgáltató közt
Jelkód alapú kvóták és fizetési kezelés
Felhasználási elemzések és auditálás

Árazás

Modell: Freemium
Kategória: AI Model Serving Platforms
Értékelés: 4.3 / 5 (4)

Felhasználási esetek

Több szolgáltató LLM elérése eggyé olvas

Kéréseket útsegél a nyílt API-n keresztül többféle szolgáltatóhoz, egyszerűsíti az integrációt és minimalizálja a vevői foglaltságot az alkalmazásfejlesztők számára.

Kvóta és csapatfizetés alkalmazása

Egyszerű felhasználói vagy csapat-felhasználói kvótákat alkalmazhat, és nyomon követheti a felhasználást a belső árverezések, a szervezeti szervezetek LLM-fogyasztásának ellenőrzésére.

LLM felhasználói elemzések és auditálási felülvizsgálat

Szerzett részletes naplókat és elemzéseket a LLM-kérelmekről, a megfelelőségi ellenőrzések, a költségoptimalizálás és teljesítménymonitorozás támogatására.

Önfuttatói AI infrastruktúra

Futtassa át a nyílt forráskódban egy gateway-t a csatornák felett a megfelelőségi ellenőrzések és a későbbi fejlesztés elérhetőségének garantálására.

Előnyök és hátrányok

Előnyök

Nyílt forrású és önfuttató szoftver, teljes irányítás biztosítása
Több szolgáltatót eggyé olvas egy kompatibilis API-ben
Felépülő kvóták, fizetési és felhasználási elemzés
Auditálás és hozzáférés kezelés többfelhasználós környezetben

Hátrányok

Önálló rendszergazdálkodást és folyamatos karbantartást igényel
A felhasználók közösségi bejárása dönti el a funkciók mélységét
Az új felhasználók számára a dokumentáció esetleg szűkszavú lehet

Értékelések

4.3

Átlag 4 értékelésből.

Jelentkezz be értékelés írásához.

Margaret Whitfield

Aug 7, 2025

Compared a few options

Evaluated this against two competitors. Where it wins: the dashboard and the value for money is strong. Where it lags: the docs could be deeper. On balance the feature set — especially the dashboard — justifies the 4 stars for our use case.

Wei Chen

Jul 28, 2025

Use it every day

Honestly didn't expect to like it this much. The dashboard is exactly what I needed, and it saves real time. I do wish pricing gets steep at scale, but I reach for it almost every day now and it just clicks.

Jamal Carter

Jul 11, 2025

Solid for our team

We rolled this out across the team last quarter and it saves real time. The onboarding fits neatly into how we already work, and the core workflow removed a step we used to do by hand. The mobile experience lags, which is the main caveat, but it has held up under daily use.

Aaliyah Johnson

Jun 18, 2025

Compared a few options

Evaluated this against two competitors. Where it wins: the integrations and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the core workflow — justifies the 4 stars for our use case.

Kérdések

What operational features does New API offer beyond basic API proxying?

Beyond routing requests to multiple LLM providers, New API includes built-in quotas, billing, auditing, and usage analytics, making it suitable for teams that need to manage, monitor, and control LLM consumption centrally.

Which LLM providers and API formats does New API support?

New API acts as a unified gateway for major LLM APIs, including OpenAI-, Claude-, and Gemini-style endpoints, letting you route requests across providers through a single consistent interface.

Is New API free, and can it be self-hosted?

Yes. New API is open-source, so you can self-host it without licensing fees. Your only costs are the infrastructure you run it on and the usage fees charged by the upstream LLM providers it connects to.