New APIオープンな LLM ゲートウェイとしては初で、複数の AI プロバイダー API を一元管理するためのルーティング、請求、分析機能を統合する

New APIはオープンソースのLLMゲートウェイであり、さまざまなAIモデルプロバイダーのAPI（OpenAI 、Anthropic Claude 、GoogleのGemini-style APIなど）に統一されたインターフェースで接続できます。 また、チームは1つの場所からリクエストをルーティングし、アクセスを管理し、使用状況をトラッキングできる中間管理層として機能します。 このプロジェクトは、拡大するAI APIを消費する開発者、プラットフォームチーム、および組織に焦点を当てています。これらは、各提供者を個別に統合するのではなく、統一のゲートウェイを求めています。OpenAI互換エンドポイントを公開することで、既存のアプリケーションとSDKを、クライアントコードが再作成することなく、多くのバックエンドと連携することを可能にします。 基本的なプロキシよりも、 New API はトークンに基づくクォータ制御、請求、クレジット管理、リクエストの監査、使用分析などの運用上の懸念に焦点を当てています。これらの機能により、内部の AI プラットフォームを作るには適したもので、またはアクセスを複数のユーザーまたはチームにリセール/メートングするには適したものです。 オープンソースおよび自主管理可能なツールであるため、それが展開およびデータのフローについての制御を、従業員に提供し、コスト管理および準拠性において非常に重要な役割を果たします。これは、LiteLLMおよびOne APIのような他の APIゲートウェイおよびAggregatorの位置付けにおいて位置を共有し、これらから知見を得ています。 一般に自分が所有するゲートウェイでは、New APIを採用するにはインフラの設定と継続的なメンテナンスが必要で、提供者のサポートとスケールはコミュニティからの貢献に依存する。