AgentPantheon
New API logo

New API开源LLM网关统一多个AI提供商API并支持路由、计费和分析

4.3 (4)
Daniel Nikulshyn审阅者 Daniel Nikulshyn·更新 2026年6月

概览

New API 是一个开源 LLM 网关,提供统一接口,连接多家 AI 模型服务商,包括 OpenAI、Anthropic Claude 和 Google Gemini 风格的 API。它充当一个中央管理层,允许团队在各服务商之间路由请求、控制访问,并在一个地方跟踪使用情况。 本项目面向需要大规模使用 AI API 的开发者、平台团队和组织,旨在提供单一网关,而非为每个供应商单独集成。通过暴露与 OpenAI 兼容的端点,现有应用和 SDK 可以在不重写客户端代码的情况下,使用多种后端。 除了基本的代理功能,New API 关注运营层面的诸如基于令牌的配额、计费与信用管理、请求审计以及使用分析等问题。这些功能使其适用于构建内部 AI 平台,或向多名用户/团队再销售/计量访问权限。 作为一款开源、可自托管的工具,它让运营者能够控制部署和数据流,这对成本管理和合规性至关重要。它定位于与 LiteLLM、One API 等其他 API 网关和聚合器相同的领域,并从中汲取灵感。 与大多数自托管网关类似,采用 New API 需要进行基础设施搭建和持续维护,且对供应商支持的广度和稳定性取决于社区贡献。

主要功能

  • 统一多提供商API网关
  • OpenAI 兼容的端点
  • 在模型提供商之间路由请求
  • 基于令牌的限额和计费管理
  • 使用分析和请求审计
  • 优点和缺点
  • 优点
  • 缺点
  • 优点 (一行一个):
  • 公开源代码且可自主部署以获得最大程度的控制
  • 使用单个兼容API统一多个AI提供商
  • 内置限额、计费和使用分析
  • 对于多用户环境进行审计和访问管理
  • 缺点 (一行一个):
  • 需要自主部署和持续维护
  • 功能深度取决于社区贡献
  • 文档可能难以入门

价格

模型
Freemium
评分
4.3 / 5 (4)

使用场景

统一多个LLM访问

通过一个单独的API将 Openai、Claude 和 Gemini 的请求路由在一起,从而简化集成并降低工程团队的供应商锁定

强制分配限额及团队计费

内部回扣对内进行计费,通过内部计费支持对组织控制LLM的需求

审计并分析LLM

捕获使用LLM的详细日志和分析数据,以支持符合性审查、成本优化、以及性能监控

内部部署AI基础设施

在内部部署一个可自主部署的网关,通过维持数据控制来标准化对多个LLM提供者的访问

优点 & 缺点

优点

  • 开放源代码且可自主部署
  • 统一多个AI提供商
  • 内置限额、计费和使用分析
  • 审计和对多用户环境的访问管理
  • 提供给多个用户或团队的限额
  • 允许对LTM的请求进行审计

缺点

  • 需要自主部署
  • 功能深度取决于社区贡献
  • 文档可能难易理解

评测

4.3

4 个评分的平均值。

5
1
4
3
3
0
2
0
1
0

登录以留下评测。

M

Compared a few options

Evaluated this against two competitors. Where it wins: the dashboard and the value for money is strong. Where it lags: the docs could be deeper. On balance the feature set — especially the dashboard — justifies the 4 stars for our use case.

W

Wei Chen

Jul 28, 2025

Use it every day

Honestly didn't expect to like it this much. The dashboard is exactly what I needed, and it saves real time. I do wish pricing gets steep at scale, but I reach for it almost every day now and it just clicks.

J

Jamal Carter

Jul 11, 2025

Solid for our team

We rolled this out across the team last quarter and it saves real time. The onboarding fits neatly into how we already work, and the core workflow removed a step we used to do by hand. The mobile experience lags, which is the main caveat, but it has held up under daily use.

A

Aaliyah Johnson

Jun 18, 2025

Compared a few options

Evaluated this against two competitors. Where it wins: the integrations and it is genuinely easy to set up. Where it lags: pricing gets steep at scale. On balance the feature set — especially the core workflow — justifies the 4 stars for our use case.

问答

What operational features does New API offer beyond basic API proxying?

Beyond routing requests to multiple LLM providers, New API includes built-in quotas, billing, auditing, and usage analytics, making it suitable for teams that need to manage, monitor, and control LLM consumption centrally.

Which LLM providers and API formats does New API support?

New API acts as a unified gateway for major LLM APIs, including OpenAI-, Claude-, and Gemini-style endpoints, letting you route requests across providers through a single consistent interface.

Is New API free, and can it be self-hosted?

Yes. New API is open-source, so you can self-host it without licensing fees. Your only costs are the infrastructure you run it on and the usage fees charged by the upstream LLM providers it connects to.

提问

AI Model Serving Platforms 的替代品