New APIMülteci açık kaynak LLM köprüsü, birden fazla AI sağlayıcı API'sini birleştiren rotalama, faktürleme ve analitiklerle

Yeniden API, açık kaynaklı LLM girişimidir ve birden fazla AI model sağlayıcısına bağlanmak için birleştirilmiş bir arayüz sunar, bununla birlikte OpenAI, Anthropic Claude ve Google Gemini-style API'lerine erişirler. Bu, takımın sağlayıcılar arasında istek yönlendirmesi, erişim kontrolü ve bir yerden kullanım izleme yapmasını sağlayan merkezi yönetişim katmanını işlevsellik sağlar. Proje, büyük ölçekte AI API'leri tüketen geliştiriciler, platform takımları ve organizasyonlar için tasarlanmıştır. Tek bir kapı yerine her sağlayıcı ayrı olarak entegre etmek yerine OpenAI uyumlu uç noktalardan yararlanarak mevcut uygulamalar ve SDK'lar birçok arka uçla çalışabilir hale getirir. Temel proxy öykünmesi aşamasından geçerek, New API, token Tabanlı sınırlandırma, faktürleme ve kredi yönetiminden gereksinim analizi ve kullanım istatistiklerine kadar yürütme konularına odaklanmaktadır. Bu özellikler, iç AI platformlarının oluşturulması veya çeşitli kullanıcı veya takımlara erişim için ölçümlemenin/redirlemenin yeniden satılabilmesi gibi içerecektir. "Açık kaynaklı, kendinden barındırılabilir bir araç olan bu, işletimler için deployman ve veri akışının kontrolünü sağlar, maliyet yönetimine ve uyumlaşıma dair önem verebilir. Kendi sınıfındaki diğer API girdişleri ve birleştirmelerinden biri gibi duran bu araç, Light LLM ve One API gibi araçlardan güç alır." Çoğu self-hosted gateway gibi, New API'nin devreye alınması, altyapı kurulumu ve devam Eden bakım gerektirir. Hizmet sağlayıcı поддержки ve istikrarın daraltılması topluluk katkılarına bağlıdır.