Relari (YC W24)Plattform för testning, utvärdering och generering av simulat data för AI-kontroller

4.3 (6)

Granskat av Daniel Nikulshyn·Uppdaterad juli 2026

Översikt

Relari är en utvecklarplattform som fokuserar på att förbättra tillförlitligheten hos AI-agenter genom systematisk testning och utvärdering. Plattformen hjälper team att generera syntetiska datasätt, köra automatiserade utvärderingar och mäta agentprestanda över realistiska scenarier innan det skickas till produktion. Backad av Y Combinator (W24), tar Relari sikte på datateam som bygger komplexa LLM-applikationer och flerstegsagenter där traditionell QA inte räcker till. Verktygen syftar till att föra in programvaruutvecklingsrigor – enhets tester, regresjonstest och mätbara mått – i icke-deterministiska system för AI. Plattformen stödjer anpassade utvärderare, scenario-simulering och kontinuerligt övervakning, vilket gör det användbart för både validering före lansering och pågående kvalitetsassuran av produktionsagenter.

Nyckelfunktioner

Generering av simulat dataposter
Automatiserade pipelines för att utvärdera agenter
Scenario- och konversationsSimulering
Anpassbara utvärderingsmetrikanalyser
Regresstestning för LLM-program
Prestandajämförelse och rapportering

Priser

Modell: Free
Kategori: Observability
Betyg: 4.3 / 5 (6)

Användningsfall

Testning av AI-kontroller

Reliabla och testbara utvärdering av AI-kontroller.

Fördelar och nackdelar

Fördelar

Avsett för att utvärdera flerstegs AI-kontroller
Genererar simulat testdata på stor skala
Stödjer anpassbara metrikanalyser och utvärderare
Har stöd av Y Combinator med aktiv utveckling

Nackdelar

Är främst inriktat på tekniska team, inte icke-utvecklare
Ny plattform med ett utvecklande funktionssätt
Kan kräva integrationsarbete för att passa befintliga stak

Recensioner

4.3

Genomsnitt från 6 betyg.

Logga in för att lämna en recension.

Fatima Zahra

Apr 4, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on customizable evaluation metrics, and purpose-built for evaluating multi-step AI agents caught me off guard. still, I'd recommend giving it a real trial.

Robert Ainsworth

Mar 17, 2026

Solid for our team

We rolled this out across the team last quarter and supports custom metrics and evaluators. Customizable evaluation metrics fits neatly into how we already work, and customizable evaluation metrics removed a step we used to do by hand. Primarily aimed at technical teams, not non-developers, which is the main caveat, but it has held up under daily use.

Devin Walker

Feb 6, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on performance benchmarking and reporting, and supports custom metrics and evaluators caught me off guard. Primarily aimed at technical teams, not non-developers is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Carlos Mendoza

Jul 20, 2025

Compared a few options

Evaluated this against two competitors. Where it wins: scenario and conversation simulation and purpose-built for evaluating multi-step AI agents. Where it lags: may require integration work to fit existing stacks. On balance the feature set — especially scenario and conversation simulation — justifies the 5 stars for our use case.

Yuki Mori

Jul 19, 2025

Use it every day

Honestly didn't expect to like it this much. Performance benchmarking and reporting is exactly what I needed, and purpose-built for evaluating multi-step AI agents. I do wish may require integration work to fit existing stacks, but I reach for it almost every day now and it just clicks.

Leila Hassan

Jul 14, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on regression testing for LLM apps, and supports custom metrics and evaluators caught me off guard. May require integration work to fit existing stacks is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Frågor

Inga frågor än — ställ den första.

Ställ en fråga

Alternativ till Observability

KeywordsAI

Observability

Enhetlig utvecklarplattform för att bygga, övervaka och skala LLM-applikationer.

5.0 (6)

Free

Guardian

Observability

Säkerhets- och styrningsplattform för autonoma AI-agenter och intelligenta system.

5.0 (5)

Free

Maxim AI

Observability

Komplett plattform för utvärdering, övervakning och förbättring av AI-agenter

4.8 (6)

Free

Weave

Observability

En no-code AI-prosescyklusbyggare som gör det möjligt för företag att automatisera verksamheter genom att integrera flera större språkmodeller (LLM) och ansluta frågor tillsammans på ett smidigt sätt.

4.8 (5)

Free