Relari (YC W24)Platform voor testen, beoordeling en synthetische gegevensgeneratie voor AI-agents.

4.3 (6)

Beoordeeld door Daniel Nikulshyn·Bijgewerkt juli 2026

Overzicht

Relari is een ontwikkelaarsplatform dat zich richt op het verbeteren van de betrouwbaarheid van AI-agents door middel van systematische testing en evaluatie. Het helpt teams om synthetische datasets te genereren, geautomatiseerde evaluaties uit te voeren en de prestaties van agents te benchmarken across realistische scenario's voordat ze in productie worden genomen. Gesteund door Y Combinator (W24), richt Relari zich op engineeringteams die complexe LLM-toepassingen en multi-step agents bouwen waar traditionele QA tekortschiet. De tools zijn gericht op het brengen van software-engineering rigueur - unit tests, regressiecontroles en meetbare statistieken - naar niet-deterministische AI-systemen. Het platform ondersteunt aangepaste evaluators, simulatie van scenario's en continue monitoring, waardoor het nuttig is voor zowel validatie voorafgaand aan de lancering als voorlopende kwaliteitsborging van productie-agents.

Belangrijkste functies

Synthetische datasetgeneratie
Automatische agentevaluatiepijplijnen
Scenario- en conversatie-simulatie
Aanpasbare evaluatiemetingen
Regresietesten voor LLM-toepassingen
Prestatiebenchmarking en rapportage

Prijs

Model: Free
Categorie: Observability
Beoordeling: 4.3 / 5 (6)

Toepassingen

AI-agent-testen

Betrouwbare evaluatie en testbare agents voor AI-agents.

Pluspunten & minpunten

Pluspunten

Doelgebouwd voor evaluatie van multi-stappige AI-agents
Ontwikkelt synthetische testgegevens op grote schaal
Ondersteunt aanpasbare metingen en evaluatoren
Gedragen door Y Combinator met actieve ontwikkeling

Minpunten

Voornamelijk gericht op technische teams, niet op niet-ontwickelaars
Nieuwe platform dat een evoluerend functieset heeft
Kan integratie-work vereisen om bestaande stacks aan te passen

Recensies

4.3

Gemiddelde van 6 beoordelingen.

Fatima Zahra

Apr 4, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on customizable evaluation metrics, and purpose-built for evaluating multi-step AI agents caught me off guard. still, I'd recommend giving it a real trial.

Robert Ainsworth

Mar 17, 2026

Solid for our team

We rolled this out across the team last quarter and supports custom metrics and evaluators. Customizable evaluation metrics fits neatly into how we already work, and customizable evaluation metrics removed a step we used to do by hand. Primarily aimed at technical teams, not non-developers, which is the main caveat, but it has held up under daily use.

Devin Walker

Feb 6, 2026

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on performance benchmarking and reporting, and supports custom metrics and evaluators caught me off guard. Primarily aimed at technical teams, not non-developers is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Carlos Mendoza

Jul 20, 2025

Compared a few options

Evaluated this against two competitors. Where it wins: scenario and conversation simulation and purpose-built for evaluating multi-step AI agents. Where it lags: may require integration work to fit existing stacks. On balance the feature set — especially scenario and conversation simulation — justifies the 5 stars for our use case.

Yuki Mori

Jul 19, 2025

Use it every day

Honestly didn't expect to like it this much. Performance benchmarking and reporting is exactly what I needed, and purpose-built for evaluating multi-step AI agents. I do wish may require integration work to fit existing stacks, but I reach for it almost every day now and it just clicks.

Leila Hassan

Jul 14, 2025

Skeptical, then convinced

I went in skeptical — most tools in this space overpromise. It actually delivers on regression testing for LLM apps, and supports custom metrics and evaluators caught me off guard. May require integration work to fit existing stacks is why this isn't a perfect score, still, I'd recommend giving it a real trial.

Vragen

Nog geen vragen — wees de eerste om er een te stellen.

Stel een vraag

Alternatieven voor Observability

KeywordsAI

Observability

Geïntegreerd platform voor ontwikkelaars om LLM-toepassingen te bouwen, monitoren en schalen.

5.0 (6)

Free

Guardian

Observability

Veiligheids- en governanceplatform voor autonome AI‑agents en intelligente systemen.

5.0 (5)

Free

Maxim AI

Observability

End-to-end platform voor het evalueren, monitoren en verbeteren van AI-agents

4.8 (6)

Free

Weave

Observability

Een no-code AI-werkstroombouwer waarmee bedrijven operaties kunnen automatiseren door meerdere grote taalmodellen (LLM's) te integreren en prompts naadloos te verbinden

4.8 (5)

Free