Replit Agent op schaal evalueren en verbeteren Evaluating and improving Replit Agent at scale

De meeste teams die AI-producten uitbrengen, krijgen het niet voor elkaar om evals te bouwen die voorspellen hoe een model in productie echt presteert. Michele Catasta, President & Head of AI bij Replit, vertelt hoe zijn team dat gat dichtte met ViBench — een publieke vibe-coding-benchmark die beoordeelt of de gegenereerde app werkt — en met de offline/online evaluatielus achter Replit Agent, die weken engineeringwerk omzet in winst die zich elke nacht opstapelt. Hannah Moran van Anthropic vertelt wat evals die er alleen rigoureus uitzien onderscheidt van evals die teams echt helpen om met vertrouwen nieuwe modellen in te zetten.

Most teams shipping AI products can't build evals that predict how a model will actually perform in production. Michele Catasta, President & Head of AI at Replit, shares how his team closed that gap with ViBench — a public vibe-coding benchmark that scores whether the generated app works — and the offline/online evaluation loop behind Replit Agent that turns weeks of engineering into compounding overnight gains. Anthropic's Hannah Moran joins to share what separates evals that look rigorous from ones that actually help teams adopt new models with confidence.