OpenAI DevDay 2024 | Community Spotlight | Sierra OpenAI DevDay 2024 | Community Spotlight | Sierra

Realistische agent-benchmarks met LLM's: de prestaties en betrouwbaarheid van AI-agents meten is lastig, zeker in dynamische, realistische situaties met menselijke interactie, zoals klantenservice. Sierra gebruikte de GPT-4- en GPT-4o-modellen van OpenAI om synthetische data en scenario's te genereren die menselijke gebruikers simuleren die met een klantenservice-agent praten. Dat leidde tot τ-bench. Deze sessie behandelt de technische uitdagingen bij het maken van de data en de benchmark, de bevindingen uit het evalueren van meerdere LLM-agents op τ-bench, en een gesprek over het bouwen van dynamische agent-evaluaties met foundation models.

Realistic agent benchmarks with LLMs: Measuring the performance and reliability of AI agents is challenging, especially in dynamic, real-world scenarios involving human interaction such as customer service. Sierra used OpenAI's GPT-4 and GPT-4o models to generate synthetic data and scenarios to simulate human users interacting with a customer service agent, resulting in the creation of τ-bench. This session will cover the technical challenges faced while creating the data and benchmark, findings from evaluating multiple LLM-based agents on τ-bench, and a discussion on building dynamic agent evaluations with foundation models.