Waarom Tejal Patwardhan de modellen niet meer onderschat - aflevering 21 Why Tejal Patwardhan stopped underestimating the models - Episode 21

De oude tests worden te makkelijk. Tejal Patwardhan leidt het frontier-evals-team van OpenAI, dat nieuwe manieren zoekt om vooruitgang te meten en te voorspellen nu modellen steeds capabeler worden. Met host Andrew Mayne bespreekt ze waarom evals belangrijk zijn voor onderzoek, hoe benchmarks kapot kunnen gaan of gemanipuleerd worden, en waarop modellen hierna beoordeeld moeten worden. Hoofdstukken 00:00:24 Opgroeien bij OpenAI 00:03:10 Waarom reasoning alles veranderde 00:06:28 Wat o1 zo verrassend maakte 00:11:20 Waarom oude benchmarks niet meer werkten 00:14:45 Wat een goede benchmark maakt 00:17:35 Waarom evals steeds moeilijker worden 00:22:09 Spraak- en beeldmodellen meten 00:24:48 Modellen testen op echte wetenschap 00:33:23 Hoe OpenAI de vooruitgang aan de frontier volgt 00:40:47 Wat AI betekent voor werk

The old tests are getting too easy. Tejal Patwardhan leads OpenAI’s frontier evals team, which is finding new ways to measure and forecast progress as models become more capable. She and host Andrew Mayne discuss why evals matter for research, how benchmarks can break or get gamed, and what models need to be judged on next. Chapters 00:00:24 Growing up at OpenAI 00:03:10 Why reasoning changed everything 00:06:28 What made o1 surprising 00:11:20 Why old benchmarks stopped working 00:14:45 What makes a good benchmark 00:17:35 Why evals are getting harder 00:22:09 Measuring voice and vision models 00:24:48 Testing models on real science 00:33:23 How OpenAI tracks frontier progress 00:40:47 What AI means for work