Waarom je LLM een gokautomaat is Why Your LLM is a Slot Machine

Wist je dat 2 + 2 soms 4,0000001 kan zijn, afhankelijk van wie de server nog meer gebruikt? 🤯 We gaan ervan uit dat LLM's deterministisch zijn als we de temperatuur op 0 zetten. Dat klopt niet. In deze video verkennen we batch non-invariance: een fenomeen waarbij de specifieke combinatie van verzoeken in een GPU-batch de floating-point-berekeningen van je output verandert. #ai #chatgpt #python #jetbrains #gemini #deepseek #claude #code #random

Did you know that 2 + 2 might equal 4.0000001 depending on who else is using the server? 🤯 We assume LLMs are deterministic if we set Temperature to 0. We are wrong. In this video, we explore Batch Non-Invariance—a phenomenon where the specific combination of requests in a GPU batch changes the floating-point math of your output. #ai #chatgpt #python #jetbrains #gemini #deepseek #claude #code #random