De tokenizer van Llama 3 begrijpen | Llama for Developers Understanding the Llama 3 Tokenizer | Llama for Developers

Download Meta Llama 3 ➡️ https://go.fb.me/kbpn54 Aston Zhang, research scientist die bij Meta aan Llama werkt, bespreekt de nieuwe tokenizer in Meta Llama 3. Hij vertelt over de verbeteringen aan de tokenizer in de nieuwste Llama 3-modellen van Meta. De nieuwe tokenizer gebruikt Tiktoken in plaats van SentencePiece en heeft een grotere vocabulaire van 128k, wat zorgt voor betere prestaties bij onder meer programmeren en reasoning. Dankzij de grotere vocabulaire kan input specifieker en genuanceerder worden gecodeerd, terwijl de hogere compressieverhouding het aantal tokens verlaagt dat nodig is om een input weer te geven. Daarnaast helpt Group Query Attention om de hogere geheugen- en rekenbehoefte te compenseren, zodat het model grotere batches kan verwerken zonder dat de latency toeneemt. # Tijdstempels 00:00 Introductie 00:25 Wat is er nieuw aan de tokenizer van Llama 3? 01:58 Grootte van de vocabulaire en compressieverhouding 13:01 Prestaties, efficiëntie en lagere kosten 17:46 Samenvatting en bronnen # Extra bronnen • E-book Dive into Deep Learning: https://go.fb.me/ao405f • Getting Started-gids: https://go.fb.me/xucc2m #llama3 #llm #opensource - - - Abonneer je: https://www.youtube.com/aiatmeta?sub_confirmation=1 Meer over ons werk: https://ai.meta.com # Volg ons op social media Volg ons op Twitter: https://twitter.com/aiatmeta/ Volg ons op LinkedIn: https://www.linkedin.com/showcase/aiatmeta Volg ons op Threads: https://threads.net/aiatmeta Volg ons op Facebook: https://www.facebook.com/AIatMeta/ Meta AI wil de wereld dichter bij elkaar brengen door AI verder te ontwikkelen, betekenisvolle en veilige ervaringen mogelijk te maken en open onderzoek te doen.

Download Meta Llama 3 ➡️ https://go.fb.me/kbpn54 Aston Zhang, research scientist working on Llama at Meta discusses the new tokenizer in Meta Llama 3. He discusses the improvements made to the tokenizer in Meta's latest Llama 3 models. The new tokenizer uses Tiktoken instead of SentencePiece and has a larger vocabulary size of 128k, resulting in better performance on coding, reasoning, and more. The increased vocabulary size allows for more specific and nuanced encoding of inputs, while the higher compression ratio reduces the number of tokens required to represent an input. Additionally, the use of Group Query Attention helps balance out the increased memory and compute needs, resulting in a model that can process larger batches without increasing latency. # Timestamps 00:00 Introduction 00:25 What's new in the Llama 3 tokenizer? 01:58 Vocabulary size and compression ratio 13:01 Performance, efficiency and improving costs 17:46 Recap and resources # Additional Resources • Dive into Deep Learning ebook: https://go.fb.me/ao405f • Getting Started Guide: https://go.fb.me/xucc2m #llama3 #llm #opensource - - - Subscribe: https://www.youtube.com/aiatmeta?sub_confirmation=1 Learn more about our work: https://ai.meta.com # Follow us on social media Follow us on Twitter: https://twitter.com/aiatmeta/ Follow us on LinkedIn: https://www.linkedin.com/showcase/aiatmeta Follow us on Threads: https://threads.net/aiatmeta Follow us on Facebook: https://www.facebook.com/AIatMeta/ Meta AI focuses on bringing the world together by advancing AI, powering meaningful and safe experiences, and conducting open research.