DeepMind x UCL | Deep Learning Lectures | 7/12 | Deep learning voor natuurlijke taalverwerking DeepMind x UCL | Deep Learning Lectures | 7/12 | Deep Learning for Natural Language Processing

In dit college bespreekt DeepMind-research scientist Felix Hill eerst waarom je taal met kunstmatige neurale netwerken zou modelleren: taal is sterk contextafhankelijk, doorgaans niet-compositioneel en draait om het verzoenen van veel concurrerende informatiebronnen. Dit deel behandelt ook Elmans Finding Structure in Time en simpele recurrente netwerken, het belang van context en transformers. In het tweede deel verkent hij unsupervised learning en representation learning voor taal, van Word2Vec tot BERT. Tot slot bespreekt Felix gesitueerd taalbegrip, grounding en belichaamd taalleren. Download de slides hier: https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L7%20-%20UCLxDeepMind%20DL2020.pdf Lees hier meer over hoe DeepMind wetenschap toegankelijker maakt: https://deepmind.com/about#access_to_science Over de spreker: Felix Hill is research scientist en werkt aan gegrond taalbegrip. Hij zit al bijna 4 jaar bij DeepMind. Hij studeerde zuivere wiskunde, raakte na het lezen van de PDP-boeken van McClelland en Rumelhart erg geïnteresseerd in taalkunde en psychologie, begon daarom aan een graduate-opleiding aan de University of Cambridge en belandde in de NLP-groep. Om zijn interesse in kunstmatige neurale netwerken te voeden, bezocht hij in 2013 het lab van Yoshua Bengio en begon hij een reeks samenwerkingen met Kyunghyun Cho en Yoshua, waarin ze neurale netwerken toepasten op tekstverwerking. Dat leidde tot een van de eerste werken over transfer learning met zinsrepresentaties (en een neurale kruiswoordpuzzeloplosser). Ook liep hij stage bij FAIR in New York bij Jason Weston. Bij DeepMind werkt hij aan agents die taal kunnen begrijpen in de context van interactieve 3D-werelden, en aan vraagstukken rond wiskundig en analogisch redeneren. Over de collegereeks: De Deep Learning Lecture Series is een samenwerking tussen DeepMind en het UCL Centre for Artificial Intelligence. In het afgelopen decennium is deep learning uitgegroeid tot het toonaangevende paradigma binnen de kunstmatige intelligentie. Het stelt ons in staat om complexe functies te leren uit ruwe data, met een ongekende nauwkeurigheid en schaal. Deep learning wordt toegepast op objectherkenning, spraakherkenning, spraaksynthese, voorspellingen, wetenschappelijk rekenen, besturing en nog veel meer. De toepassingen die daaruit voortkomen raken ons allemaal: in de zorg en medisch onderzoek, mens-computerinteractie, communicatie, transport, natuurbehoud, productie en talloze andere domeinen. Als erkenning van die enorme impact ging de Turing Award van 2019, de hoogste onderscheiding in de informatica, naar de pioniers van deep learning. In deze collegereeks geven onderzoekers van het toonaangevende AI-onderzoekslab DeepMind 12 colleges over een boeiende selectie van onderwerpen binnen deep learning: van de basis van het trainen van neurale netwerken, via geavanceerde ideeën rond geheugen, attention en generatieve modellen, tot het belangrijke onderwerp van verantwoord innoveren.

This lecture, by DeepMind Research Scientist Felix Hill, first discusses the motivation for modelling language with ANNs: language is highly contextual, typically non-compositional and relies on reconciling many competing sources of information. This section also covers Elman's Finding Structure in Time and simple recurrent networks, the importance of context and transformers. In the second part, he explores unsupervised and representation learning for language from Word2Vec to BERT. Finally, Felix discusses situated language understanding, grounding and embodied language learning. Download the slides here: https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L7%20-%20UCLxDeepMind%20DL2020.pdf Find out more about how DeepMind increases access to science here: https://deepmind.com/about#access_to_science Speaker Bio: Felix Hill is a Research Scientist working on grounded language understanding, and has been at DeepMind for almost 4 years. He studied pure maths as an undergrad, then got very interested in linguistics and psychology after reading the PDP books by McClelland and Rumelhart, so started graduate school at the University of Cambridge, and ended up in the NLP group. To satisfy his interest in artificial neural networks, he visited Yoshua Bengio's lab in 2013 and started a series of collaborations with Kyunghyun Cho and Yoshua applying neural nets to text processing. This led to some of the first work on transfer learning with sentence representations (and a neural crossword solver). He also interned at FAIR in NYC with Jason Weston. At DeepMind, he's worked on developing agents that can understand language in the context of interactive 3D worlds, together with problems relating to mathematical and analogical reasoning. About the lecture series: The Deep Learning Lecture Series is a collaboration between DeepMind and the UCL Centre for Artificial Intelligence. Over the past decade, Deep Learning has evolved as the leading artificial intelligence paradigm providing us with the ability to learn complex functions from raw data at unprecedented accuracy and scale. Deep Learning has been applied to problems in object recognition, speech recognition, speech synthesis, forecasting, scientific computing, control and many more. The resulting applications are touching all of our lives in areas such as healthcare and medical research, human-computer interaction, communication, transport, conservation, manufacturing and many other fields of human endeavour. In recognition of this huge impact, the 2019 Turing Award, the highest honour in computing, was awarded to pioneers of Deep Learning. In this lecture series, research scientists from leading AI research lab, DeepMind, deliver 12 lectures on an exciting selection of topics in Deep Learning, ranging from the fundamentals of training neural networks via advanced ideas around memory, attention, and generative modelling to the important topic of responsible innovation.