DeepMind x UCL | Deep Learning Lectures | 6/12 | Sequenties en recurrente netwerken DeepMind x UCL | Deep Learning Lectures | 6/12 | Sequences and Recurrent Networks

In dit college richt DeepMind-research scientist Marta Garnelo zich op sequentiële data en op hoe machine learning-methodes zijn aangepast om dit specifieke type structuur te verwerken. Marta begint met de basis van sequentiemodellering, inclusief gangbare architecturen die voor deze taak zijn ontworpen, zoals RNN's en LSTM's. Daarna gaat ze verder met sequence-to-sequence-decoding en de toepassingen daarvan, en ze sluit af met enkele voorbeelden van recente toepassingen van sequentiemodellen. Download de slides hier: https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L6%20-%20UCLxDeepMind%20DL2020.pdf Lees hier meer over hoe DeepMind wetenschap toegankelijker maakt: https://deepmind.com/about#access_to_science Over de spreker: Marta is research scientist bij DeepMind en werkt aan diepe generatieve modellen en meta learning. Tijdens haar tijd bij DM werkte ze aan Generative Query Networks en Neural Processes, en recent is haar onderzoek verschoven naar multi-agent-systemen. Daarnaast rondt ze momenteel haar promotie af bij prof. Murray Shanahan aan Imperial College London, waar ze ook een MSc in Machine Learning haalde. Over de collegereeks: De Deep Learning Lecture Series is een samenwerking tussen DeepMind en het UCL Centre for Artificial Intelligence. In het afgelopen decennium is deep learning uitgegroeid tot het toonaangevende paradigma binnen de kunstmatige intelligentie. Het stelt ons in staat om complexe functies te leren uit ruwe data, met een ongekende nauwkeurigheid en schaal. Deep learning wordt toegepast op objectherkenning, spraakherkenning, spraaksynthese, voorspellingen, wetenschappelijk rekenen, besturing en nog veel meer. De toepassingen die daaruit voortkomen raken ons allemaal: in de zorg en medisch onderzoek, mens-computerinteractie, communicatie, transport, natuurbehoud, productie en talloze andere domeinen. Als erkenning van die enorme impact ging de Turing Award van 2019, de hoogste onderscheiding in de informatica, naar de pioniers van deep learning. In deze collegereeks geven toonaangevende onderzoekers van het toonaangevende AI-onderzoekslab DeepMind 12 colleges over een boeiende selectie van onderwerpen binnen deep learning: van de basis van het trainen van neurale netwerken, via geavanceerde ideeën rond geheugen, attention en generatieve modellen, tot het belangrijke onderwerp van verantwoord innoveren.

In this lecture, DeepMind Research Scientist Marta Garnelo focuses on sequential data and how machine learning methods have been adapted to process this particular type of structure. Marta starts by introducing some fundamentals of sequence modeling including common architectures designed for this task such as RNNs and LSTMs. She then moves on to sequence-to-sequence decoding and its applications before finishing with some examples of recent applications of sequence models. Download the slides here: https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L6%20-%20UCLxDeepMind%20DL2020.pdf Find out more about how DeepMind increases access to science here: https://deepmind.com/about#access_to_science Speaker Bio: Marta is a Research Scientist at DeepMind working on deep generative models and meta learning. During her time at DM she has worked on Generative Query Networks as well as Neural Processes and recently her research focus has shifted towards multi-agent systems. In addition she is currently wrapping up her PhD with Prof Murray Shanahan at Imperial College London where she also did an MSc in Machine Learning. About the lecture series: The Deep Learning Lecture Series is a collaboration between DeepMind and the UCL Centre for Artificial Intelligence. Over the past decade, Deep Learning has evolved as the leading artificial intelligence paradigm providing us with the ability to learn complex functions from raw data at unprecedented accuracy and scale. Deep Learning has been applied to problems in object recognition, speech recognition, speech synthesis, forecasting, scientific computing, control and many more. The resulting applications are touching all of our lives in areas such as healthcare and medical research, human-computer interaction, communication, transport, conservation, manufacturing and many other fields of human endeavour. In recognition of this huge impact, the 2019 Turing Award, the highest honour in computing, was awarded to pioneers of Deep Learning. In this lecture series, leading research scientists from leading AI research lab, DeepMind, deliver 12 lectures on an exciting selection of topics in Deep Learning, ranging from the fundamentals of training neural networks via advanced ideas around memory, attention, and generative modelling to the important topic of responsible innovation.