DeepMind x UCL | Deep Learning Lectures | 8/12 | Attention en geheugen in deep learning DeepMind x UCL | Deep Learning Lectures | 8/12 | Attention and Memory in Deep Learning

Attention en geheugen zijn de afgelopen jaren uitgegroeid tot twee essentiële nieuwe onderdelen van deep learning. Dit college van DeepMind-research scientist Alex Graves behandelt een breed scala aan hedendaagse attention-mechanismen, waaronder de impliciete attention die in elk diep netwerk zit, en zowel discrete als differentieerbare varianten van expliciete attention. Daarna bespreekt hij netwerken met extern geheugen en legt hij uit hoe attention ze selectief laat herinneren. Hij staat kort stil bij transformers, een bijzonder succesvol type attention-netwerk, en kijkt tot slot naar variabele rekentijd, wat je kunt zien als een vorm van 'attention door concentratie'. Download de slides hier: https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L8%20-%20UCLxDeepMind%20DL2020.pdf Lees hier meer over hoe DeepMind wetenschap toegankelijker maakt: https://deepmind.com/about#access_to_science Over de spreker: Alex Graves haalde een BSc in theoretische natuurkunde aan de University of Edinburgh, deed Part III Maths aan de University of Cambridge en promoveerde in kunstmatige intelligentie aan IDSIA bij Jürgen Schmidhuber. Daarna volgden postdocs aan de Technische Universität München en bij Geoff Hinton aan de University of Toronto. Nu is hij research scientist bij DeepMind. Tot zijn bijdragen horen het Connectionist Temporal Classification-algoritme voor sequentielabeling (veel gebruikt in commerciële spraak- en handschriftherkenning), stochastic gradient variational inference, de architecturen Neural Turing Machine / Differentiable Neural Computer en het A2C-algoritme voor reinforcement learning. Over de collegereeks: De Deep Learning Lecture Series is een samenwerking tussen DeepMind en het UCL Centre for Artificial Intelligence. In het afgelopen decennium is deep learning uitgegroeid tot het toonaangevende paradigma binnen de kunstmatige intelligentie. Het stelt ons in staat om complexe functies te leren uit ruwe data, met een ongekende nauwkeurigheid en schaal. Deep learning wordt toegepast op objectherkenning, spraakherkenning, spraaksynthese, voorspellingen, wetenschappelijk rekenen, besturing en nog veel meer. De toepassingen die daaruit voortkomen raken ons allemaal: in de zorg en medisch onderzoek, mens-computerinteractie, communicatie, transport, natuurbehoud, productie en talloze andere domeinen. Als erkenning van die enorme impact ging de Turing Award van 2019, de hoogste onderscheiding in de informatica, naar de pioniers van deep learning. In deze collegereeks geven onderzoekers van het toonaangevende AI-onderzoekslab DeepMind 12 colleges over een boeiende selectie van onderwerpen binnen deep learning: van de basis van het trainen van neurale netwerken, via geavanceerde ideeën rond geheugen, attention en generatieve modellen, tot het belangrijke onderwerp van verantwoord innoveren.

Attention and memory have emerged as two vital new components of deep learning over the last few years. This lecture by DeepMind Research Scientist Alex Graves covers a broad range of contemporary attention mechanisms, including the implicit attention present in any deep network, as well as both discrete and differentiable variants of explicit attention. It then discusses networks with external memory and explains how attention provides them with selective recall. It briefly reviews transformers, a particularly successful type of attention network, and lastly looks at variable computation time, which can be seen as a form of 'attention by concentration'. Download the slides here: https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L8%20-%20UCLxDeepMind%20DL2020.pdf Find out more about how DeepMind increases access to science here: https://deepmind.com/about#access_to_science Speaker Bio: Alex Graves completed a BSc in Theoretical Physics at the University of Edinburgh, Part III Maths at the University of Cambridge and a PhD in artificial intelligence at IDSIA with Jürgen Schmidhuber, followed by postdocs at the Technical University of Munich and with Geoff Hinton at the University of Toronto. He is now a research scientist at DeepMind. His contributions include the Connectionist Temporal Classification algorithm for sequence labelling (widely used for commercial speech and handwriting recognition), stochastic gradient variational inference, the Neural Turing Machine / Differentiable Neural Computer architectures, and the A2C algorithm for reinforcement learning. About the lecture series: The Deep Learning Lecture Series is a collaboration between DeepMind and the UCL Centre for Artificial Intelligence. Over the past decade, Deep Learning has evolved as the leading artificial intelligence paradigm providing us with the ability to learn complex functions from raw data at unprecedented accuracy and scale. Deep Learning has been applied to problems in object recognition, speech recognition, speech synthesis, forecasting, scientific computing, control and many more. The resulting applications are touching all of our lives in areas such as healthcare and medical research, human-computer interaction, communication, transport, conservation, manufacturing and many other fields of human endeavour. In recognition of this huge impact, the 2019 Turing Award, the highest honour in computing, was awarded to pioneers of Deep Learning. In this lecture series, research scientists from leading AI research lab, DeepMind, deliver 12 lectures on an exciting selection of topics in Deep Learning, ranging from the fundamentals of training neural networks via advanced ideas around memory, attention, and generative modelling to the important topic of responsible innovation.