DeepMind x UCL | Deep Learning Lectures | 5/12 | Optimalisatie voor machine learning DeepMind x UCL | Deep Learning Lectures | 5/12 | Optimization for Machine Learning

Optimalisatiemethodes zijn de motoren onder neurale netwerken waarmee ze van data kunnen leren. In dit college behandelt DeepMind-research scientist James Martens de basis van op gradiënten gebaseerde optimalisatiemethodes en hun toepassing bij het trainen van neurale netwerken. Belangrijke onderwerpen zijn gradient descent, momentummethodes, tweede-ordemethodes en stochastische methodes. James analyseert deze methodes vanuit het interpretatiekader van lokale tweede-ordebenaderingen. Download de slides hier: https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L5%20-%20UCLxDeepMind%20DL2020.pdf Lees hier meer over hoe DeepMind wetenschap toegankelijker maakt: https://deepmind.com/about#access_to_science Over de spreker: James Martens is research scientist bij DeepMind en werkt aan de fundamenten van deep learning, waaronder optimalisatie, initialisatie en regularisatie. Daarvoor haalde hij zijn BMath aan de University of Waterloo en deed hij zijn master en promotie aan de University of Toronto, onder begeleiding van Geoff Hinton en Rich Zemel. Tijdens zijn promotie hielp hij de interesse in het trainen van diepe neurale netwerken nieuw leven in te blazen, door te laten zien hoe je diepe netwerken effectief kunt trainen met pure optimalisatiemethodes (inmiddels de standaardaanpak). Over de collegereeks: De Deep Learning Lecture Series is een samenwerking tussen DeepMind en het UCL Centre for Artificial Intelligence. In het afgelopen decennium is deep learning uitgegroeid tot het toonaangevende paradigma binnen de kunstmatige intelligentie. Het stelt ons in staat om complexe functies te leren uit ruwe data, met een ongekende nauwkeurigheid en schaal. Deep learning wordt toegepast op objectherkenning, spraakherkenning, spraaksynthese, voorspellingen, wetenschappelijk rekenen, besturing en nog veel meer. De toepassingen die daaruit voortkomen raken ons allemaal: in de zorg en medisch onderzoek, mens-computerinteractie, communicatie, transport, natuurbehoud, productie en talloze andere domeinen. Als erkenning van die enorme impact ging de Turing Award van 2019, de hoogste onderscheiding in de informatica, naar de pioniers van deep learning. In deze collegereeks geven onderzoekers van het toonaangevende AI-onderzoekslab DeepMind 12 colleges over een boeiende selectie van onderwerpen binnen deep learning: van de basis van het trainen van neurale netwerken, via geavanceerde ideeën rond geheugen, attention en generatieve modellen, tot het belangrijke onderwerp van verantwoord innoveren.

Optimization methods are the engines underlying neural networks that enable them to learn from data. In this lecture, DeepMind Research Scientist James Martens covers the fundamentals of gradient-based optimization methods, and their application to training neural networks. Major topics include gradient descent, momentum methods, 2nd-order methods, and stochastic methods. James analyzes these methods through the interpretive framework of local 2nd-order approximations. Download the slides here: https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L5%20-%20UCLxDeepMind%20DL2020.pdf Find out more about how DeepMind increases access to science here: https://deepmind.com/about#access_to_science Speaker Bio: James Martens is a Research Scientist at DeepMind working on the fundamentals of deep learning including optimization, initialization, and regularization. Before that he received his BMath from the University of Waterloo, and did his Masters and PhD at University of Toronto, coadvised by Geoff Hinton and Rich Zemel. During his PhD he helped revive interest in deep neural network training by showing how deep networks could be effectively trained using pure optimization methods (which has now become the standard approach). About the lecture series: The Deep Learning Lecture Series is a collaboration between DeepMind and the UCL Centre for Artificial Intelligence. Over the past decade, Deep Learning has evolved as the leading artificial intelligence paradigm providing us with the ability to learn complex functions from raw data at unprecedented accuracy and scale. Deep Learning has been applied to problems in object recognition, speech recognition, speech synthesis, forecasting, scientific computing, control and many more. The resulting applications are touching all of our lives in areas such as healthcare and medical research, human-computer interaction, communication, transport, conservation, manufacturing and many other fields of human endeavour. In recognition of this huge impact, the 2019 Turing Award, the highest honour in computing, was awarded to pioneers of Deep Learning. In this lecture series, research scientists from leading AI research lab, DeepMind, deliver 12 lectures on an exciting selection of topics in Deep Learning, ranging from the fundamentals of training neural networks via advanced ideas around memory, attention, and generative modelling to the important topic of responsible innovation.