DeepMind x UCL | Deep Learning Lectures | 10/12 | Unsupervised representation learning DeepMind x UCL | Deep Learning Lectures | 10/12 | Unsupervised Representation Learning

Unsupervised learning is een van de drie grote takken van machine learning (naast supervised learning en reinforcement learning). Het is ook misschien wel de minst ontwikkelde tak. Het doel is een zo beknopt mogelijke beschrijving van de inputdata te vinden door de verborgen structuren erin bloot te leggen en te benutten. Dat zou meer lijken op hoe het brein leert dan supervised learning. Bovendien is de hypothese dat de representaties die unsupervised learning ontdekt veel bekende problemen van deep supervised learning en reinforcement learning kunnen verlichten. Maar zonder een expliciet ground-truth-doel om naartoe te optimaliseren, gaat de vooruitgang in unsupervised learning langzaam. In deze talk geven DeepMind-research scientist Irina Higgins en DeepMind-research engineer Mihaela Rosca een overzicht van de historische rol van unsupervised representation learning en van de moeilijkheden bij het ontwikkelen en evalueren van zulke algoritmes. Daarna kijken ze vanuit meerdere disciplines naar wat een goede representatie zou kunnen zijn en waarom, gevolgd door een breed overzicht van de huidige state-of-the-art-methodes voor unsupervised representation learning. Download de slides hier: https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L10%20-%20UCLxDeepMind%20DL2020.pdf Lees hier meer over hoe DeepMind wetenschap toegankelijker maakt: https://deepmind.com/about#access_to_science Over de sprekers: Irina is research scientist bij DeepMind, waar ze in het Frontiers-team werkt. Met haar werk wil ze inzichten uit de neurowetenschappen en de natuurkunde samenbrengen om algemene kunstmatige intelligentie verder te helpen via betere representation learning. Voordat ze bij DeepMind kwam, won Irina de British Psychological Society Undergraduate Award voor haar prestaties als bachelorstudent Experimentele Psychologie aan Westminster University. Daarna volgde een DPhil aan het Oxford Centre for Computational Neuroscience and Artificial Intelligence, waar ze zich richtte op de computationele principes achter spraakverwerking in het auditieve brein. Tijdens haar DPhil werkte Irina ook aan poker-AI, paste ze machine learning toe in de financiële sector en werkte ze aan spraakherkenning bij Google Research. Mihaela Rosca is research engineer bij DeepMind en promovenda aan UCL. Ze richt zich op onderzoek naar generatieve modellen en probabilistisch modelleren, van variationele inferentie tot generative adversarial networks en reinforcement learning. Voordat ze bij DeepMind kwam, werkte ze bij Google aan het oplossen van taken in natuurlijke taalverwerking met deep learning. Ze heeft een MEng in Computing van Imperial College London. Over de collegereeks: De Deep Learning Lecture Series is een samenwerking tussen DeepMind en het UCL Centre for Artificial Intelligence. In het afgelopen decennium is deep learning uitgegroeid tot het toonaangevende paradigma binnen de kunstmatige intelligentie. Het stelt ons in staat om complexe functies te leren uit ruwe data, met een ongekende nauwkeurigheid en schaal. Deep learning wordt toegepast op objectherkenning, spraakherkenning, spraaksynthese, voorspellingen, wetenschappelijk rekenen, besturing en nog veel meer. De toepassingen die daaruit voortkomen raken ons allemaal: in de zorg en medisch onderzoek, mens-computerinteractie, communicatie, transport, natuurbehoud, productie en talloze andere domeinen. Als erkenning van die enorme impact ging de Turing Award van 2019, de hoogste onderscheiding in de informatica, naar de pioniers van deep learning. In deze collegereeks geven onderzoekers van het toonaangevende AI-onderzoekslab DeepMind 12 colleges over een boeiende selectie van onderwerpen binnen deep learning: van de basis van het trainen van neurale netwerken, via geavanceerde ideeën rond geheugen, attention en generatieve modellen, tot het belangrijke onderwerp van verantwoord innoveren.

Unsupervised learning is one of the three major branches of machine learning (along with supervised learning and reinforcement learning). It is also arguably the least developed branch. Its goal is to find a parsimonious description of the input data by uncovering and exploiting its hidden structures. This is presumed to be more reminiscent of how the brain learns compared to supervised learning. Furthermore, it is hypothesised that the representations discovered through unsupervised learning may alleviate many known problems with deep supervised and reinforcement learning. However, lacking an explicit ground truth goal to optimise towards, developmental progress in unsupervised learning has been slow. In this talk DeepMind Research Scientist Irina Higgins and DeepMind Research Engineer Mihaela Rosca give an overview the historical role of unsupervised representation learning and difficulties with developing and evaluating such algorithms. They then take a multidisciplinary approach to think about what might make a good representation and why, before doing a broad overview of the current state of the art approaches to unsupervised representation learning. Download the slides here: https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L10%20-%20UCLxDeepMind%20DL2020.pdf Find out more about how DeepMind increases access to science here: https://deepmind.com/about#access_to_science Speaker Bios: Irina is a research scientist at DeepMind, where she works in the Frontiers team. Her work aims to bring together insights from the fields of neuroscience and physics to advance general artificial intelligence through improved representation learning. Before joining DeepMind, Irina was a British Psychological Society Undergraduate Award winner for her achievements as an undergraduate student in Experimental Psychology at Westminster University, followed by a DPhil at the Oxford Centre for Computational Neuroscience and Artificial Intelligence, where she focused on understanding the computational principles underlying speech processing in the auditory brain. During her DPhil, Irina also worked on developing poker AI, applying machine learning in the finance sector, and working on speech recognition at Google Research. Mihaela Rosca is a Research Engineer at DeepMind and PhD student at UCL, focusing on generative models research and probabilistic modelling, from variational inference to generative adversarial networks and reinforcement learning. Prior to joining DeepMind, she worked for Google on using deep learning to solve natural language processing tasks. She has an MEng in Computing from Imperial College London. About the lecture series: The Deep Learning Lecture Series is a collaboration between DeepMind and the UCL Centre for Artificial Intelligence. Over the past decade, Deep Learning has evolved as the leading artificial intelligence paradigm providing us with the ability to learn complex functions from raw data at unprecedented accuracy and scale. Deep Learning has been applied to problems in object recognition, speech recognition, speech synthesis, forecasting, scientific computing, control and many more. The resulting applications are touching all of our lives in areas such as healthcare and medical research, human-computer interaction, communication, transport, conservation, manufacturing and many other fields of human endeavour. In recognition of this huge impact, the 2019 Turing Award, the highest honour in computing, was awarded to pioneers of Deep Learning. In this lecture series, research scientists from leading AI research lab, DeepMind, deliver 12 lectures on an exciting selection of topics in Deep Learning, ranging from the fundamentals of training neural networks via advanced ideas around memory, attention, and generative modelling to the important topic of responsible innovation.