François Chollet is een onderzoeker op het gebied van AI & deep learning, auteur van Keras, een toonaangevend deep-learningframework voor Python, en heeft een nieuw boek uit, Deep Learning with Python. Ter gelegenheid van de release van dit boek had ik het genoegen François via e-mail te interviewen. Neem gerust contact met ons op via @fchollet en @hugobowne.
François, je bent software engineer en onderzoeker op het gebied van kunstmatige intelligentie bij Google. Ik wil meer weten over wat je doet. Maar eerst: wat mensen daadwerkelijk doen en wat men denkt dat ze doen, lopen berucht uit elkaar. Wat denken mensen dat jij doet?
Dat is scherp opgemerkt; er is meestal een discrepantie tussen waar mensen om bekendstaan, waar ze om bekend wíllen staan, en waar ze daadwerkelijk aan werken. In mijn geval ben ik waarschijnlijk het meest bekend als de bedenker van Keras, het deep-learningframework.
Wat doe je daadwerkelijk?
Ik werk bij het Brain-team van Google in Mountain View, waar ik het grootste deel van mijn tijd besteed aan de ontwikkeling van Keras. Dus ik denk dat er een vrij goede overeenkomst is tussen wat ik doe en wat mensen denken dat ik doe.
Ik draag ook bij aan TensorFlow, Google’s machine-learningframework waar Keras mee integreert. Daarnaast doe ik onderzoek naar uiteenlopende onderwerpen. Onlangs heb ik gewerkt aan papers over machinevertaling, computervisie en het toepassen van deep learning op het bewijzen van stellingen. Mijn belangrijkste onderzoeksinteresse is het begrijpen van het probleem van abstractie en redeneren in AI — hoe je van perceptie naar abstracte, sterk generaliseerbare modellen gaat.
Je bent bekend als auteur van het Keras-pakket, een open-source neuraal netwerk voor deep learning in Python: wat is deep learning?
Deep learning is een specifieke benadering van machine learning, die veel krachtiger en flexibeler is gebleken dan eerdere benaderingen. In de meeste toepassingen kun je wat we "deep learning" noemen zien als een manier om veel door mensen geannoteerde data om te zetten in een stuk software dat nieuwe data automatisch kan annoteren op een manier die lijkt op wat mensen zouden doen. Op die manier kun je veel verschillende taken automatiseren. Deep learning is vooral goed in het doorgronden van "perceptuele" data, zoals afbeeldingen, video’s of geluid.
Hier is een concreet voorbeeld. Stel je een grote verzameling foto’s voor, met bij elke foto een aantal tags ("hond", "kat", enz.). Deep learning stelt je in staat je data automatisch om te zetten in een systeem dat "begrijpt" hoe het de foto’s aan de tags moet koppelen, lerend uitsluitend van voorbeelden, zonder handmatig bijstellen of maatwerkengineering. Zo’n systeem kan vervolgens op nieuwe data worden toegepast en automatiseert effectief de taak van foto’s taggen.
Op dezelfde manier kun je deep learning toepassen op een breed scala aan problemen, zoals machinevertaling, spraakherkenning, tekst-naar-spraak, optische tekenherkenning, enzovoort.
Gefeliciteerd met je nieuwe boek, Deep Learning with Python. Waarom heb je dit boek geschreven?
Dit boek is mijn poging om een leerlijn op te zetten om deep learning te onderwijzen aan iemand met Python-vaardigheden maar zonder achtergrond in machine learning. Ik probeer deep learning zo toegankelijk mogelijk te maken, zonder ook maar iets te versimpelen. Dat blijkt mogelijk, want voor het grootste deel zitten er geen moeilijke ideeën in deep learning.
Python is waarschijnlijk de snelst groeiende programmeertaal, in ieder geval in hoge-inkomenslanden. Waarom Python, zowel voor jou als voor de bredere programmeergemeenschap?
Ik hou van Python. Het is gemakkelijk op te pikken en het wordt steeds productiever naarmate je het langer gebruikt, ongeacht hoe lang je ermee bezig bent. Het voelt heel intuïtief en elegant vergeleken met de meeste andere talen die ik heb gebruikt. Maar de echte killerfeature van Python zit niet in de taal zelf; het is het omliggende ecosysteem en de community. Wat je ook moet doen — een specifiek bestandsformaat parsen, koppelen aan een specifiek systeem — er is vrijwel zeker een Python-bibliotheek voor, zodat je geen tijd hoeft te besteden aan het zelf implementeren. Dit geldt zeker voor data science en machine learning: er zijn veel geweldige tools — numpy, pandas, scikit-learn, plottingbibliotheken, enz. Dat maakt Python een zeer productieve taal.
Ook vind ik het fijn dat Python geen domeinspecifieke taal is, maar juist op het kruispunt zit van meerdere domeinen, van webdevelopment tot data science en systeembeheer. Dat betekent dat je niet hoeft over te stappen op een nieuwe taal om je Keras-modellen bijvoorbeeld als een web-API uit te rollen. Wat je ook moet doen — een webapp starten, een REST-API bevragen, wat bestanden parsen, state-of-the-art deep-learningmodellen trainen — Python is over het algemeen een heel solide keuze.
Er is een vermeende drempel voor mensen die de disciplines van machine learning en kunstmatige intelligentie willen betreden. Wat zijn jouw gedachten over de democratisering van de benodigde vaardigheden en technieken?
Dat denk ik niet. Instappen in machine learning is de afgelopen 5 jaar extreem makkelijk geworden. Vijf tot zeven jaar geleden was het inderdaad lastig. Je had waarschijnlijk een master of promotie nodig. Je moest veel low-level algoritmes zelf schrijven, meestal in C++ of Matlab. Dat heb ik ook gedaan. Tegenwoordig is het anders. Je hebt alleen Python nodig, wat veel makkelijker is om op te pikken, en je hebt toegang tot high-level en gebruiksvriendelijke tools zoals Keras. Bovendien kun je leren van heel veel hoogwaardige bronnen online, en kun je oefenen op realistische problemen op Kaggle. Leren is nog nooit zo makkelijk geweest.
Dus op dit punt kun je gewoon, pakweg, mijn boek erbij nemen, Keras installeren, een paar Kaggle-challenges doen, en na een paar maanden ben je behoorlijk productief met machine learning en deep learning op praktische problemen.
Hoe passen Keras en je nieuwe boek in deze filosofie?
Toen ik Keras aanvankelijk uitbracht, probeerde ik deep learning niet per se te democratiseren. Maar na verloop van tijd zag ik ontelbaar veel mensen via Keras met deep learning aan de slag gaan en het gebruiken om een grote verscheidenheid aan problemen op te lossen, op manieren die ik niet had verwacht, en dat fascineert me enorm. Ik ben me gaan realiseren dat deep learning op transformerende manieren kan worden ingezet in veel meer domeinen dan mensen in Silicon Valley vermoeden. Er zijn zó veel mensen die kunnen profiteren van deep learning in hun werk. Daardoor ben ik het steeds belangrijker gaan vinden om deze technologieën voor zoveel mogelijk mensen beschikbaar te maken, en dat is de belangrijkste ontwerpdoelstelling van Keras geworden. Dat is de enige manier waarop we AI volledig kunnen benutten — door het breed beschikbaar te maken.
Mijn boek is een poging om nog een stap in dezelfde richting te zetten: ik probeer zoveel mogelijk mensen goed aan boord te krijgen bij deep learning, zodat ze het kunnen gebruiken om de problemen op te lossen waarmee ze vertrouwd zijn en waarvan ik niet eens vermoed dat ze bestaan. Het is niet genoeg om alleen gebruiksvriendelijke tools te bieden; je moet ook leermateriaal aanbieden om mensen te leren hoe ze die tools moeten gebruiken.
Wat zijn de belangrijkste dingen voor beginners om te leren? Hoe kunnen ze dat doen?
Het belangrijkste is waarschijnlijk een gevoel te krijgen voor wat deep learning wel en niet kan. Dat, en gevoel krijgen voor cruciale best practices, zoals hoe je modellen goed evalueert en hoe je overfitting tegengaat. Dit vereist een combinatie van formele uitleg en veel oefening op realistische problemen.
Kunstmatige intelligentie is voor veel mensen een term die doet denken aan bewuste robots. We zien koppen als: 'Google-AI creëert zijn eigen 'kind'-AI die geavanceerder is dan systemen die door mensen zijn gebouwd'. Ik heb je hulp nodig om te demystificeren wat AI eigenlijk is. Waartoe is kunstmatige intelligentie in staat?
Er is zeker veel hype in het veld. Het grootste deel van de berichtgeving in de media over AI en deep learning staat dramatisch los van de realiteit — zowel de doemverhalen als de verhalen over hoe AI alles fantastisch gaat maken.
Wat AI vandaag de dag kan, is een lastige vraag. Ik zou zeggen dat er drie categorieën zijn van dingen die AI kan doen:
- Taken uitvoeren waarvoor we volledig en expliciet de regels kunnen specificeren die de AI moet volgen. Dit is in essentie wat bekendstaat als "symbolische AI", of, pragmatischer, "softwareontwikkeling". Zoals iedereen die ooit heeft geprogrammeerd weet, is deze aanpak kwetsbaar en werkt het alleen in omgevingen waar alles onder controle is — wat in realistische problemen zelden het geval is.
- Eenvoudige perceptie- en intuïtietaken uitvoeren waarvoor we de regels niet expliciet kunnen specificeren, maar wel veel voorbeelden van de taak kunnen geven. Dit omvat al het deep learning: afbeeldingen classificeren, spraak transcriberen, enz. Een belangrijke beperking van onze mogelijkheden op dit vlak is dat onze modellen alleen input aankunnen die extreem dicht ligt bij wat ze eerder hebben gezien — je kunt niet ver van je trainingsdata afdwalen. Wat we hier doen is in feite veredelde hoog-dimensionale curve fitting.
- Tamelijk naïeve combinaties van het bovenstaande. Je zou bijvoorbeeld een robot kunnen bedenken met een deep-learningmodule die het type en de positie van een aantal objecten in zijn omgeving kan extraheren, getraind op veel voorbeelden, gekoppeld aan een module die hoog-niveau regels voor het manipuleren van deze objecten hardcodeert. Een ander voorbeeld is AlphaGo/AlphaZero, wat in feite een combinatie is van brute-force zoeken (expliciete programmering) met een deep-learningmodule die, getraind op veel partijen, de waarde van een bordpositie "intuïtief" kan inschatten.
Als je de huidige technieken maximaal benut, kun je op veel belangrijke taken bovenmenselijke prestaties leveren, en op nog veel meer taken behoorlijke prestaties. Maar dat kan alleen in zeer smalle settings. En, misschien contra-intuïtief, er is geen echte route van heel goed zijn in veel verschillende verticale taken naar het hebben van de algemene intelligentie en het gezond verstand van zelfs een peuter — laat staan diens leer- en aanpassingsvermogen.
Dat gezegd hebbende: heel goed zijn in veel zeer beperkte taken is transformerend voor de meeste industrieën. Je kunt dus verwachten dat AI de komende 20 jaar veel economische impact heeft. Je kunt AI zien als de stoommachine van onze tijd — een zeer krachtig gereedschap in mensenhanden, dat het economisch landschap in de loop van enkele decennia zal hervormen. Maar geen bewuste robots in zicht.
Waartoe is kunstmatige intelligentie níet in staat?
Van alles wat we mogelijk zouden willen automatiseren, kan AI vandaag de dag slechts een zeer kleine subset aan. Er zijn veel meer dingen die we niet kunnen dan dingen die we wel kunnen.
In het algemeen zijn we vooral slecht in:
- Alles wat "grounding" of "begrip" vereist. AI kan bijvoorbeeld de betekenis van natuurlijke taal niet begrijpen; in plaats daarvan behandelt het taal in termen van statistische afhankelijkheden of hardgecodeerde verwerkingsregels. "Betekenis", zoals die in de menselijke geest bestaat, komt voort uit belichaamde menselijke ervaring, waar onze AI-modellen geen toegang toe hebben. Voorlopig althans. Dus geen enkel AI-systeem van vandaag kan zijn taak "begrijpen" op een manier die voor een mens logisch is. Modellen brengen slechts het statistische manifold van hun trainingsdata in kaart.
- Alles wat te maken heeft met het omgaan met data die afwijkt van wat de AI eerder heeft gezien. AI kan alleen regels toepassen die je expliciet hebt gecodeerd, of dingen herkennen die heel, héél dicht liggen bij waarop het is getraind. Onze capaciteiten nemen exponentieel af naarmate je meer onzekerheid of variatie in een taak introduceert.
- Alles wat redeneren en abstractie omvat. Ofwel we kunnen expliciete redeneerregels in de machine hardcoderen, of we kunnen helemaal niet redeneren. Huidige AI kan niet op eigen kracht abstracte modellen van een situatie bedenken. Dit is vermoedelijk de belangrijkste bottleneck voor AI-ontwikkeling vandaag. Als je dit oplost, kun je de vorige twee snel overwinnen.
Ik heb hierover en aanverwante kwesties een blogpost geschreven met de titel The limitations of deep learning.
Wat zijn de grootste uitdagingen voor de deep-learninggemeenschap?
Hype bestrijden, ethisch bewustzijn ontwikkelen en wetenschappelijke strengheid vergroten.
Hype: dit teistert ons veld. Sommige mensen hypen recente vooruitgang op belachelijke wijze, oversellen onze huidige capaciteiten enorm en suggereren vaak dat menselijk niveau om de hoek ligt — wat niet zo is. Als we torenhoge verwachtingen scheppen en die vervolgens niet waarmaken, keren we mensen tegen ons. Bovendien is het gewoon intellectueel oneerlijk en giftig voor het publieke debat.
Ethiek: de meeste mensen die vandaag AI-systemen uitrollen, komen niet uit een bijzonder diverse achtergrond en zijn zich vaak zalig onbewust van de ethische implicaties en schadelijke neveneffecten van de systemen die ze bouwen. Dit is een groot probleem, omdat deze mensen steeds meer macht over anderen zullen krijgen. We moeten deze kwesties meer bespreken en het bewustzijn vergroten van mogelijke onethische toepassingen van AI, of het nu gaat om bevooroordeelde voorspellende modellen die invloed hebben op mensenlevens, AI die wordt toegepast op zeer twijfelachtige plekken, of AI die wordt gebruikt om ons gedrag en onze meningen op gevaarlijke manieren te manipuleren.
Wetenschap: er verschijnen elke dag massa’s deep-learningpapers, en de meeste leveren eigenlijk geen betekenisvolle nieuwe kennis op, omdat ze de wetenschappelijke methode niet volgen. Ze "evalueren" modellen op vage manieren, of testen overfitte modellen op hun trainingsdata (dit geldt vooral voor generatieve modellen en reinforcement learning, twee van de snelst groeiende onderwerpen in deep-learningonderzoek), cherry-picken resultaten, gebruiken kunstmatig zwakke baselines, stemmen hyperparameters af op een manier die leidt tot overfitting op een specifieke taak, evalueren modellen alleen op MNIST, enzovoort. Deep learning is een wetenschappelijke rampenzone. Peer review pakt deze problemen vaak niet op een zinvolle manier aan, mogelijk deels omdat de meeste peer reviewers doorgaans pas een jaar of twee in het veld zitten (aangezien het veld exponentieel groeit). Als we sneller vooruitgang willen boeken, moeten we in het veld hogere verwachtingen van strengheid injecteren, als het gaat om reproduceerbaarheid van onderzoek, baselines, modelevaluatie en statistische significantie. Ons huidige beloningssysteem is helaas anti-wetenschappelijk — we belonen publiceren, en helaas is het makkelijker om te publiceren als je je onderzoek complex & mysterieus laat klinken terwijl je het onmogelijk maakt om de betekenis ervan goed te evalueren.
Hoe ziet de toekomst van deep learning er volgens jou uit?
Ik heb hier eigenlijk een blogpost over geschreven. Samengevat verwacht ik dat AI steeds meer "intuïtieve" patroonherkenningsmodules zal mengen met formele redeneermodules. Ook verwacht ik dat AI zich zal ontwikkelen tot iets dat meer lijkt op een vorm van geautomatiseerde softwareontwikkeling, waarbij veel patronen en praktijken worden overgenomen die we vandaag in software-engineering zien.
Je bent niet alleen ontwikkelaar. Op de Keras-blog, in essays, in je boek en op Twitter ben je bedachtzaam en uitgesproken over ethische kwesties rond deep learning, AI en technologie in het algemeen. Denk je dat ontwikkelaars een verplichting hebben om zich met ethische overwegingen rond hun werk bezig te houden?
Zeker. Ik denk dat dit de afgelopen jaren ontbrak in het algemene techlandschap. Kijk naar Facebook, bijvoorbeeld. Of naar de meeste smartphonegames. Technologie is nooit neutraal — omdat het krachtig is, omdat het ons leven beïnvloedt. De manier waarop je producten en technologie ontwerpt, injecteert er actief waarden in, of je je daar nu van bewust bent of niet. Dus kun je het maar beter doelbewust doen. Als je een socialemediaplatform bouwt en probeert "engagement" te maximaliseren, is dat een ethisch beladen beslissing, met belangrijke implicaties. Ofwel we geven erom en maken ethiek tot een expliciet ontwerpdoel van de technologie en machtsstructuren die we bouwen, of we geven onze waarden uit handen. Als je in tech zit, kun je niet kiezen om "aan de zijlijn" te staan; dat is een illusie.
