François Chollet ist KI- und Deep-Learning-Forscher, Autor von Keras, einem führenden Deep-Learning-Framework für Python, und hat ein neues Buch veröffentlicht: Deep Learning with Python. Anlässlich der Veröffentlichung hatte ich das Vergnügen, François per E-Mail zu interviewen. Melde dich gern bei uns auf @fchollet und @hugobowne.
François, du bist Softwareingenieur und Forscher für Künstliche Intelligenz bei Google. Ich möchte mehr darüber erfahren, was du tust. Aber zuerst: Zwischen dem, was Menschen tatsächlich tun, und dem öffentlichen Bild davon klafft oft eine Lücke. Was denken die Leute, was du tust?
Das ist eine treffende Beobachtung, denn meist unterscheiden sich das, wofür man bekannt ist, das, wofür man bekannt sein möchte, und das, woran man tatsächlich arbeitet. In meinem Fall bin ich wahrscheinlich am besten dafür bekannt, Keras, das Deep-Learning-Framework, entwickelt zu haben.
Was machst du tatsächlich?
Ich arbeite im Brain-Team bei Google in Mountain View und verbringe den Großteil meiner Zeit mit der Weiterentwicklung von Keras. Insofern gibt es eine ziemlich gute Übereinstimmung zwischen dem, was ich tue, und dem, was die Leute denken, was ich tue.
Außerdem trage ich zu TensorFlow bei, Googles Machine-Learning-Framework, in das Keras integriert ist. Daneben forsche ich zu verschiedenen Themen. Zuletzt habe ich an Arbeiten zu maschineller Übersetzung, Computer Vision und dem Einsatz von Deep Learning beim Beweisen von Theoremen gearbeitet. Mein zentrales Forschungsinteresse gilt dem Problem von Abstraktion und Schlussfolgern in der KI – also wie man von Wahrnehmung zu abstrakten, stark generalisierbaren Modellen gelangt.
Du bist als Autor des Keras-Pakets bekannt, einem Open-Source-Neuronalen Netz für Deep Learning in Python: Was ist Deep Learning?
Deep Learning ist ein spezieller Ansatz im maschinellen Lernen, der sich als deutlich leistungsfähiger und flexibler erwiesen hat als frühere Ansätze. In den meisten Anwendungen kann man „Deep Learning“ als eine Methode verstehen, um große, von Menschen annotierte Datenmengen in ein Stück Software zu verwandeln, das neue Daten automatisch in ähnlicher Weise annotieren kann wie Menschen. So lassen sich viele unterschiedliche Aufgaben automatisieren. Besonders gut ist Deep Learning darin, „wahrnehmungsnahe“ Daten wie Bilder, Videos oder Ton zu verstehen.
Hier ein konkretes Beispiel. Stell dir eine große Sammlung von Bildern vor, zu denen jeweils Tags wie „Hund“, „Katze“ usw. vorliegen. Deep Learning ermöglicht es, diese Daten automatisch in ein System zu überführen, das „versteht“, wie man Bilder den passenden Tags zuordnet – rein aus Beispielen gelernt, ohne manuelles Feintuning oder Spezialentwicklung. Ein solches System lässt sich dann auf neue Daten anwenden und automatisiert effektiv das Taggen von Bildern.
Auf die gleiche Weise kannst du Deep Learning auf eine Vielzahl von Problemen anwenden, etwa maschinelle Übersetzung, Spracherkennung, Text-to-Speech, optische Zeichenerkennung usw.
Glückwunsch zu deinem neuen Buch, Deep Learning with Python. Warum hast du es geschrieben?
Das Buch ist mein Versuch, ein Lernprogramm zu entwickeln, das Deep Learning für Menschen mit Python-Kenntnissen, aber ohne Hintergrund im maschinellen Lernen vermittelt. Ich möchte Deep Learning so zugänglich wie möglich machen, ohne Inhalte zu verwässern. Das ist machbar, denn größtenteils gibt es im Deep Learning keine unverständlich schweren Ideen.
Python ist wohl die am schnellsten wachsende Programmiersprache, zumindest in wohlhabenden Ländern. Warum Python – für dich und die Programmiercommunity insgesamt?
Ich liebe Python. Der Einstieg ist leicht, und je länger du damit arbeitest, desto produktiver wirst du. Im Vergleich zu vielen anderen Sprachen wirkt es sehr intuitiv und elegant. Das eigentliche Killerfeature von Python liegt aber nicht in der Sprache selbst, sondern im Ökosystem und in der Community. Was auch immer du tun musst – ein spezielles Dateiformat parsen, eine bestimmte Schnittstelle anbinden – es gibt mit hoher Wahrscheinlichkeit bereits eine Python-Bibliothek, die das übernimmt. Du musst es nicht selbst implementieren. Das gilt besonders für Data Science und Machine Learning: numpy, pandas, scikit-learn, Plotting-Bibliotheken usw. machen Python extrem produktiv.
Außerdem gefällt mir, dass Python keine domänenspezifische Sprache ist, sondern an der Schnittstelle vieler Bereiche sitzt – von Webentwicklung über Data Science bis zur Systemadministration. Das heißt, du musst zum Beispiel nicht die Sprache wechseln, um deine Keras-Modelle als Web-API bereitzustellen. Egal ob du eine Webapp starten, eine REST-API abfragen, Dateien parsen oder State-of-the-Art-Deep-Learning-Modelle trainieren willst: Python ist in der Regel eine sehr solide Wahl.
Es gibt eine vermeintliche Einstiegshürde für alle, die in maschinelles Lernen und KI-Entwicklung einsteigen wollen. Wie siehst du die Demokratisierung der dafür nötigen Kompetenzen und Techniken?
Das sehe ich nicht so. In den letzten fünf Jahren ist der Einstieg in maschinelles Lernen extrem leicht geworden. Vor 5–7 Jahren war es sicher noch hart. Man brauchte meist ein weiterführendes Studium. Man musste viele Low-Level-Algorithmen selbst schreiben, typischerweise in C++ oder Matlab. Das habe ich auch durchgemacht. Heute ist es anders. Du brauchst nur Python, das viel leichter zu lernen ist, und hast Zugriff auf hochgradig abstrahierende, einfach zu nutzende Tools wie Keras. Außerdem kannst du aus vielen hochwertigen Online-Ressourcen lernen und auf Kaggle an realen Problemen üben. Lernen war noch nie so einfach.
Heute kannst du dir einfach mein Buch schnappen, Keras installieren, ein paar Kaggle-Challenges machen, und nach ein paar Monaten bist du bei praktischen Problemen im maschinellen Lernen und Deep Learning schon ziemlich produktiv.
Wie zahlen Keras und dein neues Buch auf diese Philosophie ein?
Als ich Keras anfangs veröffentlicht habe, wollte ich Deep Learning nicht speziell demokratisieren. Mit der Zeit habe ich jedoch unzählige Menschen gesehen, die über Keras ins Deep Learning eingestiegen sind und damit eine große Vielfalt an Problemen gelöst haben – auf Arten, mit denen ich nicht gerechnet hätte. Das hat mich fasziniert. Mir wurde klar, dass sich Deep Learning in weit mehr Domänen transformativ einsetzen lässt, als viele im Silicon Valley vermuten. Es gibt einfach sehr viele Menschen, die in ihrer Arbeit von Deep Learning profitieren könnten. Daher ist mir wichtig geworden, diese Technologien so vielen Menschen wie möglich zugänglich zu machen – das ist zum zentralen Designziel von Keras geworden. Nur so können wir KI in ihrem vollen Potenzial einsetzen – indem wir sie breit verfügbar machen.
Mein Buch ist der nächste Schritt in die gleiche Richtung: Ich möchte so viele Menschen wie möglich sinnvoll in Deep Learning onboarden, damit sie es nutzen können, um die Probleme zu lösen, die sie kennen – von denen ich teilweise nicht einmal weiß, dass es sie gibt. Es reicht nicht, nur benutzerfreundliche Tools bereitzustellen. Man braucht auch Lernmaterial, das zeigt, wie man diese Tools richtig verwendet.
Was sind die wichtigsten Dinge, die Einsteiger lernen sollten? Und wie?
Am wichtigsten ist wahrscheinlich, ein Gefühl dafür zu bekommen, was Deep Learning kann – und was nicht. Dazu gehören auch Best Practices, etwa wie man Modelle richtig evaluiert und Overfitting bekämpft. Das erfordert eine Mischung aus fundierten Erklärungen und viel Praxis an realen Problemen.
„Künstliche Intelligenz“ weckt bei vielen die Assoziation an fühlende Roboter. Wir lesen Schlagzeilen wie „Google AI erschafft eigene ‚Kind‘-KI, die fortschrittlicher ist als von Menschen gebaute Systeme“. Hilf mir, zu entmystifizieren, was KI tatsächlich ist. Wozu ist Künstliche Intelligenz fähig?
Es gibt definitiv viel Hype in diesem Feld. Ein Großteil der Medienberichterstattung über KI und Deep Learning ist dramatisch von der Realität entkoppelt – sowohl die Schreckensszenarien als auch die Heilsversprechen.
Was KI heute kann, ist schwer pauschal zu beantworten. Ich würde sagen, es gibt drei Kategorien von Dingen, die KI leisten kann:
- Aufgaben, bei denen wir die Regeln, denen die KI folgen soll, vollständig und explizit angeben können. Das ist im Wesentlichen das, was als „symbolische KI“ bekannt ist – oder pragmatischer gesagt: „Softwareentwicklung“. Wie jede Person mit Programmiererfahrung weiß, ist dieser Ansatz fragil und funktioniert nur in Umgebungen, in denen fast alles unter Kontrolle ist – was bei realen Problemen selten der Fall ist.
- Einfache Wahrnehmungs- und Intuitionsaufgaben, bei denen wir keine expliziten Regeln angeben können, aber viele Beispiele bereitstellen können. Dazu gehört das gesamte Deep Learning: Bilder klassifizieren, Sprache transkribieren usw. Eine wichtige Einschränkung dabei ist, dass unsere Modelle nur Eingaben verarbeiten können, die den Trainingsdaten extrem ähnlich sind – man kann sich nicht weit vom Gelernten entfernen. Im Kern ist das, was wir hier tun, stark hochdimensionale Kurvenanpassung.
- Relativ naive Kombinationen aus beidem. Man kann sich zum Beispiel einen Roboter vorstellen, der ein Deep-Learning-Modul besitzt, das aus vielen Beispielen gelernt hat, Objekttypen und -positionen in seiner Umgebung zu extrahieren, gekoppelt mit einem Modul, das hochstufige Regeln für die Manipulation dieser Objekte hartcodiert. Ein weiteres Beispiel ist AlphaGo/AlphaZero – im Grunde eine Kombination aus Brute-Force-Suche (explizites Programmieren) und einem Deep-Learning-Modul, das auf vielen Partien trainiert wurde und den Wert einer Brettstellung „intuitiv“ bewertet.
Wenn man aktuelle Techniken voll ausreizt, ist auf vielen wichtigen Aufgaben eine übermenschliche Performance möglich – und in vielen weiteren zumindest eine solide Leistung. Das gilt jedoch nur in sehr engen Einsatzbereichen. Und – vielleicht kontraintuitiv – es gibt keinen echten Pfad von „sehr gut in vielen vertikalen Einzelaufgaben“ hin zu der allgemeinen Intelligenz und dem gesunden Menschenverstand selbst eines Kleinkinds – ganz zu schweigen von dessen Lern- und Anpassungsfähigkeit.
Gleichzeitig ist es für die meisten Branchen transformativ, in vielen sehr eng umrissenen Aufgabenbereichen wirklich gut zu sein. Daher wird KI in den nächsten 20 Jahren wirtschaftlich enorm viel bewirken. Du kannst KI als die Dampfmaschine unserer Zeit verstehen – ein sehr mächtiges Werkzeug in der Hand des Menschen, das die Wirtschaftslandschaft über Jahrzehnte prägen wird. Aber fühlende Roboter sind nicht in Sicht.
Wozu ist Künstliche Intelligenz nicht fähig?
Von all den Dingen, die wir gern automatisieren würden, kann KI heute nur einen sehr kleinen Teil abdecken. Es gibt weit mehr, was wir nicht können, als was wir können.
Im Allgemeinen sind wir besonders schlecht bei:
- Allem, was „Grounding“ oder „Verstehen“ erfordert. KI versteht zum Beispiel nicht die Bedeutung natürlicher Sprache, sondern behandelt Sprache in Form statistischer Abhängigkeiten oder fest kodierter Verarbeitungsregeln. „Bedeutung“, wie sie im menschlichen Geist existiert, entsteht aus verkörperter menschlicher Erfahrung – darauf haben unsere KI-Modelle keinen Zugriff. Zumindest derzeit. Kein heutiges KI-System kann seine Aufgabe in einer Weise „verstehen“, die für Menschen Sinn ergäbe. Modelle kartieren lediglich die statistische Mannigfaltigkeit ihrer Trainingsdaten.
- Allem, das den Umgang mit Daten erfordert, die sich von den bisher gesehenen unterscheiden. KI kann nur explizit kodierte Regeln anwenden oder Dinge erkennen, die dem Training extrem ähnlich sind. Unsere Fähigkeiten brechen exponentiell ein, je mehr Unsicherheit oder Varianz du in eine Aufgabe einführst.
- Allem, was Schlussfolgern und Abstraktion beinhaltet. Entweder wir kodieren explizite Schlussregelwerke in die Maschine, oder es findet gar kein Schlussfolgern statt. Aktuelle KI kann nicht eigenständig abstrakte Modelle einer Situation entwickeln. Das ist wohl die zentrale Engstelle der heutigen KI-Entwicklung. Würde man sie lösen, ließen sich die beiden vorherigen Punkte rasch überwinden.
Ich habe dazu einen Blogpost mit dem Titel The limitations of deep learning geschrieben.
Was sind die größten Herausforderungen für die Deep-Learning-Community?
Hype bekämpfen, ethisches Bewusstsein entwickeln und wissenschaftliche Strenge gewinnen.
Hype: Er plagt unser Feld. Manche überhöhen die jüngsten Fortschritte in absurd überzogener Weise, verkaufen unsere aktuellen Fähigkeiten maßlos und stellen allgemeine Menschenähnlichkeit gern als greifbar dar – was sie nicht ist. Wenn wir Erwartungen ins Unermessliche treiben und sie dann nicht erfüllen, wenden sich Menschen gegen uns. Außerdem ist es intellektuell unredlich und vergiftet die öffentliche Debatte.
Ethik: Die meisten, die heute KI-Systeme entwickeln, kommen nicht aus besonders diversen Hintergründen und sind sich der ethischen Implikationen und potenziell schädlichen Nebenwirkungen ihrer Systeme oft nicht bewusst. Das ist ein großes Problem, denn diese Menschen werden zunehmend Macht über andere ausüben. Wir müssen diese Themen stärker diskutieren und das Bewusstsein für mögliche unethische Anwendungen von KI schärfen – seien es voreingenommene Vorhersagemodelle mit Auswirkungen auf Menschenleben, der Einsatz von KI an fragwürdigen Orten oder die Manipulation unseres Verhaltens und unserer Meinungen auf gefährliche Weise.
Wissenschaft: Täglich erscheinen Unmengen an Deep-Learning-Papers, und viele davon tragen wenig zu neuem Wissen bei, weil sie nicht der wissenschaftlichen Methode folgen. Sie „evaluieren“ Modelle unscharf oder testen überangepasste Modelle auf ihren Trainingsdaten (besonders bei generativen Modellen und Reinforcement Learning – zwei stark wachsenden Themen), picken Ergebnisse heraus, setzen künstlich schwache Baselines, stimmen Hyperparameter so ab, dass eine Überanpassung an eine spezielle Aufgabe entsteht, evaluieren nur auf MNIST usw. Deep Learning ist in weiten Teilen ein wissenschaftliches Katastrophengebiet. Peer Review adressiert diese Probleme oft kaum – vielleicht auch, weil viele Gutachter erst seit ein, zwei Jahren im Feld sind (das Feld wächst exponentiell). Wenn wir schneller vorankommen wollen, brauchen wir höhere Erwartungen an Strenge – bei Reproduzierbarkeit, Baselines, Modellevaluation und statistischer Signifikanz. Leider sind unsere Anreizsysteme wissenschaftsfeindlich verzerrt – Publikationen werden belohnt, und es ist leider einfacher zu publizieren, wenn man die eigene Forschung komplex und mysteriös klingen lässt und gleichzeitig ihre Bewertung verunmöglicht.
Wie sieht für dich die Zukunft des Deep Learning aus?
Ich habe dazu tatsächlich einen Blogpost geschrieben. Kurz gesagt erwarte ich, dass KI zunehmend „intuitive“ Mustererkennungs-Module mit formalen Schlussfolgerungs-Modulen verbindet. Außerdem denke ich, dass sich KI stärker in Richtung einer Art automatisierter Softwareentwicklung entwickelt und viele Muster und Praktiken aus dem heutigen Software Engineering übernimmt.
Du bist nicht nur Entwickler. Auf dem Keras-Blog, in Essays, in deinem Buch und auf Twitter äußerst du dich reflektiert und deutlich zu ethischen Fragen rund um Deep Learning, KI und Tech im Allgemeinen. Haben Entwickler die Pflicht, sich mit den ethischen Aspekten ihrer Arbeit auseinanderzusetzen?
Auf jeden Fall. Ich finde, das hat der Tech-Landschaft in den letzten Jahren gefehlt. Schau dir Facebook an, zum Beispiel. Oder die meisten Smartphone-Spiele. Technologie ist nie neutral – weil sie mächtig ist und unser Leben beeinflusst. Wie du Produkte und Technologie gestaltest, injiziert aktiv Werte in sie – ob dir das bewusst ist oder nicht. Also kannst du es auch gleich bewusst tun. Wenn du eine Social-Media-Plattform baust und „Engagement“ maximierst, ist das eine ethisch aufgeladene Entscheidung mit weitreichenden Folgen. Entweder wir kümmern uns darum und machen Ethik zu einem expliziten Designziel der Technologien und Machtstrukturen, die wir bauen, oder wir geben unsere Werte preis. Wer in der Tech-Branche arbeitet, kann sich nicht „an den Rand stellen“ – das ist eine Illusion.