François Chollet é pesquisador de IA e deep learning, autor do Keras, um dos principais frameworks de deep learning para Python, e lançou recentemente o livro Deep Learning with Python. Para marcar o lançamento, tive o prazer de entrevistar François por e-mail. Fique à vontade para falar com a gente em @fchollet e @hugobowne.
François, você é engenheiro de software e pesquisador de inteligência artificial no Google. Quero saber mais sobre o que você faz. Mas antes, o que as pessoas realmente fazem e a imagem popular do que fazem costumam divergir. O que as pessoas acham que você faz?
É uma observação precisa: geralmente há uma diferença entre pelo que somos conhecidos, pelo que gostaríamos de ser conhecidos e no que realmente estamos trabalhando. No meu caso, provavelmente sou mais conhecido por criar o Keras, o framework de deep learning.
E o que você realmente faz?
Eu trabalho no time Brain do Google em Mountain View, onde passo a maior parte do meu tempo desenvolvendo o Keras. Então acredito que há um bom alinhamento entre o que eu faço e o que as pessoas pensam que eu faço.
Também contribuo com o TensorFlow, o framework de machine learning do Google, com o qual o Keras se integra. Paralelamente, faço pesquisa em vários temas. Mais recentemente, trabalhei em artigos sobre tradução automática, visão computacional e aplicações de deep learning em demonstração de teoremas. Meu principal interesse de pesquisa é entender o problema da abstração e do raciocínio em IA — como sair da percepção para modelos abstratos e altamente generalizáveis.
Você é muito conhecido como autor do Keras, um pacote open source de redes neurais para deep learning em Python: afinal, o que é deep learning?
Deep learning é uma abordagem específica de machine learning que se mostrou muito mais poderosa e flexível do que métodos anteriores. Na maioria das aplicações, o que chamamos de "deep learning" pode ser visto como uma forma de transformar grandes volumes de dados anotados por humanos em um software que consegue anotar automaticamente novos dados de um jeito parecido com o que um humano faria. Assim, dá para automatizar várias tarefas diferentes. O deep learning é especialmente bom para lidar com dados "perceptivos", como imagens, vídeos ou áudio.
Um exemplo concreto: imagine um grande conjunto de fotos, cada uma com algumas tags associadas ("cachorro", "gato", etc.). O deep learning permite transformar automaticamente seus dados em um sistema que "entende" como mapear as imagens para as tags, aprendendo apenas com exemplos, sem necessidade de ajustes manuais ou engenharia sob medida. Esse sistema pode então ser aplicado a novos dados, automatizando de forma eficaz a tarefa de marcar fotos.
Da mesma forma, você pode aplicar deep learning a uma ampla gama de problemas, como tradução automática, reconhecimento de fala, síntese de voz, reconhecimento óptico de caracteres e muito mais.
Parabéns pelo novo livro, Deep Learning with Python. Por que você escreveu este livro?
Este livro é minha tentativa de propor um programa de estudos para ensinar deep learning a quem já programa em Python, mas não tem base prévia em machine learning. Estou tentando deixar o deep learning o mais acessível possível, sem simplificar demais. E isso é possível porque, em grande parte, não há ideias intrinsecamente difíceis em deep learning.
O Python é, possivelmente, a linguagem de programação que mais cresce, pelo menos em países de alta renda. Por que Python, para você e para a comunidade em geral?
Eu adoro Python. É fácil de aprender e vai ficando cada vez mais produtivo conforme você aprofunda o uso, não importa há quanto tempo programa. Comparado a outras linguagens que usei, é muito intuitivo e elegante. Mas o grande diferencial do Python não está só na linguagem em si, e sim no ecossistema e na comunidade em volta. O que quer que você precise — fazer o parse de um formato de arquivo, integrar com um sistema específico — quase certamente existe uma biblioteca em Python para isso, e você não precisa gastar tempo implementando do zero. Isso é ainda mais verdadeiro em ciência de dados e machine learning: há muitas ferramentas excelentes — numpy, pandas, scikit-learn, bibliotecas de visualização, etc. Isso torna o Python uma linguagem muito produtiva.
Gosto também do fato de o Python não ser uma linguagem de domínio específico; ele fica na interseção de vários domínios, de desenvolvimento web a ciência de dados e administração de sistemas. Isso significa que você não precisa mudar de linguagem para publicar seus modelos do Keras como uma API web, por exemplo. O que quer que você precise — colocar um webapp no ar, consumir uma API REST, processar arquivos, treinar modelos de deep learning de ponta — o Python geralmente é uma escolha bem sólida.
Existe uma barreira de entrada percebida para quem quer entrar em machine learning e em desenvolvimento de inteligência artificial. Como você vê a democratização das habilidades e técnicas necessárias?
Eu não acho que isso seja verdade. Entrar em machine learning ficou extremamente fácil nos últimos 5 anos. Claro, há 5 a 7 anos era difícil. Provavelmente você precisava de pós-graduação. Tinha que escrever muitos algoritmos de baixo nível por conta própria, geralmente em C++ ou Matlab. Eu passei por isso. Hoje é diferente. Você precisa apenas de Python, que é bem mais simples de aprender, e tem acesso a ferramentas de alto nível e fáceis de usar como o Keras. Além disso, é possível aprender com muitos recursos online de altíssima qualidade e praticar com problemas do mundo real no Kaggle. Nunca foi tão fácil aprender.
Neste ponto, você pode simplesmente pegar o meu livro, instalar o Keras, encarar alguns desafios do Kaggle e, depois de alguns meses, vai estar bem produtivo com machine learning e deep learning em problemas práticos.
Como o Keras e seu novo livro contribuem para essa filosofia?
Quando lancei o Keras, inicialmente eu não estava exatamente tentando democratizar o deep learning. Mas, com o tempo, vi incontáveis pessoas aprendendo deep learning via Keras e usando a ferramenta para resolver uma grande variedade de problemas de formas que eu não esperava — e isso me fascinou. Percebi que o deep learning pode ser aplicado, de maneira transformadora, a muito mais domínios do que o pessoal do Vale do Silício imagina. Há muita gente por aí que poderia se beneficiar do uso de deep learning no trabalho. Como resultado, passei a me importar muito em tornar essas tecnologias acessíveis ao maior número de pessoas possível, e isso virou o principal objetivo de design do Keras. Essa é a única forma de levar a IA ao máximo do seu potencial — tornando-a amplamente disponível.
Meu livro é uma tentativa de dar mais um passo nessa direção: quero receber o maior número possível de pessoas no universo do deep learning, para que possam usá-lo para resolver os problemas com os quais já estão familiarizadas — inclusive aqueles que eu nem imagino que existam. Não basta oferecer ferramentas fáceis de usar; é preciso também disponibilizar material didático para ensinar as pessoas a usar essas ferramentas.
Quais são as coisas mais importantes para iniciantes aprenderem? Como elas podem fazer isso?
O mais importante é provavelmente entender o que o deep learning consegue e o que ele não consegue fazer. Isso, e pegar prática com boas práticas essenciais, como avaliar modelos corretamente e combater overfitting. Isso exige uma combinação de explicações formais e muita prática em problemas reais.
Para muita gente, o termo inteligência artificial traz à mente robôs sencientes. Vemos manchetes como: 'IA do Google cria sua própria IA 'filha' mais avançada do que sistemas construídos por humanos'. Preciso da sua ajuda para desmistificar o que é IA de fato. Do que a inteligência artificial é capaz?
Há muito hype na área, sem dúvida. A maior parte da cobertura da mídia sobre IA e deep learning está dramaticamente desconectada da realidade — tanto as histórias que assustam quanto as que prometem um futuro maravilhoso.
Quanto ao que a IA consegue fazer hoje, é uma pergunta difícil. Eu diria que há três categorias do que a IA pode fazer:
- Executar tarefas em que conseguimos especificar totalmente e de forma explícita as regras que a IA deve seguir. Isso é basicamente o que se chama de "IA simbólica" ou, mais pragmaticamente, "desenvolvimento de software". Como qualquer pessoa que já programou sabe, essa abordagem é frágil e só funciona em ambientes totalmente controlados — o que raramente é o caso em problemas do mundo real.
- Executar tarefas simples de percepção e intuição, em que não conseguimos especificar regras explícitas, mas conseguimos fornecer muitos exemplos da tarefa. Isso inclui todo o deep learning: classificar imagens, transcrever fala, etc. Uma limitação importante é que nossos modelos só lidam bem com entradas extremamente próximas do que já viram — não dá para se afastar muito dos dados de treinamento. O que fazemos aqui é, basicamente, um ajuste de curvas em alta dimensão, por assim dizer.
- Combinações relativamente ingênuas das duas coisas acima. Por exemplo, imagine um robô com um módulo de deep learning capaz de extrair o tipo e a posição de vários objetos ao seu redor, treinado com muitos exemplos, acoplado a um módulo que codifica regras de alto nível para manipular esses objetos. Outro exemplo é o AlphaGo/AlphaZero, que basicamente combina busca por força bruta (programação explícita) com um módulo de deep learning treinado em muitos jogos para avaliar "intuitivamente" o valor de uma posição no tabuleiro.
Quando levamos as técnicas atuais ao limite do seu potencial, conseguimos desempenho sobre-humano em várias tarefas importantes e um desempenho razoável em muitas outras. Mas isso só é possível em contextos muito restritos. E, talvez contraintuitivamente, não há um caminho real entre ser muito bom em muitas tarefas verticais diferentes e ter a inteligência geral e o bom senso de um bebê — quanto mais suas capacidades de aprendizado e adaptação.
Dito isso, ser muito bom em várias tarefas bem específicas é transformador para a maioria das indústrias. Então você pode esperar que a IA gere um grande impacto econômico nos próximos 20 anos. Pense na IA como a máquina a vapor da nossa era — uma ferramenta muito poderosa nas mãos humanas, que vai redesenhar o cenário econômico ao longo de algumas décadas. Mas nada de robôs sencientes à vista.
Do que a inteligência artificial não é capaz?
No conjunto de tudo o que gostaríamos de automatizar, a IA hoje consegue lidar apenas com uma pequena parcela. Há muito mais coisas que não conseguimos fazer do que coisas que conseguimos.
Em geral, somos especialmente fracos em:
- Qualquer coisa que exija "grounding" ou "compreensão". Por exemplo, a IA não entende o significado da linguagem natural; ela trata a linguagem em termos de dependências estatísticas ou regras de processamento codificadas. O "significado", como existe na mente humana, deriva da experiência humana corporificada, à qual nossos modelos de IA não têm acesso — pelo menos por enquanto. Portanto, nenhum sistema de IA hoje consegue "entender" sua tarefa de um modo que faça sentido para um humano. Os modelos apenas mapeiam o coletor estatístico dos dados de treinamento.
- Qualquer coisa que envolva lidar com dados diferentes do que a IA viu antes. A IA só consegue aplicar regras que você codificou de forma explícita ou reconhecer coisas muito, muito próximas do que foi usado no treinamento. Nossa capacidade cai exponencialmente à medida que você introduz mais incerteza ou variação em uma tarefa.
- Qualquer coisa que envolva raciocínio e abstração. Ou codificamos regras explícitas de raciocínio na máquina, ou não conseguimos raciocinar. A IA atual não consegue, sozinha, descobrir modelos abstratos de uma situação. Provavelmente este é o principal gargalo do desenvolvimento de IA hoje. Se resolvê-lo, você rapidamente conseguiria superar os dois pontos anteriores.
Escrevi um post no blog chamado The limitations of deep learning sobre este e outros temas relacionados.
Quais são os maiores desafios que a comunidade de deep learning enfrenta?
Combater o hype, desenvolver consciência ética e elevar o rigor científico.
Hype: isso assola nossa área. Algumas pessoas estão exagerando o progresso recente de forma absurda, superestimando nossas capacidades atuais e frequentemente sugerindo que a inteligência em nível humano está logo ali na esquina — e não está. Se criarmos expectativas estratosféricas e não entregarmos, vamos virar a opinião pública contra nós. Além disso, é intelectualmente desonesto e tóxico para o debate público.
Ética: a maioria das pessoas que implementa sistemas de IA hoje não vem de contextos particularmente diversos e muitas vezes está alheia às implicações éticas e efeitos colaterais nocivos dos sistemas que constroem. Isso é um grande problema, porque essas pessoas vão ter cada vez mais poder sobre outras. Precisamos discutir mais esses temas e aumentar a consciência sobre usos antiéticos potenciais da IA — seja modelos preditivos enviesados afetando a vida das pessoas, seja IA sendo aplicada em contextos bem questionáveis, seja a IA usada para manipular nosso comportamento e opiniões de maneiras perigosas.
Ciência: surgem toneladas de artigos de deep learning todos os dias, e muitos não produzem conhecimento novo significativo porque não seguem o método científico. "Avaliam" modelos de forma nebulosa, testam modelos superajustados nos próprios dados de treinamento (isso é especialmente comum em modelos generativos e em aprendizado por reforço, dois tópicos que mais crescem na pesquisa em deep learning), escolhem resultados a dedo, usam linhas de base artificialmente fracas, ajustam hiperparâmetros de modo que levam ao overfitting a uma tarefa específica, avaliam modelos só no MNIST, etc. Deep learning é uma zona de desastre científico. A revisão por pares muitas vezes não resolve essas questões de forma significativa, talvez em parte porque muitos revisores estão na área há um ou dois anos no máximo (já que o campo cresce exponencialmente). Se quisermos avançar mais rápido, precisamos elevar as expectativas de rigor na área — em reprodutibilidade, linhas de base, avaliação de modelos e significância estatística. Infelizmente, nosso sistema de incentivos é enviesado contra a ciência — incentivamos publicações e, lamentavelmente, é mais fácil publicar se você faz a pesquisa parecer complexa e misteriosa enquanto torna impossível avaliar adequadamente sua relevância.
Como você enxerga o futuro do deep learning?
Eu escrevi um post no blog sobre isso. Resumindo, espero que a IA combine cada vez mais módulos de reconhecimento de padrões "intuitivos" com módulos de raciocínio formal. Também espero que a IA evolua para algo mais próximo de desenvolvimento de software automatizado, incorporando muitos padrões e práticas da engenharia de software de hoje.
Você não é só desenvolvedor. No blog do Keras, em ensaios, no seu livro e no Twitter, você fala com propriedade e frequência sobre questões éticas envolvendo deep learning, IA e tecnologia em geral. Você acha que os desenvolvedores têm a obrigação de considerar a ética no trabalho que fazem?
Com certeza. Acho que isso faltou no cenário geral de tecnologia nos últimos anos. Veja o Facebook, por exemplo. Ou a maioria dos jogos para smartphone. Tecnologia nunca é neutra — porque é poderosa e impacta nossas vidas. A forma como você projeta produtos e tecnologia injeta valores neles, quer você perceba ou não. Então, melhor ser deliberado quanto a isso. Se você cria uma plataforma de mídia social e tenta maximizar o "engajamento", isso é uma decisão carregada de implicações éticas. Ou a gente se importa e coloca a ética como objetivo explícito no design da tecnologia e das estruturas de poder que construímos, ou abrimos mão dos nossos valores. Se você está em tecnologia, não dá para escolher ficar "em cima do muro" — isso é ilusão.
