Nos últimos meses, as comunidades de ciência de dados e IA estão em polvorosa com a chegada do GPT-3, o novo modelo de linguagem da OpenAI. Para muita gente, o modelo representa um salto significativo na capacidade de um único algoritmo de raciocinar com linguagem humana em uma variedade de tarefas.
Desenvolvedores que estão testando o GPT-3 já apresentaram casos de uso bem instigantes. Exemplos de geração automática de código a partir de prompts em inglês simples, respostas a perguntas médicas e tradução de linguagem jurídica vêm inspirando cientistas de dados a imaginar a próxima geração de softwares com IA.
Embora grande parte do valor do machine learning no contexto organizacional esteja em oportunidades mais óbvias, como prever churn, fazer previsões simples de vendas e segmentação de clientes, vale refletir sobre o que a comercialização do GPT-3 significa para o futuro. O potencial é transformar a forma como pensamos e operacionalizamos a inteligência artificial.
Definindo inteligência artificial, machine learning e deep learning
O mundo dos negócios e a mídia estão repletos de termos da moda como inteligência artificial (IA), machine learning (ML) e deep learning (DL). Vamos defini-los rapidamente antes de entrar em como o GPT-3 funciona.
Andrew Ng, cofundador do Google Brain e ex-Chief Scientist da Baidu, descreve inteligência artificial como um “conjunto enorme de ferramentas para fazer computadores se comportarem de forma inteligente”. Isso abrange desde softwares programados de forma explícita, como calculadoras, até aplicações de ML como sistemas de recomendação e carros autônomos.
Machine learning é o “campo de estudo que dá aos computadores a capacidade de aprender sem serem explicitamente programados”, segundo Arthur Samuel, pioneiro em inteligência artificial e jogos de computador. Em geral, há dois tipos de algoritmos de ML. O primeiro é o aprendizado supervisionado, em que os algoritmos aprendem os padrões entre dados existentes (entradas) e rótulos (saídas) e passam a prever a saída em dados inéditos, como dizer se um novo cliente vai churnar com base no histórico de churn. O segundo é o aprendizado não supervisionado, em que os algoritmos descobrem padrões gerais nos dados e agrupam pontos de dados semelhantes entre si, como na segmentação de clientes por comportamentos em comum.
Deep learning é uma forma de machine learning baseada em redes neurais artificiais com várias camadas, livremente inspiradas nas redes neurais biológicas do cérebro. Pode ser tanto supervisionado quanto não supervisionado e é, em grande parte, responsável pelos casos de uso de alto impacto da última década, como reconhecimento de imagens e análise de sentimento. Modelos de deep learning variam em arquitetura, indo do simples ao complexo conforme o número de camadas e nós da rede neural. Quanto mais complexo o modelo, mais parâmetros ele tem. Se você quer entender melhor como modelos de deep learning são construídos, confira a trilha de aprendizado de deep learning da DataCamp.
Para explorar esses tópicos em mais profundidade, leia nosso e-book The Definitive Guide to Machine Learning for Business Leaders.
Como o GPT-3 funciona
Então, onde o GPT-3 se cruza com inteligência artificial, machine learning e deep learning? A sigla GPT vem de “generative pre-trained transformer” — um algoritmo de deep learning não supervisionado que costuma ser pré-treinado em um grande volume de texto sem rótulos. Depois, ele é ajustado e treinado em um amplo conjunto de dados rotulados e específicos de uma tarefa (por exemplo, tradução do inglês para o francês) e, então, passa a inferir o conjunto mais provável de saídas (tradução em francês) dado um conjunto específico de entradas (palavras em inglês). Pense nisso como uma forma altamente sofisticada de autocompletar para diferentes tarefas de linguagem.
O GPT-3 é a terceira iteração desse modelo e, embora não traga inovações na arquitetura em relação aos seus predecessores, ele é pré-treinado em conjuntos de dados enormes que cobrem uma grande porção da internet, incluindo o dataset Common Crawl, e possui muito mais camadas em sua arquitetura. Isso faz do GPT-3 o modelo de linguagem mais complexo já concebido, com 175 bilhões de parâmetros. São dez vezes mais parâmetros que o modelo mais complexo antes do lançamento do GPT-3, o Turing-NLG da Microsoft, e 117 vezes mais que o GPT-2.
Mais importante: o GPT-3 se beneficia de few-shot learning, em que o modelo pré-treinado não precisa ser ajustado com grandes quantidades de dados rotulados para uma tarefa específica de linguagem. Em vez disso, ele recebe a descrição da tarefa — por exemplo, traduzir do inglês para o francês — e algumas amostras de entradas mapeadas para saídas. Somado a uma interface plug-and-play fácil de usar, o GPT-3 reduz bastante as barreiras de entrada e permite que não especialistas obtenham resultados relevantes em diferentes tarefas de linguagem.
Por que o GPT-3 é importante
Com poucas amostras e descrições de tarefa, o GPT-3 rivaliza com modelos de linguagem ajustados e treinados com dados específicos de tarefa em várias frentes. O GPT-3 também apresenta algum sucesso em tarefas que exigem raciocínio, como aritmética, que não são necessariamente tarefas de linguagem. Por exemplo, o GPT-3 atingiu 100% de acurácia em adição e subtração com dois dígitos após receber alguns exemplos. Modelos menos complexos, com menos parâmetros, não conseguiram ultrapassar 60% de acurácia nessas tarefas. Embora o GPT-3 tropece em formas mais complexas de aritmética, isso sugere que modelos mais robustos podem generalizar além do domínio em que foram treinados.
Curiosamente, isso indica que é possível obter ganhos adicionais apenas aumentando o tamanho dos dados e dos modelos. No momento, não parece que o desempenho agregado do modelo em diferentes tarefas esteja se estabilizando em 175 bilhões de parâmetros. Considerando o mesmo salto de escala de parâmetros do GPT-2 para o GPT-3, fica a curiosidade de como o desempenho evoluiria se um eventual GPT-4 tivesse 117 vezes mais parâmetros que o GPT-3.
Embora ainda esteja sendo calibrado em beta fechado, empacotar o GPT-3 em uma API plug-and-play significa que ele pode ser utilizado em escala assim que sair desse beta. Como apontou a pesquisadora de IA Shreya Shankar, um desafio importante será servir essa API de forma eficiente e simples para uso pelas organizações.
O que isso significa para o futuro
Novas tecnologias geralmente seguem o hype cycle da Gartner — e, de fato, o CEO da OpenAI, Sam Altman, já soou o alerta sobre o hype do GPT-3.
Mesmo assim, os casos de uso que estão surgindo com desenvolvedores do GPT-3 jogam luz no tipo de aplicações com IA que podemos esperar no médio e longo prazo. As possibilidades incluem ferramentas que ajudam designers a prototipar com facilidade, agilizam a análise de dados, permitem pesquisas mais robustas, automatizam a geração de conteúdo para marketing de conteúdo e muito mais.
Além disso, empacotar o modelo em uma interface plug-and-play pode mudar a dinâmica de como a IA é instrumentalizada em toda a organização. Por exemplo, isso pode desincentivar empresas a desenvolverem modelos próprios internamente e permitir que profissionais menos técnicos construam soluções com o GPT-3.
Por fim, ao pensar em implementar sistemas de IA em escala, é essencial estar atento ao potencial de amplificar danos por viés. Como muitos pesquisadores observaram ao testar o GPT-3, é relativamente fácil gerar saídas nocivas que reforçam estereótipos e vieses a partir de entradas neutras.
Como qualquer algoritmo de machine learning implantado em escala, o GPT-3 exige escrutínio sério e monitoramento constante para mitigar possíveis danos.
