O que são modelos de fundação?

BERT, GPT-3, DALL-E 2, LLaMA, BLOOM; esses modelos são algumas das estrelas da revolução da IA que estamos testemunhando desde o lançamento do ChatGPT. O que esses modelos têm em comum? Você adivinhou: todos eles são modelos de fundação.

Os modelos de fundação são um desenvolvimento recente em IA. Esses modelos são desenvolvidos a partir de algoritmos projetados para otimizar a generalidade e a versatilidade dos resultados. Eles se baseiam em redes neurais de grande escala que, muitas vezes, são treinadas em uma ampla gama de fontes de dados e em grandes quantidades de dados para realizar uma ampla gama de tarefas downstream, incluindo algumas para as quais não foram especificamente desenvolvidas e treinadas.

A popularização dos modelos de fundação está agitando o debate clássico entre IA estreita e Inteligência Geral Artificial (AGI), também conhecida como IA forte. A IA estreita refere-se a sistemas de IA projetados para tarefas específicas, mas que não são capazes de realizar tarefas fora do escopo planejado. Por outro lado, a AGI é um sistema de IA hipotético que pode entender, aprender e aplicar o conhecimento em uma ampla gama de tarefas, de forma muito semelhante a um ser humano.

Embora os modelos de fundação ainda sejam incapazes de pensar como os humanos, eles estão apresentando resultados inovadores que nos aproximam do limiar da AGI. É por isso que os profissionais e não especialistas em dados devem estar familiarizados com esses modelos.

Para os novatos no assunto, nosso AI Essentials Skill Track o ajudará a ter uma visão geral profunda dos modelos de IA de última geração. Para aqueles que já possuem habilidades, nosso artigo sobre projetos de IA generativa oferece a chance de colocar seu conhecimento à prova.

Vamos dar uma olhada mais de perto nos modelos de fundação!

O que são modelos de fundação? Entendendo os principais conceitos

Modelo de fundação é um termo relativamente recente que pode se sobrepor a outros conceitos populares, como IA generativa, transformador e modelos de linguagem grandes (LLMs).

No entanto, a terminologia da IA ainda é contestada. Aqui está uma lista de definições que o ajudarão a navegar no campo em rápida evolução da IA:

• IA generativa. É um termo amplo usado para descrever sistemas de IA cuja função principal é gerar conteúdo, em contraste com outros sistemas de IA projetados para outras tarefas, como classificação e previsão.
• Transformador. Os transformadores revolucionaram o campo da aprendizagem profunda. Eles oferecem uma arquitetura inovadora para lidar com dados sequenciais de forma mais eficiente. Os transformadores são particularmente adequados para o processamento de texto, e é por isso que se tornaram uma pedra angular no campo do processamento de linguagem natural (NLP) e da geração de linguagem natural (NLG). No entanto, os transformadores também foram usados com outros tipos de dados, como imagens, com resultados igualmente bem-sucedidos.
• Modelo de idioma grande. Os LLMs são sistemas de IA usados para modelar e processar a linguagem humana. Os transformadores são as tecnologias subjacentes aos LLMs. Eles são chamados de "grandes" porque têm centenas de milhões ou até bilhões de parâmetros, que são pré-treinados usando um corpus maciço de dados de texto.
• Modelo de fundação. É um termo amplo para definir modelos de IA projetados para produzir uma variedade ampla e geral de resultados. Eles são capazes de realizar uma série de tarefas e aplicativos possíveis, incluindo geração de texto, vídeo, imagem ou áudio. Uma característica singular desses modelos é que eles podem ser sistemas autônomos ou usados como uma "base" para outros aplicativos. Por exemplo, o LLM chamado GPT funciona como o modelo de base do ChatGPT.

Como funcionam os modelos de fundação?

A tecnologia subjacente dos modelos de base, independentemente da tarefa para a qual foram projetados e do tipo de dados que usam para treinamento, é o transformador.

Desenvolvidos por pesquisadores do Google em 2017, os transformadores oferecem uma alternativa às redes neurais recorrentes tradicionais (RNNs) e às redes neurais convolucionais (CNNs) para lidar com dados sequenciais, ou seja, texto.

Os Transformers funcionam prevendo a próxima palavra em uma sequência para formar uma resposta coerente. Esse processo é feito por meio de um mecanismo chamado atenção, que pondera a influência de diferentes palavras ao gerar uma resposta.

O treinamento de transformadores envolve duas etapas: pré-treinamento e ajuste fino.

Pré-treinamento

Nessa fase, os transformadores são treinados em grandes quantidades de dados brutos (texto), tendo a Internet como a principal fonte de dados.

O treinamento é feito usando o aprendizado autossupervisionado, um tipo inovador de treinamento que não exige ação humana para rotular os dados.

O objetivo do pré-treinamento é aprender os padrões estatísticos do idioma. Como a principal estratégia para obter um melhor desempenho dos transformadores é aumentar o tamanho do modelo (ou seja, aumentar os parâmetros) e a quantidade de dados usados durante o pré-treinamento, essa fase normalmente consome muito tempo e é cara.

Ajuste fino

O pré-treinamento permite que o transformador adquira uma compreensão básica do idioma, mas não é suficiente para realizar tarefas práticas específicas. É por isso que o modelo passa por uma fase de ajuste fino, em que é treinado em um conjunto de dados mais restrito e específico do domínio, gerado com a ajuda de revisores humanos que seguem determinadas diretrizes.

Modalidade

Outra característica importante dos modelos de fundação é a modalidade. Dependendo do tipo de dados que os modelos básicos podem receber como entrada, eles podem ser unimodais ou multimodais. O primeiro só pode aceitar um tipo de dados e gerar o mesmo tipo de saída, enquanto o segundo pode receber várias modalidades de tipo de entrada e gerar vários tipos de saídas (por exemplo, o GPT-4 pode aceitar entradas de imagem e texto e gerar saídas de texto).

Entender como os transformadores funcionam pode ser complicado e está fora do escopo deste artigo. Para obter uma explicação mais detalhada, consulte nosso artigo, What is ChatGPT, em que fizemos a pergunta diretamente ao ChatGPT e aprendemos sobre Transformers e Hugging Face para obter uma visão mais técnica.

Se você quiser obter mais detalhes sobre como os LLMs funcionam, nosso Curso de Conceitos de Modelos de Linguagem Grande (LLMs) é um ótimo ponto de partida.

Aplicações dos modelos de fundação

Os modelos Foundation podem ser usados como um sistema autônomo ou como base para inúmeros sistemas e aplicativos de IA downstream. Embora a maioria dos sistemas de fundação modernos seja projetada para gerar texto ou código e executar tarefas de PNL, há um número crescente de sistemas capazes de gerar outros tipos de resultados, como imagens ou música.

Abaixo, você encontra uma tabela com alguns dos modelos de fundação mais populares.