Curso
Trabalhar com a API da OpenAI
3 h
172.6K
A OpenAI anunciou seu mais novo grande modelo de linguagem, o GPT-4o, sucessor do GPT-4 Turbo. Continue a leitura para conhecer seus recursos, desempenho e como você pode aproveitá-lo.
O que é o GPT-4o da OpenAI?
O GPT-4o é o mais recente LLM da OpenAI. O "o" em GPT-4o vem de "omni"—do latim para "tudo"—indicando que este novo modelo aceita prompts que misturam texto, áudio, imagens e vídeo. Antes, a interface do ChatGPT usava modelos separados para cada tipo de conteúdo.
Por exemplo, ao falar com o ChatGPT pelo Voice Mode, sua fala era convertida em texto com o Whisper, a resposta em texto era gerada pelo GPT-4 Turbo, e essa resposta em texto era convertida em voz com o TTS.
Comparação de como o GPT-4 Turbo e o GPT-4o processam entrada de voz
Da mesma forma, trabalhar com imagens no ChatGPT envolvia uma combinação do GPT-4 Turbo com o DALL-E 3.
Ter um único modelo para diferentes mídias promete mais velocidade e qualidade nas respostas, uma interface mais simples e novos casos de uso.
O que é o GPT-4o mini?
O GPT-4o Mini é uma versão mais enxuta e rápida do GPT-4o, projetada para tarefas com foco maior em velocidade e eficiência. Ele é derivado do modelo maior GPT-4o por meio de um processo chamado destilação.
Embora mantenha boa parte da capacidade do modelo original de processar entradas multimodais—texto, áudio e imagens—o GPT-4o mini é otimizado para aplicações leves em que respostas mais rápidas são cruciais.
Ele é especialmente útil para desenvolvedores que precisam de uma solução econômica para codificação, depuração e interações em tempo real que não exigem todo o poder computacional do GPT-4o.
Você pode ler mais detalhes neste artigo sobre o GPT-4o mini.
O que torna o GPT-4o diferente do GPT-4 Turbo?
A abordagem de modelo tudo-em-um faz com que o GPT-4o supere várias limitações das capacidades anteriores de interação por voz.
1. Tom de voz agora é considerado, facilitando respostas com emoção
Com o sistema anterior da OpenAI, que combinava Whisper, GPT-4 Turbo e TTS em um pipeline, o mecanismo de raciocínio, o GPT-4, só tinha acesso às palavras faladas. Isso significava que tom de voz, ruídos de fundo e a identificação de múltiplos interlocutores eram descartados. Assim, o GPT-4 Turbo não conseguia realmente expressar respostas com diferentes emoções ou estilos de fala.
Ao unificar texto e áudio em um único modelo capaz de raciocinar sobre ambos, essas informações ricas de áudio podem ser usadas para respostas de maior qualidade e com mais variedade de estilos de fala.
No exemplo a seguir, fornecido pela OpenAI, o GPT-4o gera uma saída sarcástica.
4. Melhor tokenização para alfabetos não romanos traz mais velocidade e economia
Uma etapa do fluxo de trabalho dos LLMs é quando o texto do prompt é convertido em tokens, as unidades de texto que o modelo entende.
Em inglês, um token costuma ser uma palavra ou pontuação, embora algumas palavras possam ser divididas em vários tokens. Em média, três palavras em inglês ocupam cerca de quatro tokens.
Se uma língua puder ser representada no modelo com menos tokens, são necessários menos cálculos e a geração de texto fica mais rápida.
Além disso, como a OpenAI cobra por token de entrada e saída na API, menos tokens significam menor custo para os usuários da API.
O GPT-4o traz um modelo de tokenização aprimorado que reduz o número de tokens necessários por texto. A melhoria é mais perceptível em idiomas que não usam o alfabeto romano.
Por exemplo, as línguas indianas se beneficiaram bastante: híndi, marata, tâmil, telugo e guzerate apresentaram reduções de 2,9 a 4,4 vezes no número de tokens. Árabe teve redução de 2x, e línguas do leste asiático como chinês, japonês, coreano e vietnamita apresentaram reduções entre 1,4x e 1,7x.
5. Disponibilização no plano gratuito
Com a estratégia atual de preços do ChatGPT, os usuários precisavam pagar para acessar o melhor modelo: o GPT-4 Turbo estava disponível apenas nos planos pagos Plus e Enterprise.
Isso está mudando: a OpenAI prometeu disponibilizar o GPT-4o também no plano gratuito. Usuários Plus terão direito a cinco vezes mais mensagens que os usuários do plano grátis.
A liberação será gradual, começando imediatamente com acesso para a red team (testadores que tentam quebrar o modelo para achar problemas) e ampliando a base de usuários ao longo do tempo.
6. Lançamento do app desktop do ChatGPT
Embora isso não seja exclusivo do GPT-4o, a OpenAI também anunciou o app desktop do ChatGPT. As melhorias em latência e multimodalidade citadas acima, somadas ao app, devem mudar a forma como trabalhamos com o ChatGPT. Por exemplo, a OpenAI mostrou uma demonstração de um fluxo de trabalho de programação aumentada usando voz e o app desktop. Role até a seção de casos de uso para ver esse exemplo em ação!
Como o GPT-4o funciona?
Muitos tipos de conteúdo, uma única rede neural
Ainda há poucos detalhes de como o GPT-4o funciona. A única informação que a OpenAI forneceu no anúncio é que o GPT-4o é uma única rede neural treinada em entradas de texto, visão e áudio.
Essa abordagem difere da técnica anterior de treinar modelos separados para cada tipo de dado.
No entanto, o GPT-4o não é o primeiro modelo a adotar uma abordagem multimodal. Em 2022, o TenCent Lab criou o SkillNet, um modelo que combinou recursos de transformers dos LLMs com técnicas de visão computacional para melhorar o reconhecimento de caracteres chineses.
Em 2023, uma equipe da ETH Zurich, MIT e Stanford criou o WhisBERT, uma variação da série BERT de grandes modelos de linguagem. Embora não seja o primeiro, o GPT-4o é bem mais ambicioso e potente do que essas tentativas anteriores.
O GPT-4o é uma mudança radical em relação ao GPT-4 Turbo?
O quão radical é a mudança na arquitetura do GPT-4o em comparação ao GPT-4 Turbo depende de quem você pergunta na OpenAI: engenharia ou marketing. Em abril, um bot chamado "im-also-a-good-gpt2-chatbot" apareceu na Chatbot Arena da LMSYS, um ranking das melhores IAs generativas. Esse mistério agora foi revelado: era o GPT-4o.
A parte "gpt2" do nome é importante. Sem confundir com o GPT-2, antecessor do GPT-3.5 e GPT-4, o sufixo "2" foi amplamente interpretado como indicação de uma arquitetura totalmente nova para a série GPT.
Ao que tudo indica, alguém nas equipes de pesquisa ou engenharia da OpenAI considera que unificar texto, visão e áudio em um único modelo é uma mudança grande o suficiente para justificar o primeiro salto de versão em seis anos.
Por outro lado, o time de marketing optou por uma mudança de nome mais modesta, mantendo a convenção "GPT-4".
Desempenho do GPT-4o vs. outros modelos
A OpenAI divulgou números de benchmark do GPT-4o comparados a vários outros modelos topo de linha.
- GPT-4 Turbo
- GPT-4 (lançamento inicial)
- Claude 3 Opus
- Gemini Pro 1.5
- Gemini Ultra 1.0
- Llama 3 400B
Desses, três modelos realmente importam para comparação. O GPT-4 Turbo, o Claude 3 Opus e o Gemini Pro 1.5 passaram os últimos meses disputando o topo do ranking da LMSYS Chatbot Arena.
O Llama 3 400B pode virar concorrente no futuro, mas ainda não está pronto. Por isso, aqui apresentamos apenas os resultados desses três modelos e do GPT-4o.
Foram usados os resultados de seis benchmarks.
- Massive Multitask Language Understanding (MMLU). Tarefas de matemática básica, história dos EUA, ciência da computação, direito e mais. Para obter alta precisão, os modelos precisam ter amplo conhecimento de mundo e capacidade de resolver problemas.
- Graduate-Level Google-Proof Q&A (GPQA). Questões de múltipla escolha elaboradas por especialistas em biologia, física e química. São perguntas de alta qualidade e extremamente difíceis: especialistas com ou cursando PhD nessas áreas chegam a 74% de acerto.
- MATH. Problemas de matemática do ensino fundamental e médio.
- HumanEval. Teste de correção funcional de código, usado para avaliar geração de código.
- Multilingual Grade School Math (MSGM). Problemas de matemática do ensino fundamental traduzidos para dez idiomas, incluindo línguas sub-representadas como bengali e suaíli.
- Discrete Reasoning Over Paragraphs (DROP). Perguntas que exigem compreender parágrafos inteiros, por exemplo, somando, contando ou ordenando valores dispersos em várias frases.
Desempenho de GPT-4o, GPT-4 Turbo, Gemini Pro 1.5 e Claude 3 Opus em seis benchmarks de LLM. As pontuações variam de 0 a 100. Gráfico recriado a partir de dados fornecidos pela OpenAI. Não há dados para o Gemini Pro 1.5 no benchmark GPQA.
O GPT-4o obteve a melhor pontuação em quatro benchmarks, mas foi superado pelo Claude 3 Opus no MSGM e pelo GPT-4 Turbo no DROP. No geral, o desempenho é impressionante e indica o potencial da nova abordagem de treinamento multimodal.
Se você olhar de perto os números do GPT-4o em comparação ao GPT-4 Turbo, verá que os ganhos são de alguns pontos percentuais.
É um salto bacana um ano depois, mas está longe dos avanços dramáticos do GPT-1 para o GPT-2, ou do GPT-2 para o GPT-3.
Ser 10% melhor em raciocinar sobre texto ano a ano provavelmente será o novo normal. O ganho mais fácil já foi capturado, e é difícil continuar com grandes saltos no raciocínio textual.
Por outro lado, esses benchmarks de LLM não capturam o desempenho em problemas multimodais. O conceito é tão novo que ainda não temos boas formas de medir quão bom um modelo é em texto, áudio e visão ao mesmo tempo.
No geral, o desempenho do GPT-4o é impressionante e reforça o potencial da abordagem de treinamento multimodal.
Quais são os casos de uso do GPT-4o?
1. GPT-4o para análise de dados e tarefas de código
Modelos recentes da família GPT e seus derivados, como o GitHub Copilot, já conseguem ajudar na programação: escrever código, explicar e corrigir erros. As capacidades multimodais do GPT-4o abrem novas oportunidades interessantes.
Em um vídeo apresentado pela CTO da OpenAI, Mira Murati, os pesquisadores Mark Chen e Barret Zoph demonstraram o uso do GPT-4o com código em Python.
O código é compartilhado com o GPT como texto, e o recurso de interação por voz é usado para pedir que o GPT explique o código. Depois, ao executar o código, a visão do GPT-4o é usada para explicar o gráfico.
No geral, mostrar sua tela ao ChatGPT e fazer a pergunta por voz pode ser um fluxo de trabalho mais simples do que salvar um gráfico como imagem, enviar ao ChatGPT e digitar a pergunta.
4. GPT-4o para auxiliar pessoas com deficiência visual
A capacidade do GPT-4o de entender vídeo de uma câmera e descrever a cena por voz pode ser um recurso essencial para pessoas com deficiência visual. É, basicamente, o recurso de audiodescrição das TVs, só que na vida real.
Mão na massa com o GPT-4o
Tenho acesso a alguns recursos novos do GPT-4o desde logo após o anúncio (infelizmente, ainda sem chat por voz) e fiquei impressionado com muitas das respostas. As saídas parecem mais rápidas e consistentes, e ele parece entender melhor meus pedidos do que antes. Não quer dizer que esteja perfeito.
Aqui vão alguns exemplos das interações que tive com o ChatGPT-4o:
Tarefa de análise de dados
Primeiro, por voz, perguntei se ele tinha ideias de como analisar o desempenho do time de futebol que eu torço, o poderoso Leeds United. Além de várias opções, ele trouxe um exemplo de código em Python:
import pandas as pd
# Sample data for Leeds United's match results
data = {
'Match': ['Match1', 'Match2', 'Match3', 'Match4', 'Match5'],
'Result': ['Win', 'Draw', 'Loss', 'Win', 'Win'],
'Goals Scored': [2, 1, 0, 3, 2]
}
# Create a DataFrame
df = pd.DataFrame(data)
# Summarize match results
summary = df['Result'].value_counts()
total_goals = df['Goals Scored'].sum()
average_goals = df['Goals Scored'].mean()
# Display summary
print("Match Results Summary:")
print(summary)
print("\nTotal Goals Scored:", total_goals)
print("Average Goals Per Match:", round(average_goals, 2))
Mas, quando aprofundei a linha de raciocínio, as coisas desviaram um pouco. Pedi dados reais para usar — ele pesquisou na web e encontrou duas boas fontes, mas relatou as estatísticas erradas. O Leeds jogou 46 partidas na temporada regular, marcou 81 gols e teve saldo de 38, em vez das 40 partidas que ele mencionou.
Depois, pedi ao ChatGPT que visualizasse os gols marcados contra cada time:
De novo, ele cumpriu metade da tarefa. Criou a visualização solicitada, que parece boa à primeira vista. Mas, na prática, muitos dados foram inventados e estão imprecisos (times repetidos, gols não contabilizados e equipes que nem estão na mesma divisão do Leeds).
Para ser justo, imagino que o desempenho teria sido melhor se eu tivesse fornecido um dataset completo, mas preferia que ele tivesse dito isso em vez de inventar respostas com confiança.
Análise de imagem
Depois, pedi ao GPT-4o para analisar a foto de uma das minhas plantas. Ainda não tenho acesso à visão integrada, então tirei uma foto e perguntei ao ChatGPT que planta era:
Não foi um mau palpite, embora não esteja totalmente correto. É um bonsai, mas é um Ilex crenata, não um Carmona retusa. Ainda assim, as duas plantas são parecidas, então é um erro compreensível — e gostei do contexto extra sobre como cuidar da planta.
Geração de imagem
Por fim, quis testar as habilidades de imagem do novo modelo. Mostrei uma foto da minha tartaruga, Darwin, e pedi que ele falasse sobre meu amigo:
De novo, chegou perto, mas não acertou. O Darwin é, na verdade, uma tartaruga Horsefield, não Hermann’s, embora sejam bem parecidas. Depois pedi ao ChatGPT-4o para pegar a imagem original e recriá-la no estilo de Hokusai. Eis o resultado:
Ficou bem legal, embora não lembre tanto a imagem original — o que é aceitável. Também demorou um pouco para gerar.
No geral, fiquei impressionado com a responsividade do novo modelo e com o quanto ele entendeu bem meus pedidos. Está longe de ser perfeito e ainda tem alucinações confiantes às vezes, mas mal posso esperar para testar a fala aprimorada e a visão integrada.
Limitações e riscos do GPT-4o
A regulação da IA generativa ainda está no começo; o AI Act da UE é o único marco legal relevante até agora. Isso significa que as empresas que criam IA precisam tomar decisões próprias sobre o que é IA segura.
A OpenAI tem um framework de preparação que usa para determinar se um novo modelo está pronto para ser lançado ao público.
O framework testa quatro áreas de preocupação.
- Cibersegurança. A IA pode aumentar a produtividade de cibercriminosos e ajudar a criar exploits?
- BCRN. A IA pode ajudar especialistas a criar ameaças biológicas, químicas, radiológicas ou nucleares?
- Persuasão. A IA pode criar conteúdo (potencialmente interativo) que convença pessoas a mudar de opinião?
- Autonomia do modelo. A IA pode agir como um agente, executando ações em outros softwares?
Cada área é classificada como Baixa, Média, Alta ou Crítica, e a pontuação do modelo é a mais alta entre as quatro categorias.
A OpenAI promete não lançar um modelo com preocupação crítica, embora isso seja uma barra de segurança relativamente baixa: pelas definições deles, uma preocupação crítica corresponderia a algo que abalaria a civilização humana. O GPT-4o passa longe disso, recebendo nível Médio de preocupação.
Saídas imperfeitas
Como em toda IA generativa, o modelo nem sempre se comporta como esperado. A visão computacional não é perfeita, então interpretações de imagens ou vídeos podem falhar.
Do mesmo modo, transcrições de fala raramente são 100% corretas, especialmente quando há sotaque forte ou termos técnicos.
A OpenAI disponibilizou um vídeo com erros de gravação em que o GPT-4o não funcionou como esperado.
Vale notar que a tradução entre duas línguas não inglesas foi um dos casos em que houve falha. Outros problemas incluíram tom de voz inadequado (soando condescendente) e falar no idioma errado.