As últimas novidades sobre OpenAI, Google AI e o que isso significa para data science

Google AI e OpenAI têm um histórico de lançar tecnologias de IA de ponta. Mas o cenário mudou com a chegada do ChatGPT, que acendeu uma nova corrida: gigantes como o Google passaram a correr para lançar modelos semelhantes.

Neste post, você vai conhecer os desenvolvimentos mais recentes de OpenAI e Google AI e o que esperar daqui para frente. Além disso, vamos ver como os avanços em IA estão transformando a área de data science e como usá-los para turbinar a produtividade.

OpenAI

A OpenAI API é uma plataforma que permite acessar modelos generativos de ponta via API. Dá para gerar imagens de alta qualidade com DALLE-2, criar textos e código com GPT-3 e usar embeddings para outras tarefas de linguagem. Também é possível moderar resultados, definir limites de uso e fazer fine-tuning do modelo em um conjunto de dados específico. Saiba mais sobre o GPT-3 no nosso blog Beginner's Guide to GPT-3.

Imagem do autor | Fonte: OpenAI

Todos esses são produtos comerciais, no modelo pay-as-you-go. De tempos em tempos, porém, a OpenAI lança ferramentas e modelos open source, como:

1. Whisper: modelo de reconhecimento de fala com supervisão fraca em larga escala.
2. OpenAI Baselines: implementação de algoritmos de aprendizado por reforço.
3. Gym: toolkit para desenvolvimento e avaliação de algoritmos de aprendizado por reforço.
4. GPT2: código e modelo do paper “Language Models are Unsupervised Multitask Learners”.
5. DALL-E: pacote PyTorch para o VAE discreto usado no DALL·E.

As APIs, toolkits e grandes modelos de linguagem são ótimos, mas nada chegou perto do sucesso do ChatGPT.

O ChatGPT foi treinado com Reinforcement Learning from Human Feedback (RLHF), de forma semelhante ao InstructGPT (uma versão aprimorada do GPT-3), mas com diferenças na etapa de coleta de dados.

O que o diferencia das gerações anteriores? A IA conversacional passou a fazer perguntas de acompanhamento, contestar premissas incorretas, admitir erros e demonstrar medidas de segurança.

Recentemente, a Microsoft, parceira da OpenAI, apresentou uma versão aprimorada do ChatGPT. Com a implantação iterativa da OpenAI, estamos vendo uma nova onda de tecnologias que entendem nossas necessidades e nos oferecem assistência.

Se você é totalmente iniciante em inteligência artificial, comece com o curso sem código AI Fundamentals. Ele cobre os fundamentos de machine learning, como aprendizado supervisionado e não supervisionado, deep learning e mais.

GPT-4

Além do ChatGPT, aguardávamos o GPT-4, o mais avançado grande modelo de linguagem. No podcast da Greylock, o CEO da OpenAI, Sam Altman, deu algumas pistas: os rumores no Twitter eram falsos, ele não teria 100 trilhões de parâmetros e “as pessoas estão pedindo para se decepcionar”. Ele também disse: “vamos lançar o GPT-4 quando acharmos que está seguro e funcional”.

Imagem do autor

O que esperar do GPT-4?

• O tamanho do modelo não será muito maior que o do GPT-3.
• Modelos grandes otimizados com nova parametrização (μP).
• Treinamento com compute ótimo, aumentando tokens de treino para minimizar a perda.
• Será apenas texto. O GPT-4 não será multimodal como o DALL-E 2.
• Pode usar esparsidade para reduzir custos computacionais.
• Assim como o ChatGPT, será mais alinhado à intenção do usuário e aos nossos valores.

Saiba tudo sobre GPT-1, GPT-2, GPT-3 e GPT-4 no nosso post Everything We Know About GPT-4 So Far.

Criação de uma AGI segura

Na entrevista ao StrictlyVC, Altman comentou sobre o quão perto estamos de desenvolver a AGI (Inteligência Artificial Geral).

Ele disse: “Quanto mais perto chegamos, mais difícil é responder. Porque acho que será algo muito mais nebuloso e uma transição muito mais gradual do que as pessoas imaginam.”

Ele também desmentiu rumores: a OpenAI não tem uma AGI que aprende como humanos.

Imagem do autor

A OpenAI está no caminho para criar uma AGI segura, mas ainda está longe da perfeição. A AGI de que se fala seria um modelo multimodal que entende fala, texto, imagem e vídeo — a combinação de ChatGPT, DALLE-2, Whisper, um modelo de geração de vídeo e outros algoritmos de reforço.

Modelos multimodais

Para chegar à AGI, a OpenAI precisa avançar em modelos multimodais — não só texto para imagem, mas também texto para vídeo, áudio para vídeo e áudio. Isso significa conversar com um bot com voz e aparência naturais. Alguns desenvolvedores já demonstraram isso, como a persona de streamer da Twitch gerada por IA. Ainda não é perfeito, mas é um começo.

No StrictlyVC, Sam Altman disse que estão trabalhando em um modelo de vídeo — podemos supor com segurança que será geração de texto para vídeo com áudio, adicionando outra camada de complexidade. Já existem técnicas de geração de vídeo que sobrepõem quadros gerados via stable diffusion.

Google AI

A Google AI é a espinha dorsal do ecossistema do Google — está no Maps, Fotos, aplicativos e na Cloud. A empresa lidera o desenvolvimento de ferramentas e modelos de IA. Muitos produtos estão no Google Cloud, de AutoML a modelos de linguagem e visão de última geração.

O Google também lançou diversas ferramentas e modelos de ponta que mudaram os campos de NLP, processamento de fala e visão computacional. Do TensorFlow ao BERT (Bidirectional Encoder Representations from Transformers), o Google abriu novos caminhos para pesquisa e desenvolvimento em IA e machine learning.

Gif do LaMDA

Em 2020, o Google Research apresentou o Meena, um modelo neural conversacional que entende contexto e aprende a responder de forma coerente. Depois, lançou o LaMDA, semelhante ao ChatGPT — uma tecnologia de conversação baseada em transformers, mas treinada em diálogos.

Todo ano surgem novidades do Google e, no futuro, podemos esperar um Google Search ainda mais avançado, impulsionado pelo Bard, por modelos de linguagem, visão, geração e multimodais, tornando a IA mais versátil.

Google AI Bard

Após o lançamento do ChatGPT, circularam rumores de que ele seria o “assassino do Google”. A parceria ampliada entre Microsoft e OpenAI fortaleceu essa ideia. A Microsoft partiu para disputar a busca com o Bing turbinado pela OpenAI.

Como resposta, o Google lançou sua versão do ChatGPT: o Google AI Bard. Veja nossa comparação entre ChatGPT e Google Bard em um artigo à parte.

Gif de Bard and new AI features

Nas atualizações recentes, Sundar Pichai, CEO do Google e da Alphabet, apresentou o Bard, um serviço experimental de IA conversacional baseado no LaMDA. O Google informou que disponibilizou acesso a testadores confiáveis e que, nas próximas semanas, abriria ao público.

O Bard usa informações da web para fornecer respostas de alta qualidade. Diferente do modelo ChatGPT, o Bard é um serviço que combina o conhecimento do mundo com poder, inteligência e criatividade. Inicialmente, o Google o lançou com uma versão leve do LaMDA e, com o tempo, deve introduzir modelos de linguagem mais potentes.

Linguagem, visão e modelos generativos

Segundo relatórios recentes do Google Research, houve avanços em tecnologias de linguagem, visão computacional e modelos generativos.

Imagem do Google AI

• Grandes modelos de linguagem: o Pathways Language Model (PaLM) e o LaMDA mostraram resultados promissores. No futuro, espere modelos ainda melhores para IA conversacional e outras tarefas de NLP.
• Visão computacional: MaxViT (Multi-Axis Vision Transformer), Pix2Seq (framework de modelagem de linguagem para detecção de objetos) e avanços de 2D para 3D com interpolação de quadros de grande movimento.
• Geração de imagens: modelos fotorrealistas avançados: Imagen (difusão) e Parti (transformer autorregressivo). Ambos geram pixels de imagem a partir de texto.
• Geração de vídeo: o Google AI trabalhou em Imagen Video e Phenaki. O Imagen Video usa modelos de difusão em cascata para gerar vídeos de alta resolução; o Phenaki usa descrições textuais em domínio aberto para criar vídeos de duração variável.

Comece sua carreira em Deep Learning (IA) com a nossa trilha de habilidades Deep Learning in Python. São quatro cursos para levar seu machine learning a outro patamar.

Modelos multimodais

A maior parte dos modelos de ML foca uma única modalidade (classificação de texto, segmentação de imagem ou reconhecimento de fala). Mas, com DALL-E 2 e Stable Diffusion, as empresas passaram a priorizar modelos multimodais para chegar ao estado da arte.

O Google AI alcançou multimodalidade ao processar dados em camadas específicas por modalidade e misturar as features de diferentes modalidades em uma camada “gargalo”. Combinar modalidades também pode melhorar o desempenho em tarefas de modalidade única.

Gif do Google AI

Alguns dos avanços recentes do Google AI em modelos multimodais:

• Locked-image Tuning (LiT): adiciona compreensão de linguagem a modelos de imagem pré-treinados.
• PaLI: executa diversas tarefas em mais de 100 idiomas, como VQA, legendas de imagens, detecção de objetos com tradução, classificação de imagens e mais.
• VDTTS: modelo de text-to-speech guiado por sinais visuais, que usa o texto e os quadros originais do ator para gerar fala alinhada ao vídeo, preservando timing e emoção.
• Look and Talk: tecnologia multimodal que usa vídeo e áudio como entrada para conversas mais naturais com o Google Assistente, aprendendo pistas visuais e sonoras para decidir melhor se a pessoa está falando com o assistente.
• 4D-Net: combina nuvens de pontos 3D de veículos autônomos com outros sensores para entender melhor o ambiente e objetos e tomar decisões superiores.

É provável que, no futuro, esses modelos sejam incorporados ao ecossistema Google para aumentar o engajamento e impulsionar novos produtos.

IA e data science

A IA moderna é movida por data science, algoritmos e engenharia de dados. Para criar tecnologias como ChatGPT e LaMDA, é preciso começar pelos fundamentos: entender como tratar dados, aplicar técnicas de NLP e aprendizado por reforço, estudar deep learning e transformers e otimizar modelos.

Comece sua carreira em data science concluindo a trilha Data Scientist with Python. Ela ensina as habilidades essenciais para atuar como cientista de dados.

Imagem do autor

Agora, a pergunta que não quer calar: a IA vai substituir cientistas de dados, analistas ou engenheiros? A resposta curta é “não”. Talvez em um futuro distante, mas, mesmo assim, surgirão novos trabalhos — mais criativos e focados em decisão. À medida que a IA evolui, nós também evoluímos.

GitHub Copilot, DALL-E 2, ChatGPT e outras tecnologias de ponta estão aqui para nos apoiar — para deixar nosso trabalho mais produtivo e eficaz.

Andrej Karpathy, ex-diretor de IA da Tesla e da OpenAI, diz:

“O Copilot acelerou demais minha programação — é difícil imaginar voltar ao ‘código manual’. Ainda estou aprendendo a usar, mas ele já escreve ~80% do meu código, com ~80% de acerto. Eu nem ‘programo’ de fato: eu faço prompts e edito.” - Twitter

Isso mostra que muita gente que entende de tecnologia vai usar essas ferramentas para melhorar em programação, lógica, análise de dados e tomada de decisão.

Como data scientists podem usar IA?

1. Gerar dados realistas preservando a privacidade do usuário.
2. Escrever código elegante e eficiente.
3. Prototipar produtos.
4. Fazer análises de dados melhores usando prompts.
5. Gerar consultas SQL complexas a partir de linguagem natural.
6. Criar relatórios mais claros para stakeholders não técnicos.
7. Executar análises estatísticas complexas com explicações.
8. Aprender novas linguagens, habilidades, frameworks e conceitos.
9. Usar AutoML e ferramentas de otimização orientadas por IA para construir soluções de ML de ponta.
10. Criar scripts de automação para ganhar tempo e evitar erros.

Uma nova era de avanços em IA

A Microsoft, em parceria com a OpenAI, integrou o ChatGPT ao novo Bing — um copiloto para a web. Com isso, começou uma nova corrida por supremacia tecnológica.

A Microsoft planeja integrar o ChatGPT e outros modelos GPT em todo o seu ecossistema. Isso muda tudo: o usuário nem precisa sair do app — pode pesquisar, criar conteúdo, editar e gerar ideias apenas conversando com um bot.

Demonstração do Bing Copilot

No evento de Paris, o Google lançou o Bard, sua versão do ChatGPT, alimentado por uma versão leve do LaMDA. O Bard é bem parecido com o copiloto da Microsoft para a web: integrado ao buscador do Google e com recursos similares.

Lados negativos dos avanços em IA

• Grandes modelos de linguagem como o GPT podem ser usados em campanhas de desinformação no futuro — openai.com. Há potencial de causar danos físicos e emocionais.
• Conteúdos gerados por IA são otimizados para SEO e difíceis de detectar. Estudantes e profissionais podem usá-los para entregar trabalhos “originais” sem aprender o conteúdo. Leia mais sobre riscos e oportunidades na educação na documentação da OpenAI API.
• Questões de direitos autorais são reais. Muitos modelos foram treinados com textos online, alguns protegidos. Não é porque é IA que vale usar trabalho alheio sem autorização.
• Às vezes, a IA produz respostas factualmente erradas. Isso pode gerar grandes problemas se esses modelos forem aplicados, por exemplo, em órgãos de segurança pública.

Essas questões tendem a ser endereçadas com novas legislações para regular o uso de IA. Escolas e grandes plataformas de conteúdo já começaram a adotar políticas para conteúdo gerado por IA.

O que podemos fazer? Aprender sobre essas tecnologias e usá-las de forma ética. Você pode começar a aprender IA se matriculando na trilha de carreira Machine Learning Scientist with Python, que ensina as competências essenciais para conquistar uma vaga como engenheiro de IA.