OpenAI anuncia a Assistants API

No Dev Day da OpenAI, a empresa fez vários anúncios, incluindo uma nova Assistants API. Veja também os artigos sobre o GPT-4 Turbo e sobre os GPTs e a GPT Store para conferir os outros destaques.

A Assistants API amplia a API existente da OpenAI para facilitar que desenvolvedores criem assistentes de IA, como chatbots.

Quatro novos recursos foram anunciados:

1. "Threads" para ajudar a gerenciar conversas longas
2. "Retrieval" para facilitar o armazenamento de textos
3. Interpretação de código integrada
4. Melhorias na funcionalidade de chamadas de função (function calling).

Principais recursos da Assistants API

A seguir, vamos detalhar cada um desses recursos.

Gestão de conversas facilitada com threads

Embora algumas tarefas possam ser feitas enviando um único prompt para a API e recebendo uma única resposta, chatbots exigem uma conversa mais longa (ou "thread"). Até agora, cabia ao desenvolvedor rastrear o estado anterior da conversa e decidir quais mensagens passadas enviar para a API. À medida que a conversa cresce, isso exige enviar cada vez mais texto em cada chamada, o que reduz a performance.

Além disso, quando a conversa excede a "janela de contexto" (a quantidade de texto que o GPT consegue lembrar de uma vez), é preciso decidir: descartar mensagens antigas, tentar resumi-las ou armazená-las para decidir depois quais são relevantes e precisam ser incluídas? Isso rapidamente fica trabalhoso e atrasa o desenvolvimento.

As novas ferramentas de threading tornam o modelo da OpenAI de "stateless" (sem memória) para "stateful". Mensagens anteriores podem ser armazenadas no lado da OpenAI, evitando que o desenvolvedor se preocupe com esse gerenciamento.

Ferramentas de retrieval permitem armazenar mais textos

A apresentação da OpenAI também mencionou ferramentas de retrieval para armazenamento de texto. Isso foi apresentado como um segundo recurso, embora, como as threads parecem se apoiar nisso, não esteja claro o quão separado ele é.

Os detalhes técnicos foram escassos durante a apresentação, mas é possível supor como isso funciona. Hoje, incluir IA generativa em aplicações costuma exigir duas tecnologias: um large language model (LLM), como o GPT, e um banco de dados vetorial.

Bancos de dados vetoriais armazenam textos (ou imagens e outros tipos de dados não estruturados) como vetores numéricos por meio de embeddings. Depois, você pode recuperar esses trechos para incluir nos prompts. Um caso de uso típico é manter um repositório de fatos relacionados ao tema que você quer abordar.

Por exemplo, se você está criando um chatbot para responder dúvidas sobre os produtos da sua empresa, pode armazenar as informações de produto no banco vetorial e usá-las para garantir que o LLM forneça respostas factuais e precisas.

Os recursos de retrieval citados sugerem que a Assistants API pode oferecer acesso via API a um banco de dados vetorial. Isso abre possibilidades interessantes além das conversas mais longas, pois significaria que você não precisa usar um banco vetorial separado, como o Pinecone, o Milvus ou o Weaviate, para armazenar seus textos.

Por enquanto, isso é especulação; teremos que aguardar detalhes concretos da Assistants API.

Interpretação de código integrada

O ChatGPT conta com a ferramenta Advanced Data Analysis, que permite ao GPT gerar e executar código Python a partir de instruções em linguagem natural. Embora os detalhes na apresentação da OpenAI tenham sido um pouco vagos, foi sugerido que esse recurso estará integrado à Assistants API, permitindo que você envie prompts para o GPT executar código em Python.

Function calling aprimorado facilita a integração com outros softwares

O recurso de function calling da API permite escrever uma instrução em linguagem natural e receber do GPT uma string JSON que representa a chamada de uma função que você definiu. Isso é importante para agentes de IA, projetados para executar tarefas a partir de entradas em linguagem natural.

O anúncio descreve duas melhorias nesse recurso. Primeiro, há um "modo JSON" em que a resposta é garantida como um JSON válido e deve aderir melhor à assinatura de função especificada. Até então, havia a chance de a resposta ser inválida, exigindo rotinas robustas de detecção de erros no seu software.

A nova funcionalidade deve simplificar a criação de agentes de IA e facilitar a construção de interfaces em linguagem natural para softwares.

Resumo

Embora a revolução da IA generativa em 2023 tenha sido impressionante, ainda era preciso muita engenharia de software para incorporar IA generativa a outros sistemas. A Assistants API promete reduzir um pouco essa barreira de entrada, permitindo que mais produtos adotem a tecnologia com mais agilidade.

Continue aprendendo

A DataCamp tem vários cursos para ensinar você a usar a OpenAI API. Comece com Working with the OpenAI API e siga para Introduction to Embeddings with the OpenAI API.

Você também pode aprender sobre a API de function calling no OpenAI Function Calling Tutorial.