O operador usa um navegador virtual para navegar em sites. Esse ambiente virtual permite que ele interaja com interfaces gráficas de usuário (GUIs) como um usuário humano faria. Em vez de exigir que os sites tenham APIs especializadas, o Operator interpreta o layout visual de uma página da Web, clica em botões, digita em campos e rola pelo conteúdo.
O operador depende de instruções em linguagem simples para entender o que os usuários precisam. Depois que a tarefa é definida, ele processa as instruções, divide-as em etapas acionáveis e as executa enquanto fornece feedback ao usuário. O operador também pode solicitar esclarecimentos ou confirmações para ações críticas, como o envio de um formulário ou a conclusão de um pagamento, garantindo maior controle sobre o resultado.
O que é um agente de uso de computador (CUA)?
O CUA (Computer-Using Agent) é a principal tecnologia que alimenta o Operator. Combinando os recursos de visão do GPT-4o com raciocínio avançado por meio de aprendizado por reforçoO CUA é treinado para interagir com interfaces gráficas de usuário - os botões, menus e campos de texto que as pessoas veem em uma tela.
Percepção
O CUA começa processando dados brutos de pixels a partir de capturas de tela. Ele usa essas informações visuais para identificar os principais elementos da interface, como botões, campos de entrada e menus de navegação.
Raciocínio
Depois que os dados visuais são analisados, o CUA aplica o raciocínio de cadeia de pensamento para planejar suas ações. Ao integrar capturas de tela atuais e anteriores, ele avalia suas observações, divide as tarefas em etapas menores e se adapta dinamicamente aos desafios. Por exemplo, se um pop-up aparecer durante uma tarefa (como o anúncio que vimos no exemplo acima), a CUA poderá ajustar sua abordagem e encontrar uma maneira de continuar, da mesma forma que um usuário humano faria.
Ação
O CUA usa entradas virtuais de mouse e teclado para executar ações como clicar, digitar, rolar e enviar formulários. Essa funcionalidade permite que ele execute tarefas de forma autônoma, seja selecionando um item em um menu suspenso ou navegando em um formulário de várias etapas.
Para ações críticas, como efetuar pagamentos ou fazer login em contas, a CUA busca a confirmação do usuário antes de prosseguir, garantindo que os usuários mantenham o controle sobre operações confidenciais.
Referências da CUA
O CUA alcançou o desempenho mais avançado (SOTA) em vários benchmarks:
Perguntas frequentes
O OpenAI Operator pode lidar com mais de uma tarefa ao mesmo tempo?
Sim, o Operator foi projetado para gerenciar várias tarefas simultaneamente. Você pode ter conversas separadas para cada tarefa, e o Operator é executado em paralelo. Por exemplo, você pode fazer com que o Operador encomende mantimentos no Instacart e, ao mesmo tempo, faça uma reserva no Booking.com.
O OpenAI Operator é um agente de IA?
Sim, o OpenAI Operator é um agente de IA projetado para executar tarefas de forma autônoma para você. Ele interage com sites navegando, clicando e preenchendo formulários, permitindo que você automatize atividades. Saiba mais sobre agentes de IA em nossa postagem no blog: Entendendo os agentes de IA: O futuro dos sistemas autônomos.
Como o Operator funciona?
Com base no modelo CUA (Computer-Using Agent), o Operator interage com páginas da Web visualizando capturas de tela e executando ações com o mouse e o teclado. Ele pode se autocorrigir ou solicitar ajuda do usuário quando necessário.
Quem pode usar o Operator agora mesmo e como você pode começar?
O Operator está disponível para usuários Pro nos EUA. Se você tiver uma assinatura Pro, poderá acessar operator.chatgpt.com para começar. Tente descrever uma tarefa, e o Operator cuidará dela.
Quais são as limitações atuais do Operator?
Como o Operator ainda é uma prévia de pesquisa, ele pode ter dificuldades com tarefas complexas, como criar apresentações de slides ou gerenciar calendários.
A Operator estará disponível em dispositivos móveis?
Ainda não há confirmação sobre o suporte móvel para o Operator, mas sua capacidade de interagir com interfaces da Web pode torná-lo adaptável a plataformas móveis no futuro, à medida que a tecnologia se desenvolve.
Como o Operator se compara a assistentes de voz como a Siri ou o Google Assistant?
O Operator se concentra em tarefas baseadas na Web e na interação direta com sites, enquanto os assistentes de voz tradicionais geralmente dependem de integrações de aplicativos ou APIs predefinidas. A capacidade do Operator de imitar ações humanas, como clicar e rolar a tela, o diferencia em termos de versatilidade para tarefas on-line complexas.
O Operator pode lidar com sites que usam CAPTCHA ou recursos avançados de segurança?
Atualmente, o operador depende da entrada do usuário para tarefas que envolvem CAPTCHAs ou logins confidenciais. Ele não ignora esses sistemas automaticamente, mas pode navegar pelos fluxos de trabalho assim que essas barreiras forem resolvidas.

Autor
Josef Waples







A OpenAI anunciou recentemente o Operator, um agente de agente de IA projetado para lidar com tarefas baseadas na Web por conta própria. Ele pode lidar com tarefas como reservar uma mesa ou fazer compras on-line, simplificando as interações digitais para as tarefas diárias.
No entanto, acreditamos que seu potencial vai além da conveniência - ele pode capacitar as pessoas que não têm conhecimentos de informática, permitindo que elas concluam tarefas como preencher formulários ou navegar em sites complexos com facilidade.
Além disso, com uma maior integração dos comandos de voz, ele poderia fornecer uma solução mais acessível para pessoas com deficiências, como aquelas com deficiências visuais.
A Operator entra em um campo competitivo que inclui os recursos de uso de computador da Anthropic da Anthropic e o Project Mariner do Google. Uma diferença é que as ferramentas do Anthropic exigem conhecimento de programação (por enquanto), enquanto o Operator permite que os usuários forneçam instruções em linguagem simples, tornando-o mais acessível.
Neste blog, explicaremos o que é o Operator, exploraremos sua tecnologia principal (CUA), descreveremos seus casos de uso e limitações e discutiremos onde ele se encaixa no contexto mais amplo dos agentes de IA.
O que é um operador?
Operator é o primeiro agente de IA da OpenAI, projetado para executar tarefas de forma autônoma na Web. Um agente de IA é um sistema que pode receber instruções, raciocinar sobre elas e executar ações sem supervisão humana constante.
Diferentemente das ferramentas de automação tradicionais que dependem de APIs predefinidas ou de fluxos de trabalho rígidos, o Operator interage diretamente com os sites, imitando ações humanas como clicar, digitar e rolar a tela. Seu principal objetivo é simplificar as tarefas digitais que, de outra forma, poderiam exigir esforço manual ou conhecimento técnico.
Isso o torna adequado para atividades cotidianas, como gerenciamento de reservas ou preenchimento de formulários, bem como para fluxos de trabalho mais complexos e de várias etapas. Aqui está um exemplo de uso do Operator: