O que é a Prompt Engineering? Um guia detalhado para 2024

A forma como interagimos com a tecnologia está em constante evolução. Um dos avanços recentes mais empolgantes está no campo da inteligência artificial (IA), em que as máquinas são treinadas para pensar, aprender e até mesmo se comunicar como seres humanos. Entre a miríade de desenvolvimentos em áreas como a IA generativa, há uma arte sutil que está ganhando destaque: a engenharia de prontidão.

Imagine ter uma conversa com uma máquina em que você fornece uma dica ou um "prompt" e ela responde com informações ou ações relevantes. Essa é a essência da engenharia imediata. Trata-se de elaborar as perguntas ou instruções corretas para orientar os modelos de IA, especialmente os modelos de linguagem grande (LLMs), para produzir os resultados desejados. Se você é um entusiasta da tecnologia curioso sobre as últimas novidades em IA ou um profissional que deseja aproveitar o poder dos modelos de linguagem, é fundamental entender a engenharia de prompt.

Ao longo deste artigo, desmistificaremos as complexidades técnicas da engenharia de prompt e, ao mesmo tempo, forneceremos uma visão de sua importância no cenário mais amplo da IA. E para aqueles que desejam se aprofundar no mundo da IA e do processamento de linguagem, incluímos uma série de recursos para ajudá-lo a aprender mais.

O que é a Prompt Engineering?

Em sua essência, a engenharia imediata é semelhante a ensinar uma criança por meio de perguntas. Assim como uma pergunta bem formulada pode orientar o processo de pensamento de uma criança, um prompt bem elaborado pode direcionar um modelo de IA, especialmente um Modelo de Linguagem Grande (LLM), para um resultado específico. Vamos explorar esse conceito em mais detalhes.

Definição e conceitos básicos

A engenharia de prompts é a prática de projetar e refinar prompts - perguntas ou instruções - para obter respostas específicas dos modelos de IA. Pense nisso como a interface entre a intenção humana e o resultado da máquina.

No vasto domínio da IA, em que os modelos são treinados com base em enormes conjuntos de dados, o prompt correto pode ser a diferença entre um modelo entender sua solicitação ou interpretá-la incorretamente.

Por exemplo, se você já interagiu com assistentes de voz, como a Siri ou a Alexa, você se envolveu em uma forma básica de engenharia de prompt. A maneira como você formula sua solicitação - "Toque uma música relaxante" versus "Toque a Sinfonia de Beethoven" - pode gerar resultados muito diferentes.

O lado técnico da engenharia de prontidão

A engenharia de prontidão, embora esteja enraizada na arte da linguagem, está profundamente entrelaçada com as complexidades técnicas dos modelos de IA. Veja a seguir uma análise mais detalhada do aspecto técnico:

• Arquiteturas de modelos. Modelos de idiomas grandes (LLMs), como o GPT (Generative Pre-trained Transformer) e o PaLM2 (Powering Bard) do Google, são desenvolvidos em arquiteturas de transformadores. Essas arquiteturas permitem que os modelos lidem com grandes quantidades de dados e compreendam o contexto por meio de mecanismos de autoatenção. A elaboração de prompts eficazes geralmente requer uma compreensão dessas arquiteturas subjacentes.
• Dados de treinamento e tokenização. Os LLMs são treinados em vastos conjuntos de dados, tokenizando os dados de entrada em partes menores (tokens) para processamento. A escolha da tokenização (baseada em palavras, pares de bytes, etc.) pode influenciar a forma como um modelo interpreta um prompt. Por exemplo, uma palavra tokenizada de forma diferente pode gerar resultados variados.
• Parâmetros do modelo. Os LLMs têm milhões, se não bilhões, de parâmetros. Esses parâmetros, ajustados com precisão durante o processo de treinamento, determinam como o modelo responde a um prompt. Entender a relação entre esses parâmetros e os resultados do modelo pode ajudar na elaboração de prompts mais eficazes.
• Temperatura e amostragem Top-k. Ao gerar respostas, os modelos usam técnicas como ajuste de temperatura e amostragem top-k para determinar a aleatoriedade e a diversidade dos resultados. Por exemplo, uma temperatura mais alta pode gerar respostas mais diversificadas (mas possivelmente menos precisas). Os engenheiros do Prompt geralmente ajustam essas configurações para otimizar os resultados do modelo.
• Funções de perda e gradientes. Em um nível mais profundo, o comportamento do modelo durante a resposta imediata é influenciado por suas funções de perda e gradientes. Essas construções matemáticas orientam o processo de aprendizado do modelo. Embora os engenheiros de prontidão normalmente não os ajustem diretamente, a compreensão de seu impacto pode fornecer informações sobre o comportamento do modelo.

Para os interessados em entender o funcionamento interno desses modelos, nosso tutorial Transformers and Hugging Face oferece um mergulho profundo na mecânica por trás dos LLMs populares.

Por que a engenharia imediata é importante

Em uma época em que as soluções orientadas por IA estão se tornando onipresentes - de chatbots no atendimento ao cliente a geradores de conteúdo com tecnologia de IA -, a engenharia de prompts é a ponte que garante a comunicação eficaz entre humanos e IA. Não se trata apenas de obter a resposta certa; trata-se de garantir que a IA compreenda o contexto, as nuances e a intenção por trás de cada consulta.

A evolução dos prompts de engenharia

A engenharia de prompts, embora seja uma disciplina relativamente recente, está profundamente enraizada na história mais ampla do Processamento de Linguagem Natural (PLN) e do aprendizado de máquina. A compreensão de sua evolução fornece o contexto de sua importância atual.

Os primeiros dias da PNL

As origens da PNL remontam à metade do século XX, com o advento dos computadores digitais. Os primeiros esforços em PNL eram baseados em regras, contando com regras elaboradas manualmente e algoritmos simples. Esses sistemas eram rígidos e tinham dificuldades para lidar com as complexidades e as nuances da linguagem humana.

PNL estatística e aprendizado de máquina

Com o aumento da capacidade de computação e o crescimento dos conjuntos de dados, o final do século XX e o início do século XXI viram uma mudança em direção aos métodos estatísticos. Os algoritmos de aprendizado de máquina começaram a desempenhar um papel fundamental, permitindo modelos de linguagem mais flexíveis e orientados por dados. No entanto, esses modelos ainda tinham limitações na compreensão do contexto e na geração de um texto longo coerente.

Aumento dos modelos baseados em transformadores

A introdução da arquitetura do transformador no artigo "Attention is All You Need" em 2017 marcou um ponto de virada significativo. Os transformadores, com seus mecanismos de autoatenção, podem processar grandes quantidades de dados e capturar padrões de linguagem complexos. Isso levou ao desenvolvimento de modelos como o BERT do Google, que revolucionou tarefas como classificação de texto e análise de sentimentos.

O impacto da GPT da OpenAI

A série Generative Pre-trained Transformer (GPT) da OpenAI, especialmente a GPT-2 e a GPT-3, levou os transformadores para o próximo nível. Esses modelos, com seus bilhões de parâmetros, demonstraram uma capacidade sem precedentes de gerar textos coerentes, contextualmente relevantes e, muitas vezes, indistinguíveis dos textos humanos. O surgimento dos modelos de GPT ressaltou a importância da engenharia de prompts, pois a qualidade dos resultados passou a depender muito da precisão e da clareza dos prompts.

Engenharia imediata hoje

Com a adoção generalizada de modelos baseados em transformadores em indústrias, pesquisas e aplicações cotidianas, a engenharia de prontidão surgiu como uma disciplina crucial. É a ponte que garante que esses modelos avançados sejam aproveitados de forma eficaz, tornando as ferramentas de IA mais acessíveis e fáceis de usar.

Seja para liberar a criatividade com IA generativa ou para usar o ChatGPT em projetos de ciência de dados, entender como os prompts funcionam está se tornando cada vez mais importante.

A arte e a ciência da criação de prompts

A elaboração de um prompt eficaz é tanto uma arte quanto uma ciência. É uma arte porque exige criatividade, intuição e um profundo entendimento da linguagem. É uma ciência porque se baseia na mecânica de como os modelos de IA processam e geram respostas.

As sutilezas do estímulo

Cada palavra em um prompt é importante. Uma pequena mudança na frase pode levar a resultados muito diferentes de um modelo de IA. Por exemplo, pedir a um modelo para "Descrever a Torre Eiffel" versus "Narrar a história da Torre Eiffel" produzirá respostas diferentes. A primeira pode fornecer uma descrição física, enquanto a segunda se aprofunda em seu significado histórico.

Compreender essas nuances é essencial, especialmente quando se trabalha com LLMs. Esses modelos, treinados em vastos conjuntos de dados, podem gerar uma ampla gama de respostas com base nos sinais que recebem. Não se trata apenas de fazer uma pergunta; trata-se de formulá-la de uma forma que se alinhe ao resultado desejado.

Vimos isso em nosso guia sobre como usar o Midjourney para criar recursos visuais - a diferença entre adicionar pesos aos seus prompts para o termo "nave espacial" pode gerar imagens de naves espaciais de ficção científica ou de uma nave navegando pelo espaço.

Fonte da imagem

Elementos-chave de um prompt

Vamos examinar os aspectos que compõem um bom prompt:

• Instrução. Essa é a diretriz principal do prompt. Ele informa ao modelo o que você deseja que ele faça. Por exemplo, "Resumir o texto a seguir" fornece uma ação clara para o modelo.
• Contexto. O contexto fornece informações adicionais que ajudam o modelo a entender o cenário ou o histórico mais amplo. Por exemplo, "Considerando a desaceleração econômica, forneça consultoria de investimento" fornece ao modelo um pano de fundo para estruturar sua resposta.
• Dados de entrada. Essas são as informações ou os dados específicos que você deseja que o modelo processe. Pode ser um parágrafo, um conjunto de números ou até mesmo uma única palavra.
• Indicador de saída. Especialmente útil em cenários de dramatização, esse elemento orienta o modelo sobre o formato ou o tipo de resposta desejada. Por exemplo, "No estilo de Shakespeare, reescreva a seguinte frase" dá ao modelo uma direção estilística.

Em nosso guia específico sobre a engenharia de prompts do ChatGPT, analisamos alguns exemplos específicos de bons prompts para a ferramenta.

ChatGPT prompt engineering at work

Para uma abordagem prática, o curso da DataCamp sobre a criação de chatbots em Python oferece exercícios de elaboração de prompts para interações de chatbot.

Técnicas de engenharia rápida

A criação do prompt perfeito geralmente envolve experimentação. Aqui estão algumas técnicas que podem ajudar:

Técnicas básicas

Essas são dicas que o usuário comum pode usar para melhorar seus prompts.

• Interpretação de papéis. Ao fazer com que o modelo atue como uma entidade específica, como um historiador ou um cientista, você pode obter respostas personalizadas. Por exemplo, "Como nutricionista, avalie o seguinte plano de dieta" pode gerar uma resposta fundamentada na ciência da nutrição.
• Refinamento iterativo. Comece com um prompt amplo e refine-o gradualmente com base nas respostas do modelo. Esse processo iterativo ajuda a aprimorar o prompt até a perfeição.
• Loops de feedback. Use os resultados do modelo para informar e ajustar os prompts subsequentes. Essa interação dinâmica garante que as respostas do modelo se alinhem mais às expectativas do usuário ao longo do tempo.

Técnicas avançadas

Aqui, vemos estratégias mais complexas que exigem uma compreensão mais profunda do comportamento do modelo.

• Solicitação de disparo zero. Essa técnica envolve fornecer ao modelo uma tarefa que ele não tenha visto durante o treinamento. Ele testa a capacidade do modelo de generalizar e produzir resultados relevantes sem depender de exemplos anteriores.
• Solicitação de poucos disparos/aprendizagem contextual. Aqui, o modelo recebe alguns exemplos (fotos) para orientar sua resposta. Ao fornecer contexto ou instâncias anteriores, o modelo pode entender melhor e gerar o resultado desejado. Por exemplo, mostrar a um modelo vários exemplos de frases traduzidas antes de pedir que ele traduza uma nova frase.
• Cadeia de pensamento (CoT). Essa técnica avançada envolve a orientação do modelo por meio de uma série de etapas de raciocínio. Ao dividir uma tarefa complexa em etapas intermediárias ou "cadeias de raciocínio", o modelo pode obter uma melhor compreensão da linguagem e resultados mais precisos. É como orientar alguém passo a passo em um problema complexo de matemática.

Para aqueles que desejam se aprofundar no método por trás dessas técnicas, nosso curso de PNL avançada com o spaCy oferece exercícios práticos e exemplos do mundo real.

O equilíbrio entre especificidade e abertura

Embora a especificidade em um prompt possa levar a respostas mais precisas, também é importante deixar os prompts um pouco abertos. Isso permite que o modelo utilize seu vasto treinamento e forneça percepções ou respostas que podem não ser imediatamente óbvias. Por exemplo, a pergunta "Tell me something interesting about the solar system" (Diga-me algo interessante sobre o sistema solar) é aberta, mas pode gerar percepções fascinantes do modelo.

Com ferramentas como o Google Bard, você pode ser tão específico ou aberto quanto precisar

Como funciona o Prompt Engineering

Elaborar o prompt inicial é apenas o começo. Para realmente aproveitar o poder dos modelos de IA e garantir que eles estejam alinhados com a intenção do usuário, é essencial refinar e otimizar os prompts. Esse processo iterativo é uma mistura de arte e ciência, exigindo intuição e percepções baseadas em dados.

1. Criar um prompt adequado

Exploramos alguns prompts do ChatGPT para marketing em um artigo separado, bem como compilamos uma folha de dicas do ChatGPT que abrange muitos dos detalhes dessa ferramenta específica. No entanto, há muitas ferramentas (como LlamaIndex e Langchain ) que exigem prompts. Aqui estão algumas das regras gerais para a criação de prompts para ferramentas de IA:

• A clareza é fundamental. Certifique-se de que a solicitação seja clara e inequívoca. Evite jargões, a menos que sejam necessários para o contexto.
• Experimente a interpretação de papéis. Conforme discutido anteriormente, fazer com que o modelo assuma uma função específica pode gerar respostas mais personalizadas.
• Restrições de uso. A definição de limites ou restrições pode ajudar a orientar o modelo para o resultado desejado. Por exemplo, "Descreva a Torre Eiffel em três frases" oferece uma restrição clara de comprimento.
• Evite perguntas que induzam ao erro. As perguntas indutoras podem influenciar o resultado do modelo. É essencial manter-se neutro para obter uma resposta imparcial.

Para os interessados em exercícios práticos de refinamento de prompts, o tutorial sobre o ajuste fino do GPT-3 oferece insights práticos.

2. Iterar e avaliar

O processo de refinamento dos prompts é iterativo. Aqui está um fluxo de trabalho típico:

• Redija o prompt inicial. Com base na tarefa em questão e no resultado desejado.
• Teste o prompt. Use o modelo de IA para gerar uma resposta.
• Avalie o resultado. Verifique se a resposta está alinhada com a intenção e atende aos critérios.
• Refinar o prompt. Faça os ajustes necessários com base na avaliação.
• Repetir. Continue esse processo até obter a qualidade de saída desejada.

Durante esse processo, também é essencial considerar diversas entradas e cenários para garantir a eficácia do prompt em uma série de situações.

3. Calibrar e fazer o ajuste fino

Além de refinar o próprio prompt, há também a possibilidade de calibrar ou ajustar o modelo de IA. Isso envolve o ajuste dos parâmetros do modelo para melhor alinhamento com tarefas ou conjuntos de dados específicos. Embora essa seja uma técnica mais avançada, ela pode melhorar significativamente o desempenho do modelo para aplicativos especializados.

Para um mergulho mais profundo na calibração e no ajuste fino do modelo, nosso curso sobre conceitos de LLM abrange técnicas e treinamento de ajuste fino.

A função de um engenheiro de prontidão

À medida que a IA continua a moldar os setores e a redefinir a maneira como interagimos com a tecnologia, uma nova função surgiu na vanguarda: o Prompt Engineer. Essa função é fundamental para preencher a lacuna entre a intenção humana e a compreensão da máquina, garantindo que os modelos de IA se comuniquem de forma eficaz e produzam resultados relevantes.

Um novo caminho de carreira em IA?

Os rápidos avanços no Processamento de Linguagem Natural (PLN) e a adoção generalizada de Modelos de Linguagem Grandes (LLMs) criaram uma demanda de nicho, porém crucial, por especialistas que possam criar prompts eficazes. Essas pessoas, conhecidas como engenheiros de prompt, não são apenas técnicos, mas artistas que entendem as nuances da linguagem, do contexto e do comportamento da IA.

Conforme relatado na revista Time, entre outros, as empresas, de gigantes da tecnologia a startups, estão reconhecendo o valor das funções especializadas de engenharia imediata. À medida que as soluções orientadas por IA se tornam mais integradas a produtos e serviços, a experiência de um engenheiro do Prompt garante que essas soluções sejam eficazes, fáceis de usar e contextualmente relevantes.

Sites de emprego como o Indeed e o LinkedIn já estão listando milhares de empregos de engenheiro de prontidão somente nos EUA, com salários que variam de US$ 50.000 a mais de US$ 150.000 por ano.

Vagas de engenheiro de prontidão anunciadas no Indeed

Habilidades técnicas para engenharia imediata

Dependendo da função exata e de seu nível técnico, um engenheiro de prontidão precisa de uma base sólida em várias áreas técnicas:

• Conhecimento de PNL. É essencial ter um conhecimento profundo das técnicas e dos algoritmos de processamento de linguagem natural.
• Familiaridade com LLMs. Experiência com modelos como GPT, PaLM2 e outros modelos emergentes e suas arquiteturas subjacentes.
• Experimentação e iteração. Capacidade de testar, refinar e otimizar os prompts com base nos resultados do modelo.
• Análise de dados. Analisar as respostas do modelo, identificar padrões e tomar decisões baseadas em dados.

Para aqueles que desejam adquirir ou aprimorar suas habilidades técnicas, nosso curso de habilidades em Processamento de Linguagem Natural em Python oferece um currículo abrangente adequado para aspirantes a engenheiros de prontidão.

Habilidades não técnicas para engenharia imediata

Embora a proeza técnica seja vital, um engenheiro de prontidão também precisa de um conjunto de habilidades não técnicas:

• Comunicação. Capacidade de transmitir ideias, colaborar com equipes e entender as necessidades dos usuários.
• Especialização no assunto. Dependendo do aplicativo, o conhecimento específico do domínio pode ser inestimável.
• Proficiência em idiomas. Domínio da linguagem, da gramática e da semântica para criar prompts eficazes.
• Pensamento crítico. Avaliar os resultados do modelo, identificar vieses e garantir práticas éticas de IA.
• Criatividade. Pensar fora da caixa, experimentar novos estilos de prompt e soluções inovadoras.

Essas habilidades interpessoais, combinadas com o conhecimento técnico, tornam a função de um engenheiro de prontidão desafiadora e gratificante, abrindo caminho para uma nova era de colaboração entre humanos e IA.

O futuro da Prompt Engineering

Como estamos no limiar de uma era impulsionada pela IA, a engenharia de prontidão está pronta para desempenhar um papel fundamental na formação do futuro das interações entre humanos e IA. O campo, embora relativamente incipiente, é imensamente promissor e tem potencial de crescimento.

Pesquisas e desenvolvimentos em andamento

O mundo da IA é dinâmico, com pesquisas e inovações surgindo em um ritmo acelerado. No contexto da engenharia imediata:

• Solicitação adaptativa. Os pesquisadores estão explorando maneiras de os modelos gerarem adaptativamente seus próprios avisos com base no contexto, reduzindo a necessidade de entrada manual.
• Prompts multimodais. Com o surgimento de modelos de IA multimodais que podem processar textos e imagens, o escopo da engenharia de prontidão está se expandindo para incluir dicas visuais.
• Solicitação ética. À medida que a ética da IA ganha destaque, há um foco na elaboração de prompts que garantam justiça, transparência e mitigação de preconceitos.

Para aqueles que desejam se manter atualizados com os últimos desenvolvimentos, nosso artigo sobre ética em IA generativa abrange algumas das grandes questões que estamos enfrentando no momento. Você também pode explorar as habilidades do engenheiro de IA e onde elas se sobrepõem à engenharia imediata em um guia separado. 

O valor e a relevância a longo prazo

A engenharia imediata não é apenas uma tendência passageira. À medida que os modelos de IA se tornam mais complexos e integrados a diversos aplicativos - da área da saúde ao entretenimento -, a necessidade de uma comunicação eficaz se torna fundamental. Os engenheiros de prontidão serão os elementos fundamentais para garantir que esses modelos sejam acessíveis, fáceis de usar e contextualmente relevantes.

Além disso, à medida que a IA se democratiza e mais pessoas sem conhecimento técnico começam a interagir com esses modelos, a função de um engenheiro de prontidão evoluirá. Eles serão responsáveis por criar interfaces intuitivas, elaborar avisos fáceis de usar e garantir que a IA continue sendo uma ferramenta que aumenta as capacidades humanas.

Desafios e oportunidades

Como qualquer outro campo emergente, a engenharia de prompt vem com seu conjunto de desafios:

• Complexidade dos modelos. À medida que os modelos aumentam em tamanho e complexidade, a elaboração de prompts eficazes se torna mais desafiadora.
• Preconceito e imparcialidade. Garantir que os prompts não introduzam ou ampliem inadvertidamente as tendências nos resultados do modelo.
• Colaboração interdisciplinar. A engenharia de prontidão está na interseção da linguística, da psicologia e da ciência da computação, exigindo a colaboração entre as disciplinas.

No entanto, esses desafios também apresentam oportunidades. Eles impulsionam a inovação, promovem a colaboração interdisciplinar e preparam o caminho para a próxima geração de ferramentas e soluções de IA.

Considerações finais

O campo da inteligência artificial é vasto, complexo e está em constante evolução. À medida que percorremos os meandros da engenharia de prontidão, ficou evidente que esse campo é mais do que apenas um empreendimento técnico - é uma ponte entre a intenção humana e a compreensão da máquina. É a arte sutil de fazer as perguntas certas para obter as respostas desejadas.

A engenharia de prompts, embora seja uma disciplina relativamente nova, é a chave para desbloquear todo o potencial dos modelos de IA, especialmente os modelos de linguagem grande. À medida que esses modelos se tornam cada vez mais integrados em nossa vida cotidiana, a importância de uma comunicação eficaz não pode ser subestimada. Seja um assistente de voz que ajuda nas tarefas diárias, um chatbot que fornece suporte ao cliente ou uma ferramenta de IA que ajuda os pesquisadores, a qualidade da interação depende dos avisos que os orientam.

Para entusiastas de dados, profissionais e até mesmo para o público em geral, entender a engenharia de prompt não se trata apenas de uma melhor comunicação de IA. Trata-se de vislumbrar um futuro em que a IA se integre perfeitamente em nossas vidas, aumentando nossas capacidades e enriquecendo nossas experiências.

Neste momento, o futuro da engenharia de prontidão é brilhante, repleto de desafios a serem superados e marcos a serem alcançados. Para aqueles que estão intrigados com esse campo, a jornada está apenas começando. Saiba como aprender IAem nosso guia separado ou aprenda a treinar seu próprio LLM com o PyTorch em nosso tutorial.