¿Qué es la ingeniería de prompts? Una guía detallada para 2024

La forma en que interactuamos con la tecnología evoluciona constantemente. Uno de los avances recientes más emocionantes se ha producido en el ámbito de la inteligencia artificial (IA), donde se entrena a las máquinas para que piensen, aprendan e incluso se comuniquen como los humanos. Entre la miríada de avances en áreas como la IA generativa, hay un sutil arte que está ganando protagonismo: la ingeniería de prompts.

Imagina que mantienes una conversación con una máquina en la que le das una señal o un "prompt" y ella responde con información o acciones relevantes. Esa es la esencia de la ingeniería de prompts. Se trata de crear las preguntas o instrucciones adecuadas para guiar a los modelos de IA, especialmente a los grandes modelos lingüísticos (LLM), para que produzcan los resultados deseados. Tanto si eres un entusiasta de la tecnología que siente curiosidad por lo último en IA como si eres un profesional que quiere aprovechar el poder de los modelos lingüísticos, comprender la ingeniería de prompts es crucial.

A lo largo de este artículo, desmitificaremos las complejidades técnicas de la ingeniería de prompts y ofreceremos una visión de su importancia en el panorama más amplio de la IA. Y, para quienes deseen profundizar en el mundo de la IA y el procesamiento de lenguaje, hemos incluido una serie de recursos que ayudarán a aprender más.

¿Qué es la ingeniería de prompts?

En esencia, la ingeniería de prompts se parece a enseñar a un niño mediante preguntas. Igual que una pregunta bien formulada puede guiar el proceso de pensamiento de un niño, un buen prompt puede dirigir un modelo de IA, especialmente un modelo de lenguaje grande (LLM), hacia un resultado específico. Exploremos este concepto con más detalle.

Definición y conceptos básicos

La ingeniería de prompts es la práctica de diseñar y refinar prompts (preguntas o instrucciones) para obtener respuestas específicas de los modelos de IA. Piensa en ella como la interfaz entre la intención humana y el resultado de la máquina.

En el vasto reino de la IA, donde los modelos se entrenan con enormes conjuntos de datos, el prompt correcto puede ser la diferencia entre que un modelo entienda tu petición o la malinterprete.

Por ejemplo, si alguna vez has interactuado con asistentes de voz como Siri o Alexa, has participado en una forma básica de ingeniería de prompts. La forma en que expreses tu petición ("Pon música relajante" frente a "Pon la Sinfonía de Beethoven") puede producir resultados muy distintos.

El lado técnico de la ingeniería de prompts

La ingeniería de prompts, aunque tiene sus raíces en el arte del lenguaje, está profundamente interrelacionada con las complejidades técnicas de los modelos de IA. Aquí tienes un análisis más detallado del aspecto técnico:

• Arquitecturas de los modelos. Los grandes modelos lingüísticos (LLM), como los transformadores generativos preentrenados (GPT) y PaLM2 (Powering Bard) de Google, se basan en arquitecturas de transformadores. Estas arquitecturas permiten a los modelos manejar grandes cantidades de datos y comprender el contexto mediante mecanismos de autoatención. Elaborar prompts eficaces suele requerir comprender estas arquitecturas subyacentes.
• Datos de entrenamiento y tokenización. Los LLM se entrenan con grandes conjuntos de datos, tokenizando los datos de entrada en fragmentos menores (tokens) para su procesamiento. La elección de la tokenización (basada en palabras, en pares de bytes, etc.) puede influir en la forma en que un modelo interpreta un prompt. Por ejemplo, una palabra tokenizada de forma diferente puede dar resultados distintos.
• Parámetros del modelo. Los LLM tienen millones, si no miles de millones, de parámetros. Estos parámetros, ajustados durante el proceso de entrenamiento, determinan cómo responde el modelo a un prompt. Comprender la relación entre estos parámetros y los resultados del modelo puede ayudar a elaborar prompts más eficaces.
• Temperatura y Top-k Sampling. Al generar respuestas, los modelos utilizan técnicas como el ajuste de temperatura y el Top-k Sampling para determinar la aleatoriedad y diversidad de los resultados. Por ejemplo, una temperatura más alta podría producir respuestas más diversas (pero potencialmente menos exactas). Los ingenieros de prompts suelen ajustar esta configuración para optimizar los resultados del modelo.
• Funciones de pérdida y gradientes. A un nivel más profundo, en el comportamiento del modelo durante la respuesta a los prompts influyen sus funciones de pérdida y gradientes. Estos constructos matemáticos guían el proceso de aprendizaje del modelo. Aunque los ingenieros de prompts no suelen ajustarlos directamente, comprender su impacto puede aportar información sobre el comportamiento del modelo.

Para quienes tengan interés en comprender el funcionamiento interno de esos modelos, nuestro tutorial Transformadores y Hugging Face ofrece una inmersión profunda en la mecánica que hay detrás de populares LLM.

Por qué es importante la ingeniería de prompts

En una época en la que las soluciones con IA se están haciendo omnipresentes (desde chatbots en la atención al cliente hasta generadores de contenidos con IA), la ingeniería de prompst es el puente que garantiza una comunicación eficaz entre humanos e IA. No se trata solo de obtener la respuesta correcta; se trata de garantizar que la IA comprenda el contexto, los matices y la intención que hay detrás de cada consulta.

La evolución de la ingeniería de prompts

La ingeniería de prompts, aunque es una disciplina relativamente reciente, tiene profundas raíces en la historia general del procesamiento de lenguaje natural (NLP) y el machine learning. Comprender su evolución proporciona contexto a su importancia actual.

Los inicios del NLP

Los orígenes del NLP se remontan a mediados del siglo XX, con la llegada de los ordenadores. Los primeros pasos del NLP se basaban en reglas, y dependían de reglas elaboradas manualmente y algoritmos sencillos. Estos sistemas eran rígidos y luchaban con las complejidades y matices del lenguaje humano.

NLP estadístico y machine learning

A medida que aumentaba la potencia computacional y crecían los conjuntos de datos a finales del siglo XX y principios del XXI, se produjo un cambio hacia los métodos estadísticos. Los algoritmos de machine learning empezaron a desempeñar un papel fundamental, permitiendo modelos lingüísticos más flexibles y basados en datos. Sin embargo, estos modelos seguían teniendo limitaciones para comprender el contexto y generar textos largos coherentes.

Auge de los modelos basados en transformadores

La introducción de la arquitectura de transformadores en el documento "Todo lo que necesitas es atención" en 2017 marcó un importante punto de inflexión. Los transformadores, con sus mecanismos de autoatención, podían procesar grandes cantidades de datos y capturar intrincados patrones lingüísticos. Esto condujo al desarrollo de modelos como BERT de Google, que revolucionó tareas como la clasificación de textos y el análisis de sentimiento.

El impacto de GPT de OpenAI

La serie de transformadores generativos preentrenados (GPT) de OpenAI, especialmente GPT-2 y GPT-3, llevó a los transformadores al siguiente nivel. Estos modelos, con sus miles de millones de parámetros, mostraron una capacidad sin precedentes para generar textos coherentes, contextualmente relevantes y, a menudo, indistinguibles del texto humano. El auge de los modelos GPT subrayó la importancia de la ingeniería de prompts, ya que la calidad de los pasó a depender en gran medida de la precisión y claridad de los prompts.

Ingeniería de prompts hoy

Con la adopción generalizada de modelos basados en transformadores en todos los sectores, en la investigación y en las aplicaciones cotidianas, la ingeniería de prompts ha surgido como una disciplina crucial. Es el puente que garantiza que estos potentes modelos se aprovechen eficazmente, haciendo las herramientas de IA más accesibles y fáciles de usar.

Tanto si se trata de liberar la creatividad con IA generativa como de utilizar ChatGPT para proyectos de ciencia de datos, cada vez es más importante comprender cómo funcionan los prompts.

El arte y la ciencia de crear prompts

Crear un prompt eficaz es tanto un arte como una ciencia. Es un arte porque requiere creatividad, intuición y un profundo conocimiento del lenguaje. Es una ciencia porque se basa en la mecánica de los modelos de IA a la hora de procesar y generar respuestas.

Las sutilezas de los prompts

Cada palabra de un prompt es importante. Un ligero cambio en la redacción puede dar lugar a resultados radicalmente distintos de un modelo de IA. Por ejemplo, pedir a un modelo "Describe la Torre Eiffel" o "Narra la historia de la Torre Eiffel" dará respuestas distintas. En el primer caso, puede proporcionar una descripción física, mientras que en el segundo profundizará en su significado histórico.

Comprender estos matices es esencial, sobre todo cuando se trabaja con LLM. Estos modelos, entrenados con vastos conjuntos de datos, pueden generar una amplia gama de respuestas en función de las señales que reciban. No se trata solo de hacer una pregunta; se trata de redactarla de forma que se alinee con el resultado deseado.

Lo vimos en nuestra guía sobre cómo utilizar Midjourney para crear imágenes: la diferencia de añadir pesos a tus prompts para el término "space ship" puede dar como resultado imágenes de naves espaciales de ciencia ficción o un barco navegando por el espacio.

Fuente de la imagen

Elementos clave de un prompt

Veamos los aspectos que conforman un buen prompt:

• Instrucción. Esta es la directriz principal del prompt. Indica al modelo lo que quieres que haga. Por ejemplo, "Resume el siguiente texto" proporciona una acción clara para el modelo.
• Contexto. El contexto proporciona información adicional que ayuda al modelo a comprender la perspectiva general o los antecedentes. Por ejemplo, "Teniendo en cuenta la recesión económica, proporciona asesoramiento de inversión" da al modelo un telón de fondo en el que enmarcar su respuesta.
• Datos de entrada. Es la información o los datos concretos que quieres que procese el modelo. Puede ser un párrafo, un conjunto de números o incluso una sola palabra.
• Indicador de salida. Especialmente útil en representaciones de roles, este elemento orienta al modelo sobre el formato o tipo de respuesta deseada. Por ejemplo, "Reescribe la siguiente frase con el estilo de Shakespeare" da al modelo una instrucción estilística.

En nuestra guía específica sobre ingeniería de prompts de ChatGPT, vimos algunos ejemplos concretos de buenos prompts para la herramienta.

Funcionamiento de la ingeniería de prompts de ChatGPT

Para un enfoque práctico, el curso de DataCamp sobre creación de chatbots en Python ofrece ejercicios sobre la elaboración de prompts para las interacciones con los chatbots.

Técnicas de ingeniería de prompts

Crear el prompt perfecto a menudo implica experimentar. Aquí tienes algunas técnicas que pueden ayudar:

Técnicas básicas

Son consejos que el usuario medio puede utilizar para mejorar sus prompts.

• Representación de roles. Haciendo que el modelo actúe como una entidad específica, como un historiador o un científico, puedes obtener respuestas a medida. Por ejemplo, "Evalúa el siguiente plan de dieta como nutricionista" podría dar lugar a una respuesta basada en la ciencia de la nutrición.
• Refinamiento iterativo. Empieza con un prompt general y refínalo gradualmente en función de las respuestas del modelo. Este proceso iterativo ayuda a perfeccionar el prompt.
• Bucles de retroalimentación. Utiliza los resultados del modelo para dar forma a los siguientes prompts y ajustarlos. Esta interacción dinámica garantiza que las respuestas del modelo se ajusten más a las expectativas del usuario con el tiempo.

Técnicas avanzadas

Aquí vemos estrategias más complejas que requieren una comprensión más profunda del comportamiento del modelo.

• Prompt sin entrenamiento previo. Esta técnica consiste en proporcionar al modelo una tarea que no haya visto durante su entrenamiento. Pone a prueba la capacidad del modelo para generalizar y producir resultados relevantes sin depender de ejemplos anteriores.
• Prompt con pocas muestras/aprendizaje contextual. Aquí, el modelo recibe unos cuantos ejemplos (muestras) para guiar su respuesta. Al proporcionar contexto o ejemplos anteriores, el modelo puede comprender mejor y generar el resultado deseado. Es, por ejemplo, mostrar a un modelo varios ejemplos de frases traducidas antes de pedirle que traduzca otra.
• Cadena de pensamiento (CoT). Esta técnica avanzada consiste en guiar al modelo a través de una serie de pasos de razonamiento. Al descomponer una tarea compleja en pasos intermedios o "cadenas de razonamiento", el modelo puede lograr una mejor comprensión del lenguaje y unos resultados más exactos. Es como guiar a alguien paso a paso a través de un problema matemático complejo.

Para quienes tengan interés en profundizar en el método que hay detrás de estas técnicas, nuestro curso de NLP avanzado con spaCy ofrece ejercicios prácticos y ejemplos del mundo real.

El equilibrio entre especificidad y apertura

Aunque la especificidad de un prompt puede dar lugar a respuestas más exactas, también es útil dejar los prompts ligeramente abiertos. Esto permite que el modelo aproveche su amplia formación y proporcione información o respuestas que podrían no ser inmediatamente obvias. Por ejemplo, "Dime algo interesante sobre el sistema solar" es una pregunta abierta, pero puede aportar información fascinante sobre el modelo.

Con herramientas como Google Bard, puedes ser tan específico o abierto como necesites

Cómo funciona la ingeniería de prompts

Elaborar el prompt inicial es solo el principio. Para aprovechar realmente el poder de los modelos de IA y garantizar que se alineen con la intención del usuario, es esencial refinar y optimizar los prompts. Este proceso iterativo es una mezcla de arte y ciencia, que requiere tanto intuición como información basada en datos.

1. Crea un prompt adecuado

En otro artículo hemos explorado algunos prompts de ChatGPT para marketing, y hemos elaborado una hoja de trucos de ChatGPT que cubre muchos de los aspectos específicos de esta herramienta en particular. Sin embargo, hay muchas herramientas (como LlamaIndex y Langchain) que requieren prompts. Estas son algunas de las reglas generales para crear prompts para las herramientas de IA:

• La claridad es clave. Asegúrate de que el prompt sea claro e inequívoco. Evita la jerga a menos que sea necesaria para el contexto.
• Prueba la representación de roles. Como ya se ha dicho, hacer que el modelo represente un rol específico puede dar lugar a respuestas más a medida.
• Limitaciones de uso. Establecer restricciones o limitaciones puede ayudar a guiar el modelo hacia el resultado deseado. Por ejemplo, "Describe la Torre Eiffel en tres frases" proporciona una clara limitación de longitud.
• Evita las preguntas capciosas. Las preguntas capciosas pueden sesgar el resultado del modelo. Es esencial permanecer neutral para obtener una respuesta imparcial.

Para quienes estén interesados en ejercicios prácticos sobre el refinamiento de los prompts, el tutorial sobre el ajuste fino de GPT-3 ofrece información práctica.

2. Itera y evalúa

El proceso de refinamiento de los prompts es iterativo. He aquí un flujo de trabajo típico:

• Redacta el prompt inicial. Debe basarse en la tarea que se va a realizar y en el resultado deseado.
• Prueba el prompt. Utiliza el modelo de IA para generar una respuesta.
• Evalúa el resultado. Comprueba si la respuesta se ajusta a la intención y cumple los criterios.
• Refina el prompt. Haz los ajustes necesarios basándote en la evaluación.
• Repite. Continúa este proceso hasta conseguir la calidad deseada en el resultado.

Durante este proceso, también es esencial considerar diversas entradas y escenarios para garantizar la eficacia del prompt en distintas situaciones.

3. Calibra y ajusta

Además de refinar el propio prompt, existe la posibilidad de calibrar o ajustar el modelo de IA. Esto implica ajustar los parámetros del modelo para adaptarlo más a tareas o conjuntos de datos específicos. Aunque se trata de una técnica más avanzada, puede mejorar significativamente el rendimiento del modelo para aplicaciones especializadas.

Para profundizar en la calibración y el ajuste fino del modelo, nuestro curso sobre conceptos de LLM cubre las técnicas de ajuste fino y el entrenamiento.

El papel de un ingeniero de prompts

A medida que la IA sigue dando forma a todos los sectores y redefiniendo la forma en que interactuamos con la tecnología, ha surgido un nuevo papel en primera línea: el ingeniero de prompts. Este papel es fundamental para salvar la distancia entre la intención humana y la comprensión de la máquina, garantizando que los modelos de IA se comuniquen eficazmente y produzcan resultados relevantes.

¿Una nueva carrera profesional en IA?

Los rápidos avances del procesamiento de lenguaje natural (NLP) y la adopción generalizada de grandes modelos de lenguaje (LLM) han creado una demanda especializada, aunque crucial, de expertos capaces de elaborar prompts eficaces. Estas personas, llamadas ingenieros de prompts, no son meros técnicos, sino artistas que comprenden los matices del lenguaje, el contexto y el comportamiento de la IA.

Como publica la revista Time, entre otros medios, las empresas, desde los gigantes tecnológicos hasta las startups, están reconociendo el valor de los puestos especializados en ingeniería de prompts. Cuando las soluciones con IA se integran más en productos y servicios, la pericia de un ingeniero de prompts garantiza que estas soluciones sean eficaces, fáciles de usar y contextualmente relevantes.

En sitios de empleo como Indeed y LinkedIn ya se anuncian miles de puestos de ingeniero de prompts solo en EE. UU., con salarios que oscilan entre 50 000 y más de 150 000 dólares al año.

Ofertas de empleo de ingeniero de prompts en Indeed

Habilidades técnicas para la ingeniería de prompts

Dependiendo del puesto exacto y de lo técnico que sea, un ingeniero de prompts necesita una base sólida en varias áreas técnicas:

• Comprensión de NLP. Es esencial un profundo conocimiento de las técnicas y algoritmos del procesamiento de lenguaje natural.
• Familiaridad con los LLM. Experiencia con modelos como GPT, PaLM2 y otros modelos emergentes sus arquitecturas subyacentes.
• Experimentación e iteración. Capacidad para probar, refinar y optimizar prompts basándose en los resultados del modelo.
• Análisis de datos. Analizar las respuestas de los modelos, identificar patrones y tomar decisiones basadas en datos.

Para aquellos que deseen adquirir habilidades técnicas o perfeccionarlas, nuestro programa de habilidades Procesamiento de lenguaje natural en Python ofrece un completo plan de estudios adecuado para los aspirantes a ingenieros de prompts.

Habilidades no técnicas para la ingeniería de prompts

Aunque la habilidad técnica es vital, un ingeniero de prompts también necesita un conjunto de habilidades no técnicas:

• Comunicación. Capacidad para transmitir ideas, colaborar con equipos y comprender las necesidades de los usuarios.
• Ser experto en la materia. Dependiendo de la aplicación, el conocimiento específico del dominio puede ser muy valioso.
• Competencia lingüística. Dominio del lenguaje, la gramática y la semántica para elaborar prompts eficaces.
• Pensamiento crítico. Evaluar los resultados de los modelos, identificar los sesgos y garantizar prácticas éticas de IA.
• Creatividad. Pensar con originalidad, experimentar con nuevos estilos de prompts y proponer soluciones innovadoras.

Estas habilidades blandas, combinadas con la pericia técnica, hacen que el puesto de ingeniero de prompts sea a la vez retador y gratificante y abra camino a una nueva era de colaboración entre humanos e IA.

El futuro de la ingeniería de prompts

Estamos en el umbral de una era impulsada por la IA, y la ingeniería de prompts está preparada para desempeñar un papel fundamental en la configuración del futuro de las interacciones entre los humanos y la IA. Este campo, aunque relativamente incipiente, es muy prometedor y tiene un gran potencial de crecimiento.

Investigación y desarrollo continuos

El mundo de la IA es dinámico, con investigación e innovaciones surgiendo a un ritmo rápido. En el contexto de la ingeniería de prompts:

• Prompts adaptativos. Los investigadores están explorando formas de que los modelos generen de forma adaptativa sus propios prompts en función del contexto, reduciendo la necesidad de entrada manual.
• Prompts multimodales. Con el auge de los modelos multimodales de IA que pueden procesar tanto texto como imágenes, el alcance de la ingeniería de prompts se está ampliando para incluir las señales visuales.
• Prompts éticos. A medida que la ética de la IA gana importancia, se presta atención a elaborar prompts que garanticen la justicia, la transparencia y la mitigación de los prejuicios.

Para quienes tengan interés en estar al corriente de los más recientes avances, nuestro artículo sobre ética en la IA generativa cubre algunas de las grandes cuestiones a las que nos enfrentamos en este momento. También puedes explorar las habilidades del ingeniero de IA y ver dónde se solapan con la ingeniería de prompts en una guía aparte. 

El valor y la relevancia a largo plazo

La ingeniería de prompts no es una moda pasajera. A medida que los modelos de IA se hacen más complejos y se integran en diversas aplicaciones (desde la sanidad al entretenimiento), la necesidad de una comunicación eficaz se hace primordial. Los ingenieros de prompts serán los ejes que garanticen que estos modelos sean accesibles, fáciles de usar y contextualmente relevantes.

Además, a medida que la IA se democratice y más personas sin conocimientos técnicos empiecen a interactuar con estos modelos, el papel del ingeniero de prompts evolucionará. Será responsable de crear interfaces intuitivas, de elaborar prompts fáciles de usar y de garantizar que la IA siga siendo una herramienta que aumente las capacidades humanas.

Retos y oportunidades

Como cualquier campo emergente, la ingeniería de prompts conlleva una serie de retos:

• Complejidad de los modelos. A medida que los modelos crecen en tamaño y complejidad, la elaboración de prompts eficaces se vuelve más difícil.
• Prejuicios y justicia. Hay que asegurarse de que los prompts no introduzcan o amplifiquen inadvertidamente prejuicios en los resultados del modelo.
• Colaboración interdisciplinaria. La ingeniería de prompts se encuentra en la intersección de la lingüística, la psicología y la informática, lo que exige colaboración entre estas disciplinas.

Sin embargo, estos retos también presentan oportunidades. Impulsan la innovación, fomentan la colaboración interdisciplinaria y abren camino a la próxima generación de herramientas y soluciones de IA.

Reflexiones finales

El ámbito de la inteligencia artificial es vasto e intrincado y está en constante evolución. A medida que nos adentramos en las complejidades de la ingeniería de prompts, se hace evidente que este campo es algo más que una labor técnica: es un puente entre la intención humana y la comprensión de la máquina. Es el sutil arte de hacer las preguntas adecuadas para obtener las respuestas deseadas.

La ingeniería de prompts, aunque es una disciplina relativamente nueva, contiene la clave para liberar todo el potencial de los modelos de IA, sobre todo de los grandes modelos lingüísticos. A medida que estos modelos se integran cada vez más en nuestra vida cotidiana, aumenta la importancia de una comunicación eficaz. Tanto en un asistente de voz que ayuda con las tareas diarias como en un chatbot que proporciona atención al cliente o una herramienta de IA que ayuda a los investigadores, la calidad de la interacción depende de los prompts que sirvan de guía.

Para los entusiastas de los datos, los profesionales e incluso el público en general, entender la ingeniería de prompts no consiste solo en mejorar la comunicación con la IA. Se trata de imaginar un futuro en el que la IA se integre perfectamente en nuestras vidas, aumentando nuestras capacidades y enriqueciendo nuestras experiencias.

En esta coyuntura, el futuro de la ingeniería de prompts es brillante y está lleno de retos que superar e hitos que alcanzar. Si te intriga este campo, el viaje no ha hecho más que empezar. Descubre cómo aprender IA en nuestra guía independiente, o aprende a entrenar tu propio LLM con PyTorch en nuestro tutorial.