Course
Apuntar a cero: Ejemplos, teoría, casos prácticos
No es ningún secreto lo rápido que ha evolucionado la inteligencia artificial en los dos últimos años, especialmente en el campo de los grandes modelos lingüísticos (LLM).
Tradicionalmente, para conseguir que los LLM realizaran una tarea específica, tendrías que entrenarlos con muchos ejemplos. Este proceso puede llevar mucho tiempo y consumir muchos recursos. Sin embargo, existen algunas técnicas que permiten a los LLM abordar una amplia gama de tareas sin un entrenamiento específico para cada tarea.
Una de estas técnicas se llama aviso de disparo cero.
En este tutorial, lo haremos:
- Aprende qué es el aviso de disparo cero.
- Explora los conceptos fundamentales en los que se basa la incitación al disparo cero.
- Examina cómo los LLM permiten esta capacidad.
- Aprende a crear indicaciones eficaces para diversas tareas.
- Descubre aplicaciones y casos de uso reales.
- Comprende las limitaciones y los retos de este enfoque.
Este tutorial forma parte de mi "Ingeniería Prompt: Serie de entradas de blog "De cero a héroe":
- Ingeniería rápida para todos
- Aviso de disparo cero
- Pocos disparos
- Encadenamiento de avisos
¿Qué es el prompting de disparo cero?
El estímulo de disparo cero es una técnica que utiliza la capacidad de generalización de los LLM para intentar nuevas tareas sin entrenamiento específico previo ni ejemplos.
Utiliza el amplio preentrenamiento de los LLM en conjuntos de datos grandes y diversos, lo que les permite aplicar sus amplios conocimientos a nuevas tareas basándose únicamente en instrucciones claras y concisas. Aunque esta técnica puede ser muy eficaz, su éxito depende de la complejidad de la tarea y de la calidad del aviso.
En pocas palabras, describes la tarea que quieres que realice el modelo sin proporcionar ejemplos. A continuación, el modelo accede a sus amplios conocimientos preentrenados para generar una respuesta pertinente.
Este planteamiento contrasta con el de una o pocas indicaciones, en el que das al modelo uno o unos pocos ejemplos para guiar su salida.
El estímulo de disparo cero muestra la impresionante capacidad de los LLM para generalizar su comprensión a través de diversos dominios. Con sólo una instrucción clara, puedes aprovechar la base de conocimientos del modelo para generar contenido creativo, informativo o específico de una tarea sin formación adicional.
Veamos un ejemplo rápido:
Prompt: Clasifica al animal en función de sus características. Animal: Esta criatura tiene ocho patas, teje telarañas y suele comer insectos.
Salida: Araña.
En este ejemplo, la pregunta no proporciona ningún ejemplo de cómo clasificar a los animales o qué clasificaciones utilizar. Además, la indicación define claramente la tarea (clasificar el animal) basándose en las características dadas.
El gran modelo lingüístico utiliza su amplio conocimiento sobre los animales y sus rasgos para hacer la clasificación e identifica correctamente que la criatura descrita es una araña basándose en las características clave proporcionadas. Proporciona justo la clasificación solicitada, demostrando su capacidad para seguir instrucciones con precisión.
Los avisos de disparo cero eliminan la necesidad de ajustar tareas específicas, amplían drásticamente la gama de tareas que puede realizar un modelo y hacen que las capacidades avanzadas sean más accesibles para los usuarios no técnicos.
Cómo funciona el aviso de disparo cero
Para entender cómo funciona el avisador de disparo cero, hay que tener claros dos aspectos importantes: el preentrenamiento de los LLM y el concepto de diseño del avisador.
Preentrenamiento del modelo lingüístico
Los LLM se someten a un amplio preentrenamiento en conjuntos de datos masivos, lo que constituye la base de sus capacidades de disparo cero. El proceso de preentrenamiento es el siguiente
- Recogida de datos: Los LLM se entrenan con diversos datos de texto procedentes de varias fuentes. Estos datos pueden ascender a cientos de miles de millones de palabras.
- Tokenización: El texto se descompone en unidades más pequeñas llamadas tokens, que pueden ser palabras, subpalabras o caracteres.
- Arquitectura de la red neuronal: El modelo, basado normalmente en una arquitectura de transformadores, procesa estos tokens a través de múltiples capas de redes neuronales.
- Entrenamiento predictivo: El modelo se entrena para predecir el siguiente token de una secuencia, dados los tokens anteriores.
- Reconocimiento de patrones: Mediante este proceso, el modelo aprende a reconocer patrones en el lenguaje, incluyendo la gramática, la sintaxis y las relaciones semánticas.
- Adquisición de conocimientos: El modelo construye una amplia base de conocimientos que abarca diversos temas y dominios.
- Comprensión contextual: El modelo aprende a comprender el contexto y a generar respuestas adecuadas al mismo.
Esto proporciona a los LLM los conocimientos, la comprensión y la adaptabilidad necesarios para la orientación sin disparos. Este amplio preentrenamiento permite a estos modelos realizar tareas para las que no fueron entrenados explícitamente, simplemente comprendiendo y respondiendo a las indicaciones del lenguaje natural.
Diseño rápido
El diseño eficaz de los avisos es crucial para el éxito de los avisos de disparo cero. Sirve de puente entre la intención del usuario y las capacidades del modelo. Pero, ¿cómo nos aseguramos de que nuestras indicaciones sean eficaces? Veamos estas estrategias:
Instrucciones claras
Las indicaciones deben proporcionar instrucciones explícitas e inequívocas que comuniquen la tarea deseada al LLM.
Ejemplo: "Traduce la siguiente frase inglesa al francés:" Este aviso establece claramente la tarea (traducción) y especifica tanto la lengua de partida (inglés) como la de llegada (francés), sin dejar lugar a interpretaciones erróneas.
Encuadre de la tarea
Enmarca la tarea de forma que aproveche los conocimientos y capacidades preexistentes del modelo.
Ejemplo: "Clasifica el sentimiento de la crítica de esta película como positivo, negativo o neutro:" Esta indicación enmarca la tarea como un problema de clasificación con categorías específicas, lo que se alinea con el entrenamiento del modelo en tareas de clasificación de textos.
Disposición contextual
Incluye información relevante sobre el contexto o los antecedentes para ayudar al modelo a comprender los requisitos y limitaciones de la tarea.
Ejemplo: "Dado que 'Python' en este contexto se refiere a un lenguaje de programación, explica qué es Python:" Esta indicación proporciona un contexto crucial (Python como lenguaje de programación, no como serpiente) para garantizar que el modelo se centra en la información relevante.
Especificación del formato de salida
Define claramente el formato esperado de la respuesta.
Ejemplo: "Enumera tres causas principales del cambio climático, cada una en un punto separado". Esta pregunta especifica tanto el número de elementos (tres) como el formato (viñetas) de la respuesta, garantizando una salida estructurada.
Evita la ambigüedad
Utiliza un lenguaje preciso y evita las instrucciones vagas o abiertas que puedan dar lugar a interpretaciones erróneas por parte del modelo.
Ejemplo: "Describe los pasos específicos que intervienen en el ciclo del agua, empezando por la evaporación". Esta indicación utiliza un lenguaje preciso ("pasos específicos", "ciclo del agua") y proporciona un punto de partida, reduciendo la posibilidad de interpretaciones erróneas.
Utiliza el lenguaje natural
Redacta los mensajes de forma que parezcan naturales y conversacionales.
Ejemplo: "Imagina que eres un orientador profesional. ¿Qué consejo darías a un recién licenciado que busca su primer trabajo?" Este estímulo utiliza un tono conversacional y plantea un escenario cercano, fomentando una respuesta más natural y atractiva por parte del modelo.
Refinamiento iterativo
Si los resultados iniciales no son satisfactorios, afina la indicación añadiendo más especificidad o ajustando el lenguaje.
Ejemplo: Indicación inicial: "Háblame de las energías renovables". Aviso refinado: "Explica los tres tipos más comunes de fuentes de energía renovables, sus beneficios y los retos actuales en su aplicación". Esto demuestra cómo se puede perfeccionar una indicación inicial amplia para producir una respuesta más centrada y completa.
Ventajas del aviso de disparo cero
La provocación de disparo cero tiene ventajas significativas sobre otras técnicas existentes.
Una de ellas es su gran flexibilidad. Esto permite a los LLM adaptarse a una serie de tareas sin necesidad de datos de entrenamiento específicos para cada tarea. La flexibilidad es muy importante porque permite que un único modelo realice numerosas tareas en varios dominios, desde la traducción de idiomas al análisis de sentimientos o la generación de contenidos. Permite una adaptación rápida e inmediata a las nuevas tareas, sin necesidad de procesos de reentrenamiento o puesta a punto que requieren mucho tiempo.
Además, los modelos de tiro cero pueden manejar nuevas situaciones o tareas que antes no se consideraban explícitamente. También puedes adaptar el comportamiento del modelo a necesidades específicas simplemente ajustando la indicación, sin modificar el modelo subyacente.
A medida que crece el conocimiento general del modelo, su capacidad para manejar diversas tareas mejora de forma natural, sin intervenciones específicas para cada tarea.
Los avisos de disparo cero también ofrecen ventajas sustanciales de eficacia, sobre todo en términos de ahorro de tiempo y recursos. Elimina la necesidad de extensos conjuntos de datos específicos de la tarea, cuya recopilación puede llevar mucho tiempo y resultar costosa.
También elimina la necesidad de datos de entrenamiento etiquetados, reduciendo los costes y los posibles sesgos asociados a los anotadores humanos. Sin un ajuste fino específico de la tarea, las demandas computacionales son significativamente menores. Esto permite un despliegue más rápido de las nuevas aplicaciones, ya que no hay que esperar a la recogida de datos y al entrenamiento del modelo. Un único modelo puede encargarse de muchas tareas, reduciendo la necesidad de múltiples modelos especializados. Ingeniería rápida permite iteraciones y mejoras rápidas sin necesidad de reciclaje.
Consideremos el proceso tradicional frente a la provocación cero para desarrollar una herramienta de análisis de sentimientos:
Esta comparación muestra el importante ahorro de tiempo y recursos que se consigue con la solicitud de cero disparos, lo que permite un desarrollo y un despliegue más rápidos. despliegue de soluciones en diversos campos.
Aplicaciones de la función de aviso de disparo cero
Los avisos de disparo cero han dado lugar a muchos usos nuevos en distintos campos. Veamos algunas áreas importantes en las que esta técnica marca la diferencia.
Generación de texto
Los avisos de disparo cero funcionan muy bien en diversas tareas de generación de texto, permitiendo que los modelos produzcan diversos tipos de contenido sin un entrenamiento específico. Algunos incluyen el resumen, la escritura creativa y la traducción. He aquí algunos ejemplos:
Clasificación y análisis de sentimientos
Los avisos de disparo cero pueden utilizarse para diversas tareas de clasificación, como la clasificación de temas, el análisis de sentimientos y la clasificación de intenciones, sin necesidad de datos de entrenamiento etiquetados.
Respuesta a la pregunta
Las preguntas sin respuesta dan a los modelos la capacidad de responder a muchas preguntas diferentes, como preguntas factuales, explicativas y comparativas, basándose en sus conocimientos generales y en su comprensión de la lengua.
Limitaciones de la pregunta de tiro cero
Aunque el aviso de disparo cero tiene grandes capacidades, es importante comprender sus limitaciones y retos.
Precisión
La incitación sin disparo, aunque potente, puede no ser siempre tan precisa como los modelos especialmente entrenados para tareas específicas. Esta limitación se debe a varios factores:
- Falta de optimización específica de la tarea: Los modelos afinados se benefician de un entrenamiento específico con datos de una tarea concreta, lo que puede dar lugar a una mayor precisión para esa tarea concreta.
- Variabilidad de interpretación: La interpretación que el modelo hace de la indicación no siempre coincide perfectamente con la intención del usuario, lo que puede dar lugar a imprecisiones.
- Gestión de tareas complejas: Las tareas muy especializadas o complejas pueden requerir una comprensión más matizada de lo que es posible sólo con la indicación de cero disparos.
Sensibilidad inmediata
El rendimiento de la provocación de tiro cero puede ser muy sensible a la redacción de la provocación.
- Variaciones de redacción: Ligeros cambios en el vocabulario o en la estructura de las frases pueden alterar la interpretación de la tarea por parte del modelo.
- Claridad de las instrucciones: Las instrucciones ambiguas o imprecisas pueden dar lugar a resultados inesperados o incoherentes.
- Dependencia del contexto: La eficacia de un estímulo puede variar en función de la entrada o el contexto específicos a los que se aplique.
Veamos un ejemplo concreto con un texto de muestra y expliquemos los resultados de cada consulta. Esto ilustrará cómo ligeros cambios en el estímulo pueden dar lugar a respuestas diferentes del modelo.
Utilizaremos el siguiente texto de ejemplo:
Texto de muestra: "La Revolución Industrial, que tuvo lugar entre los siglos XVIII y XIX, fue un periodo durante el cual las sociedades predominantemente agrarias y rurales de Europa y América se volvieron industriales y urbanas. Antes de la Revolución Industrial, que comenzó en Gran Bretaña a finales del siglo XVIII, la fabricación se realizaba a menudo en los hogares, utilizando herramientas manuales o máquinas básicas. La industrialización supuso un cambio hacia la maquinaria motorizada y especial, las fábricas y la producción en masa. Las industrias del hierro y textil, junto con el desarrollo de la máquina de vapor, desempeñaron papeles centrales en la Revolución Industrial, que también vio mejorar los sistemas de transporte, comunicación y banca."
Ahora, apliquemos nuestras tres indicaciones:
Pregunta 1: "Resume este texto en una frase:"
Resultado 1: La Revolución Industrial fue un periodo transformador de los siglos XVIII y XIX que cambió las sociedades europeas y americanas de agrarias a industriales, caracterizado por el auge de las fábricas, la producción en masa y los avances tecnológicos en la fabricación, el transporte y la comunicación.
Esta respuesta proporciona un resumen conciso, de una sola frase, que capta la esencia de la Revolución Industrial, su marco temporal, ubicación y características clave.
Consigna 2: "Haz un breve resumen de lo siguiente:"
Resultado 2: La Revolución Industrial fue un importante periodo de cambio entre los siglos XVIII y XIX, que afectó principalmente a Europa y América. Marcó la transición de las sociedades agrarias y rurales a las industriales y urbanas. Antes de esta época, la fabricación solía hacerse en casa con herramientas sencillas. La revolución trajo maquinaria motorizada, fábricas y métodos de producción en masa. Industrias clave como la del hierro y la textil desempeñaron papeles cruciales, al igual que la invención de la máquina de vapor. En este periodo también se produjeron avances en el transporte, las comunicaciones y los sistemas bancarios, lo que alteró fundamentalmente el panorama económico y social.
Esta respuesta es más larga y detallada que la primera. Abarca más aspectos de la Revolución Industrial, incluido su impacto en industrias concretas y cambios sociales más amplios. El modelo interpretó que "breve resumen" permitía múltiples frases y una cobertura más completa.
Consigna 3: "¿Cuál es la idea principal de este pasaje?"
Resultado 3: La idea principal de este pasaje es el cambio fundamental de la sociedad agraria a la industrial durante la Revolución Industrial, destacando los grandes cambios en los métodos de fabricación, la tecnología y el desarrollo urbano que se produjeron en Europa y América entre los siglos XVIII y XIX.
Esta respuesta se centra en el tema central o el concepto básico del pasaje en lugar de intentar resumir todos los detalles. Identifica la transformación clave (de agraria a industrial) y menciona amplias áreas de cambio sin entrar en detalles concretos como las industrias del hierro y textil o la máquina de vapor.
Sesgo
Los modelos preentrenados que se utilizan para el estímulo de disparo cero pueden mostrar sesgos presentes en sus datos de entrenamiento, lo que puede dar lugar a resultados problemáticos:
- Sesgos demográficos: Los modelos pueden producir resultados sesgados relacionados con la raza, el sexo, la edad u otros factores demográficos.
- Prejuicios culturales: Las respuestas del modelo pueden favorecer ciertas perspectivas culturales frente a otras.
- Sesgo de recuerdo: La información más prevalente en los datos de entrenamiento (a menudo más reciente) puede estar sobrerrepresentada en el conocimiento del modelo.
- Estereotipos: El modelo podría reforzar estereotipos perjudiciales presentes en sus datos de entrenamiento.
Comprender estas limitaciones y desafíos es clave para utilizar eficazmente el aviso de disparo cero. Es importante que seas consciente de las posibles imprecisiones, de la importancia de un diseño cuidadoso de las indicaciones y de la necesidad de evaluar críticamente los resultados para detectar posibles sesgos.
Si te interesa este tema, consulta este curso sobre Ética de la IA.
Conclusión
En este tutorial hemos aprendido que el apuntado cero es una técnica que proporciona una forma potente y flexible de manejar muchas tareas lingüísticas sin necesidad de datos de entrenamiento especiales ni de ajustar el modelo.
Los avisos de disparo cero permiten a los LLM realizar varias tareas, como generar texto, clasificar y responder preguntas, mediante avisos cuidadosamente diseñados.
Elimina la necesidad de recopilar datos de tareas específicas y de entrenar modelos, reduciendo significativamente el tiempo y los recursos necesarios para desplegar soluciones de IA.
Este método hace que las capacidades avanzadas de la IA sean más accesibles para las personas no técnicas, ya que se pueden realizar tareas complejas simplemente describiéndolas en lenguaje natural.
Sin embargo, el estímulo de disparo cero tiene limitaciones en cuanto a precisión, sensibilidad del estímulo y posibles sesgos. Comprender estos retos es crucial para un uso responsable y eficaz.
Y ahora, ¡es el momento de poner en práctica estos conocimientos! Me gustaría animarte a que explores las indicaciones de disparo cero en tus propios proyectos y a que experimentes con diferentes indicaciones y tareas. Así que diviértete y descubre el potencial de esta técnica en tu propio trabajo: ¡disfrútalo!
Preguntas frecuentes
¿En qué se diferencia la incitación de cero disparos de la incitación de pocos disparos en cuanto a precisión y eficacia?
Los avisos de cero disparos suelen ser más eficaces, ya que no requieren ejemplos, pero los avisos de pocos disparos suelen proporcionar una mayor precisión, sobre todo en tareas complejas. La elección depende del caso de uso específico, los recursos disponibles y el equilibrio de rendimiento deseado.
¿Cuáles son las implicaciones éticas del uso del "disparo cero" en los procesos de toma de decisiones o en los sistemas automatizados?
Las preocupaciones éticas incluyen posibles sesgos en los datos de preentrenamiento del modelo, la falta de salvaguardias específicas de la tarea y el riesgo de confiar demasiado en la IA para tomar decisiones críticas. Un control cuidadoso y la supervisión humana son fundamentales cuando se aplica el aviso de disparo cero en zonas sensibles.
¿Puede combinarse el aviso de disparo cero con otras técnicas de IA para mejorar sus capacidades y, en caso afirmativo, cómo?
Sí, el estímulo de disparo cero puede combinarse con técnicas como el aprendizaje por transferencia, el aprendizaje multitarea o el aprendizaje por refuerzo. Por ejemplo, combinar el estímulo cero con el aprendizaje por transferencia permite que los modelos se adapten más rápidamente a las tareas específicas del dominio, manteniendo al mismo tiempo la capacidad de generalización.
¿Existen sectores o campos específicos en los que la incitación al disparo cero haya mostrado resultados o aplicaciones especialmente prometedores?
Los avisos de disparo cero han tenido bastante éxito en campos como la atención al cliente (para atender consultas diversas), la creación de contenidos (para generar tipos de contenidos variados) y la investigación científica (para la generación de hipótesis y la revisión bibliográfica). También está demostrando su valor en aplicaciones multilingües y en la creación rápida de prototipos de soluciones de IA.
¿Cómo podría evolucionar el impulso de disparo cero en los próximos 5-10 años, y qué avances potenciales podríamos ver en este ámbito?
Podríamos ver una comprensión del contexto más sofisticada, una mejor generalización entre dominios y la integración con sistemas de IA multimodal. Los avances potenciales podrían implicar la indicación de cero disparos para tareas de razonamiento complejas, la adaptación en tiempo real a las reacciones del usuario y la integración sin fisuras con bases de conocimiento externas para mejorar la precisión y ampliar las capacidades.
Más información sobre la IA
Course
Introduction to Data Literacy
blog
Cinco proyectos que puedes crear con modelos de IA generativa (con ejemplos)
blog
Cómo aprender IA desde cero en 2024: Guía completa de los expertos
blog
¿Qué es la ingeniería de prompts? Una guía detallada para 2024
blog
7 proyectos de IA para todos los niveles
tutorial
Visión GPT-4: Guía completa para principiantes
tutorial