12 proyectos LLM para todos los niveles

Proyectos LLMs para principiantes 

En los proyectos para principiantes, aprenderás a utilizar la API OpenAI para afinar modelos, generar respuestas, construir asistentes de IA con capacidades multimodales y servir a los puntos finales de la API de tu aplicación utilizando FastAPI.

Requisitos previos: Es necesario tener conocimientos de Python. 

1. Ajuste de los modelos de OpenAI

Enlace al proyecto: Ajuste de la GPT-4 de OpenAI

Ajustar GPT-4 a un conjunto de datos personalizado se ha convertido en algo bastante sencillo. No necesitas GPU caras, ni instalar software, ni escribir código Python. Lo único que tienes que hacer es subir el conjunto de datos y ejecutar la API OpenAI de ajuste. Sencillo. 

Una vez completado el ajuste fino, puedes utilizar este modelo en tu aplicación de IA, de forma similar a cualquier otro modelo que utilice la API OpenAI. 

En este proyecto, aprenderás sobre la API de OpenAI y cómo modificar y cargar el conjunto de datos. Al final, puedes acceder al modelo afinado y generar la respuesta personalizada.

Fuente: Ajuste de la GPT-4 de OpenAI

2. Construir un Asistente de IA para la Ciencia de Datos con Capacidades Multimodales

Enlace al proyecto: Crear asistentes de IA con GPT-4o

En este proyecto, crearás tu propio asistente de IA similar a ChatGPT. Aprenderás a utilizar la API OpenAI y GPT-4o para crear un asistente de IA especializado y adaptado a las tareas de la ciencia de datos. Esto incluye proporcionar instrucciones personalizadas, manejar archivos y datos, y utilizar capacidades multimodales. 

Lo divertido es que todo el proyecto sólo requiere que entiendas varias funciones de la API Python de OpenAI. Con unas pocas líneas de código, puedes construir tu propia IA automatizada que procese los datos por ti y te presente el análisis. 

Fuente: Crear asistentes de IA con GPT-4o

3. Servir una Aplicación LLM como un punto final de la API utilizando FastAPI

Enlace al proyecto: Servir una aplicación LLM como un punto final de la API utilizando FastAPI en Python

¿Cuál es el siguiente paso después de crear tu aplicación utilizando la API de OpenAI? Lo servirás y desplegarás en un servidor. Esto significa crear una aplicación API REST que cualquiera pueda utilizar para integrar tu aplicación de IA en sus sistemas. 

En este proyecto, aprenderás sobre FastAPI y cómo construir y servir aplicaciones de IA. También aprenderás cómo funciona la API y cómo probarla localmente. 

Fuente: Servir una aplicación LLM como un punto final de la API utilizando FastAPI en Python

Proyectos LLM intermedios

En los proyectos LLM intermedios, aprenderás a integrar varias API LLM como Groq, OpenAI y Cohere con marcos como LlamaIndex y LangChain. Aprenderás a crear aplicaciones conscientes del contexto y a conectar múltiples fuentes externas para generar respuestas altamente relevantes y precisas.

Requisitos previos: Experiencia con Python y comprensión del funcionamiento de los agentes de IA. 

4. Construir una aplicación ChatPDF consciente del contexto

Enlace al proyecto: Tutorial del motor de inferencia Groq LPU

La API de Groq es similar a la API de OpenAI, pero ofrece una velocidad de casi 500 tokens por segundo, frente a los 45 tokens por segundo de OpenAI, proporcionando respuestas en tiempo real. 

En este proyecto, aprenderás sobre la API Groq Python y cómo utilizarla para crear aplicaciones de IA. Explorarás conceptos como los almacenes vectoriales, la indexación, las incrustaciones, los LLM, los motores de chat y los búferes de memoria. 

Utilizando estos componentes, construirás una aplicación RAG (Retrieval-Augmented Generation) consciente del contexto que puede generar respuestas relevantes utilizando archivos PDF.

Fuente: Tutorial del motor de inferencia Groq LPU

5. Construir un motor de consulta SQL DuckDB utilizando un LLM

Enlace al proyecto: Tutorial de DuckDB: Construir proyectos de IA

DuckDB es un moderno sistema de gestión de bases de datos analíticas (SGBD) en memoria, de alto rendimiento, que puede utilizarse como almacén vectorial y motor de consultas SQL. 

En este proyecto, aprenderás sobre el framework LlamaIndex para construir una aplicación RAG utilizando DuckDB como almacén de vectores. Además, construirás un motor de consultas SQL DuckDB que convierta el lenguaje natural en consultas SQL y genere respuestas que puedan utilizarse como contexto para la consulta. Es un proyecto divertido, y aprenderás un montón de funciones y agentes de LlamaIndex. 

Fuente: Tutorial de DuckDB: Construir proyectos de IA

Proyectos LLM para estudiantes de último año

Los estudiantes de último curso tienen la oportunidad de elaborar solicitudes de LLM adecuadas. Por lo tanto, la mayoría de los proyectos mencionados en esta sección requieren conocimientos sobre el ajuste fino, las arquitecturas LLM, las aplicaciones multimodales, los agentes de IA y, finalmente, el despliegue de la aplicación en un servidor.

Requisitos previos: Buen conocimiento del lenguaje Python, los LLM, los agentes de IA y el ajuste de modelos.

6. Construir aplicaciones de IA multimodal con LangChain y la API OpenAI

Enlace al proyecto: Construir aplicaciones de IA multimodal con LangChain y la API OpenAI

La IA Generativa facilita ir más allá del simple trabajo con texto. Ahora podemos combinar la potencia de los modelos de IA de texto y audio para construir un bot que responda a preguntas sobre vídeos de YouTube. 

En este proyecto, aprenderás a transcribir el contenido de un vídeo de YouTube con la IA de voz a texto Whisper y luego utilizarás GPT para hacer preguntas sobre el contenido. También aprenderás sobre LangChain y varias funciones de OpenAI. 

El proyecto incluye una videoguía y sesiones de code-along para que sigas y construyas la aplicación con el instructor.

Toma el Desarrollo de aplicaciones LLM con LangChain para aprender más sobre sus funciones mediante ejercicios interactivos, diapositivas, cuestionarios, tutoriales en vídeo y preguntas de evaluación.

Fuente: Construir aplicaciones de IA multimodal con LangChain y la API OpenAI

7. Afinar Llama 3 y utilizarla localmente

Enlace al proyecto: Afinar Llama 3 y utilizarla localmente: Guía paso a paso

El ajuste mediante la API de OpenAI es fácil, pero tiene limitaciones. Sólo puede afinar el modelo OpenAI, y estás sacrificando privacidad y pagando más en comparación con el ajuste fino en tu propia máquina. En última instancia, todo se reduce al coste y la seguridad. 

En este proyecto, aprenderás a utilizar el marco Transformers para afinar el modelo Llama 3 sobre las conversaciones entre pacientes y médicos. Además, aprenderás a fusionar el modelo base con el adaptador ajustado, convertirlo al formato GGUF, cuantizarlo y utilizarlo localmente con una aplicación Jan. 

Al completar este proyecto, adquirirás conocimientos sobre los LLM, el ajuste fino, la cuantización y diversos métodos para optimizar el uso de la memoria y el cálculo.

Fuente: Afinar Llama 3 y utilizarla localmente

8. Construye un agente de IA de múltiples pasos utilizando la API LangChain y Cohere

Enlace al proyecto: Comando Cohere R+: Un tutorial completo paso a paso

La API de Cohere es similar a la API de OpenAI y ofrece muchas características en comparación con otros marcos LLM. En este proyecto, aprenderás las características principales de la API de Cohere y las utilizarás para construir un agente de IA de varios pasos. 

También dominarás el marco LangChain y el encadenamiento de varios agentes de IA. 

Al final, construirás una aplicación de IA que tomará la consulta del usuario para buscar en la web y generará código Python. A continuación, utilizará Python REPL para ejecutar el código y devolver la visualización solicitada por el usuario. 

Fuente: Comando Cohere R+: Un tutorial completo paso a paso

9. Despliegue de aplicaciones LLM con LangServe

Enlace al proyecto: Despliegue de aplicaciones LLM con LangServe

En este proyecto, aprenderás a desplegar aplicaciones LLM utilizando LangServe. Empezarás configurando LangServe, creando un servidor mediante FastAPI, probando el servidor localmente y, a continuación, desplegando la aplicación. También aprenderás a supervisar el rendimiento de LLM utilizando el marco Prometheus y, a continuación, a utilizar Grafana para visualizar el rendimiento del modelo en el panel de control. 

Hay mucho que aprender, y te ayudará a conseguir un trabajo en el campo de las LLMOps, cuya demanda está creciendo. 

Fuente: Despliegue de aplicaciones LLM con LangServe

Proyectos LLM avanzados

Los proyectos LLM avanzados están diseñados para expertos que quieran crear aplicaciones listas para la producción y mejorar las aplicaciones LLM ya implantadas. Trabajando en estos proyectos, aprenderás a inferir y afinar en TPUs en lugar de GPUs para obtener un rendimiento más rápido, automatizar la generación de taxonomías y la clasificación de textos, y construir aplicaciones de IA en la Nube de Microsoft Azure.

Requisitos previos: Buen conocimiento de Python, LLMs, ajuste de modelos, TPUs y computación en la nube.

10. Afinar y ejecutar la inferencia en el modelo Gemma de Google utilizando TPUs

Enlace al proyecto: Afinar y ejecutar la inferencia en el modelo Gemma de Google con TPU

El ajuste fino y la ejecución de la inferencia del modelo en las TPU conllevan su propio conjunto de problemas y limitaciones, pero a cambio, obtienes 4 veces más velocidad en comparación con una configuración multi-GPU. 

En este proyecto, aprenderás sobre CPUs, GPUs y TPUs, y cómo puedes utilizar las TPUs para generar respuestas más rápidas y afinar los modelos en una cuarta parte del tiempo. También aprenderás sobre el ajuste fino distribuido y la inferencia de modelos con TPU, que se consigue mediante el paralelismo de modelos, que distribuye los pesos de un único modelo entre varios dispositivos, lo que permite escalar horizontalmente y acelerar el entrenamiento.

Fuente: Afinar y ejecutar la inferencia en el modelo Gemma de Google con TPU

11. Construye una aplicación TNT-LLM

Enlace al proyecto: Tutorial de GPT-4o y LangGraph: Construye una aplicación TNT-LLM

TNT-LLM de Microsoft es un sistema de vanguardia diseñado para automatizar la generación de taxonomías y la clasificación de textos aprovechando la potencia de los grandes modelos lingüísticos (LLM), como GPT-4, para mejorar la eficacia y la precisión con una intervención humana mínima. En este proyecto, implementarás TNT-LLM utilizando LangGraph, LangChain y la API OpenAI. 

Definirás la clase de estado del gráfico, cargarás conjuntos de datos, resumirás documentos, crearás minilotes, generarás y actualizarás la taxonomía, la revisarás, orquestarás el pipeline TNT-LLM con StateGraph y, por último, agruparás y mostrarás la taxonomía.

Fuente: Tutorial de GPT-4o y LangGraph

12. Crear una aplicación de IA con Azure Cloud

Enlace al proyecto: Utilizar GPT en Azure

Adquirir experiencia en computación en la nube es una habilidad crucial que te hará conseguir un puesto en cualquier campo relacionado con el LLM. Dominar la capacidad de construir, automatizar, desplegar y mantener una canalización LLM en la nube Azure te hará ganar el título de experto en LLMs. 

En este proyecto, aprenderás a configurar una instancia de pago de OpenAI y a crear aplicaciones sencillas que demuestren el poder de los LLM y la IA Generativa con tus datos. También utilizarás un almacén vectorial para construir una aplicación RAG y reducir la alucinación en la aplicación AI. 

Fuente: Utilizar GPT en Azure

Reflexiones finales 

Trabajar en los proyectos mencionados anteriormente te proporcionará la experiencia suficiente para crear tu propio producto o incluso para conseguir un trabajo en el campo de la LLM. La clave del éxito no es sólo codificar o afinar, sino documentar y compartir tu trabajo en las redes sociales para llamar la atención. Asegúrate de que tu proyecto está bien explicado y es fácil de usar, incluyendo una demo o guía de usabilidad dentro de la documentación.

En este blog, revisamos 12 proyectos LLM que pueden ayudarte a conseguir el trabajo de tus sueños como Científico LLM. Si estás interesado en saber más sobre los LLM, te recomendamos encarecidamente que explores la sección Desarrollo de grandes modelos lingüísticos para desarrollar grandes modelos lingüísticos. Enseñará las últimas técnicas para desarrollar modelos lingüísticos de vanguardia, dominar el aprendizaje profundo con PyTorch, construir tu propio modelo transformador desde cero y afinar los LLM preentrenados de Hugging Face.