Curso
AI Security and Risk Management
2 h
4.1K
Creo que todos hemos oído hablar de Devin, el "ingeniero de software junior de IA" que supuestamente clona tu repositorio, añade nuevas funciones, ejecuta las pruebas y abre un pull request antes de que te hayas terminado el café de la mañana.
Como todas las cosas de IA de hoy en día, es bastante difícil saber lo buena que es sin probarla uno mismo, así que decidí hacerlo. He hecho pasar a Devin por todas las fases del ciclo de vida completo del desarrollo de software y he escrito una serie de cuatro tutoriales con la esperanza de que ayude a otros programadores a sacarle el máximo partido.
Puedes acceder a todos los tutoriales de la serie Devin aquí:
- Configuración y primera Pull Request (Parte 1)
- Enviar una rodaja vertical con Devin (2ª parte)
- Integraciones, pruebas y CI/CD (3ª parte)
- Seguridad, implantación y mantenimiento (4ª parte)
Ahora bien, si tu perfil de GitHub es un "cementerio" de repositorios olvidados, estás en buena compañía. La mía está llena de experimentos a medio terminar. En los próximos cuatro tutoriales, pondremos a Devin a trabajar en mi repositorio abandonado de ejercicios fp-ts, convirtiendo los ejercicios clonados y ejecutados del año pasado en una moderna plataforma de aprendizaje basada en navegador.
Permíteme explicar muy rápidamente mi plan para los cuatro tutoriales, y luego pasaremos a la parte práctica del resto de la serie.
Qué trataremos en esta serie de tutoriales
Vamos a resucitar un proyecto paralelo de mi propio cementerio de GitHub, porque Devin funciona mejor cuando tiene código real, pruebas reales y un poco de historia sobre la que razonar, no un repositorio vacío.
El proyecto es fp-ts-ejerciciosuna colección de pequeños retos destinados a enseñar conceptos de programación funcional (como Opción, Cualquiera, etc.) en TypeScript. Ahora mismo, es un repositorio de clonar y ejecutar: los alumnos lo descargan, editan los archivos localmente y ejecutan las pruebas en su propio terminal.
Mi objetivo es convertir esos ejercicios en un patio de recreo interactivo basado en un navegador, en el que la gente pueda leer una explicación, retocar el código en un editor dentro de la página y ver que las pruebas pasan (o fallan) al instante. Los alumnos también tendrán la oportunidad de iniciar sesión para guardar sus progresos.
Nota: He actualizado el repositorio con Devin cuando escribí esos tutoriales. El enlace anterior muestra el estado del código en abril de 2023, antes de que abandonara el proyecto. El código actualizado se encuentra aquí.
Éste es el plan para nuestras cuatro partes:
- Parte 1 - Configuración y primera Pull Request
- Regístrate en Devin, conecta GitHub.
- Deja que Devin limpie el repositorio: elimine dependencias, cree nuevas reglas y scripts de lint y abra su primer PR.
- Parte 2 - Características de envío
- Utiliza Devin para planificar la nueva interfaz de usuario y la API del navegador.
- Construye páginas, crea una base de datos, secretos y haz que Devin abra PR de características.
- Parte 3 - Integraciones, pruebas y CI/CD
- Introduce las pruebas Vitest/Playwright y deja que Devin las mantenga en verde.
- Genera un pipeline de Acciones de GitHub, engancha tickets a Jira y conecta a Devin a Slack.
- Explora la función Wiki.
- Parte 4 - Seguridad, implantación y mantenimiento
- Añade la autenticación, despliega nuestra aplicación y conecta Sentry para la supervisión de errores.
Al final, ¡el antiguo repositorio CLI debería ser una aplicación web pulida!
Antes de empezar con la parte práctica, hagamos una presentación general de Devin. No dudes en saltar a la sección de configuración si ya sabes qué es Devin y cómo funciona.
¿Qué es Devin?
Devin es un agente de codificación totalmente autónomo alojado en la nube y desarrollado por Cognition. Si lo sueltas en un repositorio, abre un terminal, un editor y un navegador aislados, y planifica y ejecuta tareas de principio a fin sin tocar tu máquina local.
Se lanzó en marzo de 2024, con la publicación en el blog de Cognition de Cognition afirmando que Devin cerró el 13,86% de los problemas reales de GitHub en la prueba SWE-bench, eclipsando absolutamente el anterior SOTA del 1,96%. En la práctica, significa que en un subconjunto cuidadosamente elegido (570 problemas), arregló 79 errores de proyectos populares como Django y scikit-learn sin ayuda humana.
Es impresionante, pero se trata de código de referencia (que consiste en errores bien definidos con conjuntos de pruebas), por lo que el kilometraje en el mundo real varía. En cualquier caso, hay quien dice que rinde tanto como un junior dev.
Casos de uso de Devin
Devin es un gran compañero si quieres ponerlo en práctica:
- Actualizaciones incrementales de repositorios: Puede ejecutar las pruebas, aumentar las dependencias y corregir iterativamente las roturas, lo que es estupendo para tareas del tipo "llevar este proyecto Nodo 14 a Nodo 20".
- Entradas de características bien definidas: Dada una incidencia de GitHub o un ticket de Jira con criterios de aceptación claros, el bucle plan-edición-prueba de Devin es bastante bueno.
- Tareas de no codificación: Regenerar documentos, cablear plantillas CI o formatear archivos en bloque puede ser aburrido para los humanos, pero es perfecto para un agente.
Sin embargo, Devin no es muy adecuado para:
- Arquitectura ecológica: Lucha si te limitas a decir: "constrúyeme una plataforma SaaS desde cero". Necesita andamios y rinde mejor cuando se le da más contexto.
- Decisiones ambiguas sobre el producto: Pídele que elija entre Stripe y Rema por pagos, y puede que elija al azar.
- Monorrepos masivos: Los límites de contexto significan que debe paginar los archivos de entrada y salida, y el rendimiento cae en picado en espacios de trabajo de 100 k líneas.
¿Cómo funciona Devin?
Todos los agentes de codificación modernos, incluido Devin, ejecutan un bucle que refleja unciclo de control robótico:
|
Escenario |
Lo que "ve" Devin |
Tecnología clave |
|
Percibe |
Lee archivos de código, registros de pruebas, salida de terminal, DOM del navegador |
Indexador de código, analizadores de registros |
|
Conocer / Planificar |
Divide la consulta del usuario en una lista de tareas, razones sobre el orden y el utillaje |
Planificador basado en LLM con memoria aumentada por recuperación |
|
Actúa |
Ejecuta comandos de terminal, edita archivos, hace clic en interfaces de usuario web |
Sandbox seguro (Docker/VM) con herramientas Shell / Editor / Navegador |
|
Reflexiona / Aprende |
Reejecuta las pruebas, inspecciona los diffs, actualiza el plan (o te pregunta a ti) |
Aviso de autocrítica + memoria de almacenamiento vectorial |
|
Persiste |
Guarda la línea de tiempo y los artefactos para reproducirlos o transferirlos |
Almacén de objetos en la nube + interfaz de línea de tiempo |
Devin está construido como una pila de módulos que cooperan entre sí:
- Todo comienza con la interfaz de chat o bot Slack/ticket Jira, donde indicas el objetivo en forma de pregunta.
- La indicación se entrega a un LLM planificador que amplía el objetivo en un plan paso a paso y autocritica cada paso antes de la ejecución.
- A continuación, un ejecutor ligero selecciona la herramienta adecuada para cada paso (terminal, editor de código o navegador sin cabeza), todo ello dentro de un espacio de trabajo estrechamente aislado.
- Ese sandbox es efectivamente un portátil en la nube y aísla las credenciales, proporciona a Devin un prompt Bash, un editor estilo VS-Code y una instancia de Chrome en la que puede hacer clic.
- Debajo del espacio de trabajo hay una capa de memoria que almacena instantáneas vectorizadas de la base de código, además de una línea de tiempo de reproducción completa de cada comando, diferencia de archivo y pestaña del navegador que toca Devin.
¿Por qué es tan buena esta arquitectura? En primer lugar, el estrecho bucle de retroalimentación: en cuanto fallan las pruebas o los lints se quejan, Devin puede iterar de forma autónoma hasta que la construcción se pone en verde.
En segundo lugar, el diseño del sandbox hace que paralelizar pequeñas tareas sea trivial, porque varios sandboxes pueden ejecutarse uno al lado del otro sin pisarse.
En tercer lugar, la memoria persistente permite a Devin abordar migraciones de larga duración: el agente puede mantener una lista de tareas pendientes de subtareas y desgranarlas a lo largo de horas o días, lo que significa que termina las refactorizaciones masivas varias veces más rápido de lo que lo haría un humano a mano.
Cómo empezar con Devin
Lo primero es lo primero, vamos a crear una cuenta.
Regístrate y elige un plan
Vamos a devin.ai y haz clic en "Empezar".
Los primeros pasos del asistente son bastante fáciles de seguir. Me pidieron que respondiera a unas preguntas sobre mí, la empresa y el nombre de mi equipo. Si eres un dev en solitario como yo, no hay problema, el asistente se ocupa de eso.
Entonces llega el momento de elegir un plan. Hay dos opciones:
- Core (pago por uso): Para la mayoría de los desarrolladores en solitario, el plan Básico es el más barato: pagas 20 $ por adelantado, con los que puedes comprar 9 Unidades Informáticas de Agente (UCA).
- Equipos: El plan Equipos te da 250 ACUs/mes. Esta página de documentación oficial proporciona información detallada sobre las ACUs y el modelo de facturación de Devin.
El plan Básico es una forma más o menos barata de probar a Devin, así que decidí pagar 20 $ y ver hasta dónde me llevaba.
Introduje mis datos de pago y obtuve la opción de establecer un umbral de recarga automática para que Devin pueda recargar ACUs automáticamente en lugar de detenerse a mitad de la tarea. No activé esta función y probablemente no recomendaría hacerlo en ese momento. Sin embargo, la opción está disponible más adelante en los ajustes, así que puedes probar primero con una tarea y ver cómo es tu uso. También puedes establecer límites de ACU por sesión, lo que resulta útil para evitar pasarte del presupuesto.
Cálculo rápido: 20 $ / 9 ACUs ≈ 2,25 $ por ACU. La suscripción a Equipos (500 $/mes) lo reduce a 2,00 $ y precarga 250 ACUs, pero sólo ahorrarás dinero si esperas que Devin funcione durante más de 30 horas cada mes.
Conectarse a Github (y opcionalmente a Jira y Slack)
Ahora, lo siguiente que se nos pide es que conectemos una cuenta de GitHub y demos a Devin acceso a los repositorios.
Yo opto por dar acceso a Devin únicamente a nuestro repositorio de ejercicios fp-ts, ya que es el único que necesita conocer, y tú probablemente deberías hacer lo mismo para evitar cualquier modificación involuntaria del código.
Una vez hecho esto, tuve la opción de conectar un sistema de gestión de proyectos. Parece que Devin admite la integración con Jira, GitHub Issues y Linear.
Al hacer clic en la opción Jira se abre este modal, y las líneas en amarillo especifican que es mejor que Devin utilice una cuenta de servicio específica y sólo tenga acceso a un espacio de trabajo, aunque eso signifique que tengas que crear una cuenta Jira dedicada para ello.
Ten en cuenta que es posible añadir la integración con Jira más tarde desde la configuración, así que no tienes que hacerlo en este momento.
También tienes la opción de integrarte con Slack, pero por ahora me la he saltado.
Sistemas multiagente con LangGraph
Construye potentes sistemas multiagente aplicando patrones de diseño agéntico emergentes en el marco LangGraph.
Primera Tarea: Actualizar un repositorio obsoleto
Bien, ahora que ya estamos preparados, pasemos a la parte divertida. ¡Es hora de ver lo bueno que es Devin!
Inducir
Una vez completada la configuración inicial, ésta es la página en la que aterrizamos:
Como era de esperar, todo empieza con un aviso. Pasé el ratón por encima de todos los pequeños iconos para entender las funciones disponibles, y luego escribí mi mensaje.
Prompt: Hace un par de años, inicié un repositorio llamado fp-ts-exercises, destinado a ayudar a los programadores a aprender programación funcional en TypeScript utilizando la biblioteca fp-ts. Contiene una serie de ejercicios locales que abarcan conceptos como Opción, Cualquiera, etc. Los alumnos clonaban el repositorio, resolvían los ejercicios y ejecutaban pruebas para comprobar sus soluciones.
Me gustaría modernizar y relanzar este proyecto con los siguientes objetivos:
Actualizar y refactorizar la base de código existente
- Actualizar todas las dependencias y garantizar la compatibilidad con la última versión de fp-ts
- Mejora la estructura, la legibilidad y la experiencia de los programadores
- Sustituye cualquier herramienta o patrón obsoleto (por ejemplo, migra de Mocha a Vitest, o similar si procede).
Ahora bien, no era un gran aviso, pero de eso se trataba. El resultado de un agente de IA sólo puede ser tan bueno como la información que recibe, y un objetivo impreciso puede interpretarse de varias maneras. En el caso de Devin, el coste de un error de comunicación es importante. Si los límites de las ejecuciones y el resultado esperado no están claramente definidos, y lo estableces en una tarea semicompleja, estarás desperdiciando un montón de ACUs.
Lo que quería probar aquí era el pequeño icono del "bolígrafo mágico" junto al botón "Enviar". Se trata de una función de "Analizar indicación" que está convenientemente disponible para ayudarte a refinar tu indicación antes de enviarla, y así aprovechar al máximo las capacidades de Devin.
Cuando hice clic en él, reformuló partes de mi mensaje, pero también me hizo saber que había oportunidades de mejora.
Fue una respuesta estupenda, así que modifiqué ligeramente mi mensaje para incluir requisitos adicionales. En ese momento no había configurado ni linting ni pruebas unitarias, así que especifiqué que debía ejecutar las pruebas de aprendices en la solución del primer problema para asegurarme de que la aplicación se comportaba como se esperaba.
Prompt: Quiero modernizar y relanzar mi repositorio fp-ts-exercises, que ayuda a los programadores a aprender programación funcional en TypeScript utilizando la biblioteca fp-ts. El repositorio contiene ejercicios locales que cubren conceptos como Opción y Cualquiera. Los alumnos clonan el repositorio, resuelven los ejercicios y ejecutan pruebas para comprobar sus soluciones. El objetivo es actualizar el proyecto y mejorar la experiencia de los programadores. Por favor, haz lo siguiente:
- Actualiza todas las dependencias a las últimas versiones y garantiza la compatibilidad con la última versión de fp-ts.
- Refactorizar el código base existente para mejorar la estructura, la legibilidad y la experiencia general de los programadores.
- Sustituye cualquier herramienta o patrón obsoleto. Por ejemplo, migrar de Mocha a Vitest, o sugerir otras actualizaciones de herramientas adecuadas. Justifica los cambios de utillaje que propongas.
- Asegúrate de que todos los ejercicios y pruebas existentes siguen funcionando correctamente tras las actualizaciones y la refactorización.
Puedes ejecutar npm run solución -- opción 01 para asegurarte de que las pruebas pasan y todo funciona como se espera.
Especifica qué pasos darás para realizar las actualizaciones y la refactorización. Antes de hacer cambios significativos, propón tu enfoque y recaba opiniones.
Puedes enviar tus cambios para su revisión en una Solicitud de Extracción.
Efectivamente, esta vez, al analizar mi sugerencia, recibí un brindis del tipo "¡La sugerencia tiene buena pinta!
La interfaz
Envié mi mensaje y Devin se puso a pensar inmediatamente.
La interfaz de usuario es un poco abrumadora a primera vista, pero es bastante fácil de navegar una vez que sabes lo que hace cada cosa. Vamos a desglosarlo.
El panel con las sesiones activas de la izquierda es plegable, por si prefieres sumergirte en una sesión cada vez.
Hay una interfaz parecida a un chat, en la que puedes seguir el razonamiento de Devin e interactuar con él.
La parte derecha de la pantalla está ocupada por un panel con varias pestañas: Progreso, Terminal, Navegador y Editor. Estas pestañas muestran el razonamiento exacto y los pasos que Devin ejecuta en los distintos entornos.
Si haces clic en cada uno de ellos, podrás ver los pasos que dio en el terminal (por ejemplo, clonando el repositorio), en el navegador (navegando a la página del repositorio de github) y en el Editor, que es un editor similar a VSCode con todos los archivos del repositorio (que es donde luego modificará nuestro código). La pestaña de progreso resalta los pasos que da a medida que los ejecuta.
En la parte superior derecha de la pantalla, hay otro conjunto de pestañas: Timelapse, IDE y Navegador. Estas son las vistas a las que puede navegar y utilizar. La pestaña "Timelapse" actualmente seleccionada muestra el progreso y las acciones de Devin, como hemos explicado anteriormente. La función interactiva de lapso de tiempo (puedes ver el "En directo" y la barra de progreso en la parte inferior) te permite reproducir una sesión. La pestaña IDE abre un IDE online similar a VSCode donde puedes modificar tu código e incluso enviarlo a GitHub.
Planificación y razonamiento de Devin
Devin pensó durante unos minutos, analizó toda la repo y explicó sus acciones en cada paso. Fíjate en el mensaje resaltado "Devin clonó el repositorio, considera configurar un espacio de trabajo Devin". Volveremos a ello más adelante.
Entonces me propuso un plan, me dijo que su confianza era alta y me pidió que lo confirmara:
Estaba bastante contento con ese plan, así que hice clic en Confirmar. Devin se puso manos a la obra de inmediato.
¿Ves el pequeño desplegable "Agente" en la parte inferior de la interfaz del chat? La otra opción del menú es "Preguntar". Esta funcionalidad no interrumpe el trabajo de Devin, pero te permite interactuar con él. Decidí probarlo pidiéndole que añadiera scripts de comprobación de linting y compilación de TypeScript.
El trabajo ya había empezado, pero me dijo que se aseguraría de añadir estos guiones (¡y lo hizo!).
La solicitud de extracción
No lo cronometré con exactitud, pero al cabo de unos minutos, tenía una pull request lista, y la descripción era minuciosa y precisa.
Fue una agradable sorpresa que utilizara su iniciativa para hacer algo más que asegurarse de que pasaban las pruebas de la primera solución. Probó la tercera solución, pero también el primer ejercicio, y comprobó que las pruebas fallaban (como era de esperar, ya que ningún alumno completó el ejercicio).
Revisé el PR y tuve la sospecha de que mis scripts de linting y compilación de TypeScript fallarían. Faltaba, por ejemplo, un "type":"module" en mi package.json.
No estoy seguro de por qué Devin no ejecutó esos guiones después de escribirlos para asegurarse de que funcionaban. ¿Porque no se lo pedí explícitamente? ¿O porque añadí estos requisitos después de que empezara a funcionar?
Decidí utilizar el editor de código online para corregir el descuido de Devin, lo que me llevó unos 5 minutos. Ejecuté todos los comandos en el terminal, y todos parecían comportarse como se esperaba tras mi arreglo.
Podría haber delegado el arreglo en Devin, pero era más rápido ocuparme yo mismo. En unos cinco minutos, ejecuté los scripts, confirmé los fallos de lint y compilación, y localicé la causa. Otros dos minutos después, el parche estaba colocado y todas las comprobaciones pasadas. Redactar un aviso detallado, esperar a que Devin lo ejecutara y luego revisar su resultado habría llevado más tiempo.
Encontrar el punto óptimo entre el esfuerzo humano y el de la IA es un arte sutil: cuando un ajuste es obviamente una fruta madura, prefiero hacerlo que escribir "por favor, arregla esto" y esperar. Sin embargo, cada uno tiene sus preferencias personales, y tu propio límite variará en función de tu experiencia, de la tarea y, seamos sinceros, de tu estado de ánimo ese día.
Finalizar la sesión
En ese momento, terminé con la modernización del repositorio, y todo funcionó como se esperaba. ¿Y ahora qué? ¿Cómo termino una sesión, y se me sigue cobrando por este tiempo de inactividad?
La interfaz se volvió un poco confusa en este punto. En el extremo derecho, en el menú de la sesión, tenía dos opciones: poner a Devin a dormir o terminar la sesión.
He consultado la documentacióny esto es lo que he encontrado Devin no utiliza ACUs mientras duerme, y dormirá automáticamente tras ~0,1 ACUs de inactividad.
También pregunté a los doctores AI bot cuál era la diferencia entre dormir y terminar:
La respuesta era bastante clara. Nuestro trabajo aquí había terminado, así que di por terminada la sesión.
Configurar nuestro repositorio en el espacio de trabajo de Devin
¿Recuerdas el mensaje destacado que recibimos en el chat mientras Devin planeaba su trabajo? Nos pedía que configuráramos el repositorio en la máquina de Devin, para que no tuviéramos que clonarlo cada vez que quisiéramos trabajar en él. Pero, ¿por qué querríamos hacer eso?Cada nueva sesión comienza con una máquina virtual nueva, así que, sin configuración, Devin tiene que hacerlo:
- Diseñar nuestra base de código desde cero
- Instala todas las dependencias y herramientas
- Aprende la estructura y las convenciones de nuestros proyectos
- Perder un tiempo valioso en la configuración del entorno en lugar del trabajo real
Así que crear nuestro repo es un enfoque más eficiente en cuanto a costes y tiempo. También es más coherente, ya que todas las sesiones comienzan con la misma configuración, y Devin sabe exactamente cómo ejecutar, probar y pelar nuestro código.
Esta función se encuentra en el panel de navegación de tu equipo, y los pasos son, una vez más, bastante sencillos de seguir.
Comenzamos especificando los comandos para extraer la última versión del repositorio:
Puedes introducir comandos personalizados y, al hacer clic en el botón "Verificar comando", se ejecutarán automáticamente en el terminal que tienes delante. Puedes ver si tienen éxito o fracasan en cuestión de segundos.
Me he saltado el paso de configuración de los secretos, ya que por ahora no tenemos ninguno. La instalación y el mantenimiento de dependencias funcionan de la misma manera, y una vez que tu comando ha tenido éxito, el paso se marca como completado.
El resto de los pasos funcionan de forma similar, y una vez completados todos los pasos (u omitidos, si no procede), se guarda tu configuración.
Uso y revisión de la sesión
Hasta ahora, hemos completado una tarea sencilla con Devin, hemos creado un pull request, lo hemos fusionado y hemos configurado nuestro repositorio para futuras sesiones. Veamos algunos datos de nuestra sesión. Al hacer clic en el pequeño icono de la parte superior de la sesión, se abre un modal con información sobre la sesión:
La talla de nuestra sesión es la XS, que, según la guía de tallas de Devins, estaba bastante bien.
Si haces clic en el botón "Generar Perspectivas" y esperas unos segundos, podrás ver información general sobre la sesión, los pasos concretos que dio Devin y dónde tuvo problemas.
También me interesaba ver cuántas ACU habíamos utilizado. Una cosa extraña que noté fue que la página de planos mostraba que me quedaban 8,73 ACUs, a pesar de haber utilizado ya 1,7 ACUs del total de 9 (ver el resalte azul dentro de la sección Core ).
Sin embargo, la página de Uso y Límites mostraba correctamente que habíamos utilizado 1,7 ACUs y nos quedaban 7,3 ACUs.
Volví a comprobarlo 18 horas después, y la página de Planes mostraba entonces 7,3 ACU restantes, por lo que tiene un ligero retraso en la actualización de esta información. Asegúrate de utilizar la página de Uso y Límites como fuente de información para evitar sorpresas.
¿Mereció la pena?
Hagamos números.
Así pues, 1,7 ACU a 2,25 $/ACU = 3,83 $ para esta sesión.
Dediqué unos 20 minutos a indicando y revisando. Hacerlo todo manualmente se habría alargado mucho más, y habría postergado cada paso porque es el tipo de tarea que me resulta especialmente aburrida. Por el precio de un capuchino, Devin me quitó el trabajo de encima. Haré ese cambio cualquier día.
¿Y ahora qué?
Vale, ya lo tenemos:
- Creada nuestra cuenta
- Conectado a nuestro repositorio GitHub
- Configura el repositorio para futuras sesiones en la máquina de Devin
- Ejecutamos nuestra primera tarea de actualización de dependencias
- Revisamos las métricas y el uso de nuestras sesiones
¡Muy buen comienzo! En el próximo tutorial, profundizaremos y ampliaremos las capacidades de Devin pidiéndole que planifique e implemente funciones completas, con integraciones de API y bases de datos.
Si estás listo para continuar, haz clic en el segundo elemento de la lista de abajo para ir al segundo tutorial:
- Configuración y primera Pull Request
- Enviar una rodaja vertical con Devin (2ª parte)
- Integraciones, pruebas y CI/CD (3ª parte)
- Seguridad, implantación y mantenimiento (4ª parte)
