¿Qué es Sora de Open AI? Cómo funciona, casos de uso, alternativas y más

PROMPT: Una elegante mujer camina por una calle de Tokio llena de cálidos neones brillantes y señalización animada. Lleva una chaqueta de cuero negra, un vestido largo rojo, botas negras y un bolso negro. Lleva gafas de sol y pintalabios rojo. Camina con seguridad y despreocupación. La calle es húmeda y reflectante, lo que crea un efecto espejo de las luces de colores. Muchos peatones pasean.

Ejemplos de OpenAI Sora

OpenAI y su CEO, Sam Altman, han estado muy ocupados compartiendo ejemplos de Sora en acción. Hemos visto diferentes estilos y ejemplos, como los siguientes:

Ejemplos de animación de Sora

PROMPT: Un modelo de papel bellamente renderizado de un arrecife de coral, lleno de vistosos peces y criaturas marinas.

PROMPT: La escena animada muestra un primer plano de un monstruo bajito y esponjoso arrodillado junto a una vela roja que se derrite. El estilo artístico es 3D y realista, con especial atención a la iluminación y las texturas. El ambiente del cuadro es de asombro y curiosidad, pues el monstruo contempla la llama con los ojos muy abiertos y la boca abierta. Su postura y su expresión transmiten una sensación de inocencia y alegría, como si explorara por primera vez el mundo que le rodea. El uso de colores cálidos y de una iluminación espectacular realza aún más el ambiente acogedor de la imagen.

Ejemplos de paisajes urbanos de Sora

PROMPT: La hermosa y nevada ciudad de Tokio bulle de actividad. La cámara se mueve por la bulliciosa calle de la ciudad, siguiendo a varias personas que disfrutan del hermoso día nevado y compran en los puestos cercanos. El viento hace volar preciosos pétalos de sakura junto con los copos de nieve.

PROMPT: Un recorrido a pie de calle por una ciudad futurista que está en armonía con la naturaleza y, al mismo tiempo, es ciberpunk/de alta tecnología. La ciudad debe estar limpia y tener avanzados tranvías futuristas, hermosas fuentes y hologramas gigantes y robots por todas partes. Que el vídeo sea de un guía turístico humano del futuro mostrando a un grupo de extraterrestres la ciudad más genial y gloriosa que los humanos son capaces de construir.

Ejemplos de animales Sora

PROMPT: Dos golden retrievers haciendo podcasting en la cima de una montaña.

PROMPT: Una carrera de bicicletas en el océano con diferentes animales montados en las bicicletas a vista de cámara de dron.

¿Cómo funciona Sora?

Igual que modelos de IA generativa de texto a imagen como DALL-E 3, StableDiffusion y Midjourney, Sora es un modelo de difusión. Eso significa que empieza con cada fotograma del vídeo compuesto por ruido estático, y utiliza machine learning para transformar gradualmente las imágenes en algo parecido a la descripción del prompt. Los vídeos de Sora pueden durar hasta 60 segundos.

Resolver la coherencia temporal

Un aspecto innovador de Sora es que tiene en cuenta varios fotogramas de vídeo a la vez, lo que resuelve el problema de mantener la coherencia de los objetos cuando entran en el campo de visión y salen de él. En el siguiente vídeo, fíjate en que la mano del canguro sale varias veces del plano, y cuando vuelve, la mano tiene el mismo aspecto que antes. 

PROMPT: Un canguro de dibujos animados baila en la discoteca.

Combinación de los modelos de difusión y transformador

Sora combina el uso de un modelo de difusión con una arquitectura transformadora, como la utilizada por GPT.

Al combinar estos dos tipos de modelo, Jack Qiao señaló que "los modelos de difusión son estupendos para generar texturas de bajo nivel, pero malos en composición global, mientras que los transformadores tienen el problema opuesto". Es decir, quieres un modelo transformador tipo GPT para determinar la disposición de alto nivel de los fotogramas de vídeo y un modelo de difusión para crear los detalles.

En un artículo técnico sobre la implementación de Sora, OpenAI proporciona una descripción de alto nivel de cómo funciona esta combinación. En los modelos de difusión, las imágenes se descomponen en "parches" rectangulares menores. Para el vídeo, estos parches son tridimensionales porque persisten en el tiempo. Los parches pueden considerarse el equivalente de los "tokens" en los grandes modelos lingüísticos: en lugar de ser un componente de una frase, son un componente de un conjunto de imágenes. La parte transformadora del modelo organiza los parches, y la parte de difusión del modelo genera el contenido de cada parche.

Otra peculiaridad de esta arquitectura híbrida es que, para que la generación de vídeo sea computacionalmente viable, el proceso de creación de parches utiliza un paso de reducción de la dimensionalidad, de modo que no sea necesario aplicar computación en cada píxel de cada fotograma.

Aumentar la fidelidad del vídeo con recaptioning

Para captar fielmente la esencia del prompt del usuario, Sora utiliza una técnica de recaptioning que también está disponible en DALL-E 3. Esto significa que, antes de crear cualquier vídeo, se utiliza GPT para reescribir el prompt del usuario e incluir muchos más detalles. Esencialmente, es una forma de ingeniería automática de prompts.

¿Cuáles son las limitaciones de Sora?

OpenAI señala varias limitaciones de la versión actual de Sora. Sora no tiene una comprensión implícita de la física, por lo que es posible que no siempre se respeten las reglas físicas del "mundo real".

Un ejemplo de ello es que el modelo no comprende la causa y el efecto. Por ejemplo, en el siguiente vídeo de una explosión en un aro de baloncesto, después de que explote el aro, la red parece restaurarse.

PROMPT: Pelota de baloncesto pasa por el aro y luego explota.

Del mismo modo, la posición espacial de los objetos puede cambiar de forma no natural. En el siguiente vídeo de lobeznos, los animales aparecen espontáneamente, y la posición de los lobos a veces se solapa.

PROMPT: Cinco lobeznos grises brincando y persiguiéndose por un remoto camino de grava, rodeados de hierba. Los cachorros corren y saltan, persiguiéndose y jugando a morderse.

Preguntas sin respuesta sobre la fiabilidad

Actualmente no está clara la fiabilidad de Sora. Todos los ejemplos de OpenAI son de muy alta calidad, pero puede haber falacia de evidencia incompleta. Al utilizar herramientas de texto a imagen, es habitual crear diez o veinte imágenes y luego elegir la mejor. No está claro cuántas imágenes generó el equipo de OpenAI para obtener los vídeos que aparecen en su artículo de anuncio. Tener que generar cientos o miles de vídeos para conseguir un solo vídeo utilizable sería un impedimento para la adopción. Para responder a esta pregunta, debemos esperar a que la herramienta esté ampliamente disponible.

¿Cuáles son los casos de uso de Sora?

Sora puede utilizarse para crear vídeos desde cero o ampliar vídeos existentes para hacerlos más largos. También puede rellenar los fotogramas que faltan en los vídeos.

Del mismo modo que las herramientas de IA generativa de texto a imagen han facilitado enormemente la creación de imágenes sin conocimientos técnicos de edición de imágenes, Sora promete facilitar la creación de vídeos sin experiencia en edición de imágenes. He aquí algunos casos de uso clave.

Redes sociales

Sora puede utilizarse para crear vídeos cortos para redes sociales como TikTok, Instagram Reels y YouTube Shorts. Los contenidos difíciles o imposibles de filmar son especialmente adecuados. Por ejemplo, esta escena de Lagos en 2056 sería técnicamente difícil de filmar para un post social, pero es fácil de crear utilizando Sora.

PROMPT: Un hermoso vídeo casero que muestra a los habitantes de Lagos (Nigeria) en el año 2056. Grabado con la cámara de un teléfono móvil.

Publicidad y marketing

Crear anuncios, vídeos promocionales y demos de productos es tradicionalmente caro. Herramientas de IA de conversión de texto a vídeo como Sora prometen abaratar mucho este proceso. En el siguiente ejemplo, una oficina de turismo que quiera promocionar la región californiana de Big Sur podría alquilar un dron para tomar imágenes aéreas del lugar o podría utilizar IA, ahorrando tiempo y dinero.

PROMPT: Vista de dron de olas rompiendo contra los escarpados acantilados de la playa de Garay Point de Big Sur. Las aguas azules que rompen crean olas de crestas blancas, y la luz dorada del sol poniente ilumina la orilla rocosa. A lo lejos hay una pequeña isla con un faro, y arbustos verdes cubren el borde del acantilado. La pronunciada caída desde la carretera hasta la playa es espectacular, con los bordes del acantilado sobresaliendo hacia el mar. Esta es una vista que capta la belleza en bruto de la costa y el paisaje escarpado de la Pacific Coast Highway.

Creación de prototipos y visualización de conceptos

Aunque el vídeo de IA no se utilice en un producto final, puede ser útil para mostrar ideas rápidamente. Los directores de cine pueden utilizar la IA en maquetas de escenas antes de rodarlas, y los diseñadores pueden crear vídeos de productos antes de construirlos. En el siguiente ejemplo, una empresa de juguetes podría generar una maqueta de IA de un nuevo barco pirata antes de comprometerse a crearlo a escala.

PROMPT: Vídeo con primer plano fotorrealista de dos barcos piratas luchando entre sí mientras navegan dentro de una taza de café.

Generación de datos sintéticos

Los datos sintéticos se utilizan a menudo en casos en los que la privacidad o la viabilidad impiden utilizar datos reales. Para los datos numéricos, los casos de uso comunes son los datos financieros y la información personal de identificación. El acceso a estos conjuntos de datos debe estar estrictamente controlado, pero puedes crear datos sintéticos con propiedades similares para ponerlos a disposición del público.

Uno de los usos de los datos de vídeo sintéticos es el entrenamiento de sistemas de visión artificial. Como escribí en 2022, la Fuerza Aérea de EE. UU. utiliza datos sintéticos para mejorar el rendimiento de sus sistemas de visión artificial en vehículos aéreos no tripulados para detectar edificios y vehículos de noche y con mal tiempo. Herramientas como Sora hacen que este proceso sea mucho más barato y accesible para un público más amplio.

¿Cuáles son los riesgos de Sora?

El producto es nuevo, por lo que los riesgos aún no están totalmente descritos, pero probablemente serán similares a los de los modelos de texto a imagen.

Generación de contenidos nocivos

Sin barandillas, Sora puede generar contenidos desagradables o inapropiados, como vídeos con violencia, gore, material sexual explícito, representaciones despectivas de grupos de personas y otras imágenes de odio, así como promocionar o glorificar actividades ilegales.

Lo que constituye contenido inapropiado varía mucho en función del usuario (piensa en un niño que utiliza Sora o en un adulto) y del contexto de la generación del vídeo (un vídeo que advierte sobre los peligros de los fuegos artificiales podría convertirse fácilmente en algo sangriento de forma educativa).

Mala información y desinformación

Según los vídeos de ejemplo compartidos por OpenAI, uno de los puntos fuertes de Sora es su capacidad para crear escenas fantásticas que no podrían existir en la vida real. Este punto fuerte también hace posible crear vídeos "deepfake" en los que personas o situaciones reales se transforman en algo que no es verdad.

Cuando este contenido se presenta como verdad, accidental (mala información) o deliberadamente (desinformación), puede causar problemas.

Como escribió Eske Montoya Martínez van Egerschot, directora de gobernanza y ética de la IA en DigiDiplomacy, "la IA está remodelando las estrategias de campaña, la participación de los votantes y el propio tejido de la integridad electoral".

Los vídeos de IA convincentes pero falsos de políticos o adversarios de políticos tienen el poder de "difundir estratégicamente narrativas falsas y acosar a fuentes legítimas, con el objetivo de socavar la confianza en las instituciones públicas y fomentar la animadversión hacia diversas naciones y grupos de personas".

En un año con muchas elecciones importantes, desde Taiwán hasta la India y Estados Unidos, esto tiene amplias consecuencias.

Prejuicios y estereotipos

El resultado de los modelos de la IA generativa depende en gran medida de los datos con los que se han entrenado. Eso significa que los prejuicios o estereotipos culturales en los datos de entrenamiento pueden provocar los mismos problemas en los vídeos resultantes. Como Joy Buolamwini expuso en el episodio Luchando por la justicia algorítmica de DataFramed, los prejuicios en las imágenes pueden tener graves consecuencias en la contratación y la vigilancia.

¿Cómo puedo acceder a Sora?

Actualmente, Sora solo está disponible para los investigadores del "equipo rojo". Es decir, expertos a los que se encomienda la tarea de intentar identificar los problemas del modelo. Por ejemplo, intentarán generar contenido con algunos de los riesgos identificados en la sección anterior para que OpenAI pueda mitigar los problemas antes de lanzar Sora al público.

OpenAI aún no ha especificado una fecha de lanzamiento público de Sora, aunque es probable que sea en algún momento de 2024.

¿Cuáles son las alternativas a Sora?

Hay varias alternativas de alto perfil a Sora que permiten a los usuarios crear contenido de vídeo a partir de texto. Entre ellas están:

• Runway-Gen-2. La principal alternativa a OpenAI Sora es Runway Gen-2. Igual que Sora, es una IA generativa de texto a vídeo, y actualmente está disponible en versión web y móvil.
• Lumiere. Google anunció recientemente Lumiere, que ahora está disponible como extensión del marco Python de aprendizaje profundo PyTorch.
• Make-a-Video. Meta anunció Make-a-Video en 2022; de nuevo, está disponible mediante una extensión de PyTorch.

También hay varios competidores menores:

• Pictory simplifica la conversión de texto en contenido de vídeo y se dirige al marketing de contenidos y la educación con sus herramientas de generación de vídeo.
• Kapwing ofrece una plataforma en línea para crear vídeos a partir de texto, destacando la facilidad de uso para el marketing en redes sociales y los creadores ocasionales.
• Synthesia se centra en crear presentaciones de vídeo con IA a partir de texto, y ofrece vídeos personalizables dirigidos por avatares para fines empresariales y educativos.
• HeyGen tiene como objetivo simplificar la producción de vídeo para el marketing de productos y contenidos, las ventas y la educación.
• Steve AI es una plataforma de IA que permite generar vídeos y animaciones de prompt a vídeo, de script a vídeo y de audio a vídeo.
• Elai se centra en la educación en línea y la formación corporativa, y ofrece una solución para convertir sin esfuerzo contenido educativo en vídeos informativos

¿Qué significa OpenAI Sora para el futuro?

No cabe duda de que Sora es innovadora. También está claro que el potencial de este modelo generativo es enorme. ¿Cuáles son las implicaciones de Sora en el sector de la IA y en el mundo? Por supuesto, solo podemos hacer conjeturas. Sin embargo, he aquí algunas de las formas en que Sora puede cambiar las cosas, a mejor o a peor.

Implicaciones a corto plazo de OpenAI Sora

Echemos primero un vistazo a las repercusiones directas y a corto plazo que podría tener Sora tras su lanzamiento al público (probablemente escalonado).

Una oleada de victorias rápidas

En la sección anterior, ya hemos explorado algunos de los posibles casos de uso de Sora. Es probable que en muchos de ellos haya una rápida adopción cuando Sora se ponga a disposición del público. Esto podría incluir:

• La proliferación de vídeos cortos para las redes sociales y la publicidad. Que los creadores de X (antes Twitter), TikTok, LinkedIn y otros aumenten la calidad de sus contenidos con las producciones de Sora.
• La adopción de Sora para la creación de prototipos. Tanto si se trata de hacer demos de nuevos productos como de mostrar proyectos arquitectónicos, Sora podría convertirse en lo habitual para presentar ideas.
• Mejora de la narración de datos. La IA generativa de texto a vídeo podría proporcionarnos una visualización de datos más vívida, mejores simulaciones de modelos y formas interactivas de explorar y presentar datos. Dicho esto, será importante ver cómo se desenvuelve Sora con estos tipos de prompts.
• Mejores recursos didácticos. Con herramientas como Sora, los materiales didácticos podrían mejorarse enormemente. Conceptos complicados pueden cobrar vida, y los alumnos más visuales tienen la oportunidad de obtener mejores ayudas pedagógicas.

Un campo de minas

Por supuesto, como hemos destacado anteriormente, esta tecnología conlleva una serie de posibles aspectos negativos, y es imperativo que los sorteemos. He aquí algunos de los riesgos ante los que debemos estar alerta:

• Difusión de mala información y desinformación Colectivamente, tendremos que ser más exigentes con el contenido que consumimos, y necesitaremos mejores herramientas para detectar el que está fabricado o manipulado. Esto es especialmente importante en un año electoral.
• Infracción de los derechos de autor. Tendremos que ser conscientes de cómo se utilizan nuestras imágenes y nuestros retratos. Pueden ser necesarios legislación y controles para que nuestros datos personales no se utilicen de formas que no hayamos consentido. Lo más probable es que este debate surja en primer lugar cuando los admiradores empiecen a crear vídeos basados en sus series cinematográficas favoritas. Dicho esto, los riesgos personales también son enormes en este caso.
• Retos de regulación y ética. Los avances de la IA generativa ya están resultando difíciles de seguir para los reguladores, y Sora podría agravar este problema. Debemos hacer un uso apropiado y justo de Sora sin afectar a las libertades individuales ni ahogar la innovación.
• Dependencia de la tecnología. Muchos podrían considerar herramientas como Sora un atajo, más que un asistente. La gente puede verla como una sustituta de la creatividad, lo que podría tener implicaciones para muchos sectores y para los profesionales que trabajan en ellos.

El vídeo generativo se convierte en la próxima frontera de la competencia

Ya hemos mencionado un par de alternativas a Sora, pero podemos esperar que esta lista crezca significativamente en 2024 y más allá. Como vimos con ChatGPT, hay una lista cada vez mayor de alternativas compitiendo por los puestos y muchos proyectos iterando sobre los LLM de código abierto en el mercado.

Es muy posible que Sora sea la herramienta que siga impulsando la innovación y la competencia en el campo de la IA generativa. Mediante modelos de uso específico y con ajuste fino o mediante tecnología propia en competencia directa, es probable que muchos de los grandes actores del sector quieran una parte del pastel del texto a vídeo.

Implicaciones a largo plazo de OpenAI Sora

Cuando las aguas vuelvan a su cauce tras el lanzamiento público de Sora de OpenAI, empezaremos a ver qué nos depara el futuro a más largo plazo. A medida que los profesionales de una gran variedad de sectores se hagan con la herramienta, será inevitable que Sora tenga algunos usos que cambien las reglas del juego. Especulemos sobre cuáles podrían ser algunos de ellos:

Se pueden desbloquear casos de uso de gran valor

Es posible que Sora (o herramientas similares) se convierta en un pilar para varios sectores:

• Creación de contenidos avanzados. Sora podría ser una herramienta que acelerara la producción en campos como la RV y la RA, los videojuegos e incluso el entretenimiento tradicional, como la televisión y las películas. Aunque no se utilice directamente para crear esos medios, podría ayudar a crear prototipos y guiones gráficos.
• Entretenimiento personalizado. Por supuesto, podríamos ver un caso en el que Sora cree y organice contenidos adaptados específicamente al usuario. Podrían surgir medios interactivos y adaptables a medida de los gustos y preferencias de cada persona.
• Educación personalizada. De nuevo, este contenido altamente individualizado podría encontrar un hogar en el sector educativo, ayudando a los estudiantes a aprender de la forma que mejor se adapte a sus necesidades.
• Edición de vídeo en tiempo real. Los contenidos de vídeo podrían editarse o volver a producirse en tiempo real para adaptarse a distintos públicos, adaptando aspectos como el tono, la complejidad o incluso la narrativa en función de las preferencias o comentarios de los espectadores.

Las líneas entre el mundo físico y el digital empiezan a difuminarse

Ya hemos hablado de la realidad virtual (RV) y la realidad aumentada (RA), pero Sora tiene el potencial de revolucionar cómo interactuamos con el contenido digital cuando se combina con estos medios. Si las futuras iteraciones de Sora son capaces de generar mundos virtuales de alta calidad que puedan habitarse en cuestión de segundos (y aprovechar el texto y el audio generativos para poblarlos con personajes virtuales que parezcan reales), esto plantea serias preguntas sobre lo que significa navegar por el mundo digital en el futuro.

Notas finales

En conclusión, el modelo Sora de OpenAI promete un salto adelante en la calidad del vídeo generativo. Se esperan con gran expectación su próximo lanzamiento y sus posibles aplicaciones en diversos sectores. Si estás deseando iniciarte en el mundo de la IA generativa, nuestro programa Fundamentos de la IA te ayudará a ponerte al día con ​el machine learning, el aprendizaje profundo, el NLP, los modelos generativos y mucho más.

Para obtener más recursos sobre lo último en el mundo de la IA, consulta la siguiente lista:

• Suscríbete al podcast DataFramed
• Conviértete en un desarrollador de IA con la serie Code-Along
• Explora nuestros tutoriales de IA