NVIDIA amplía Cosmos 3 con cuatro modelos abiertos que generan vídeo para simular conducción y robots

Qué ha pasado

NVIDIA ha añadido cuatro modelos a Cosmos 3, su familia de «modelos de mundo»: sistemas que generan vídeo de cómo evolucionaría una escena para entrenar y probar coches autónomos y robots sin recurrir siempre a la realidad. Cosmos 3 se presentó en junio de 2026 en el GTC Taipei, la conferencia de NVIDIA en Taiwán.

NVIDIA anunció los cuatro modelos nuevos el 5 de noviembre de 2026 en su blog de Hugging Face, la plataforma donde se comparten modelos de IA. Su blog técnico ya los enlazaba el día 2.

Los cuatro tienen pesos abiertos: cualquiera puede descargar el modelo ya entrenado. Son versiones de Cosmos 3 Nano, el tamaño más pequeño de la familia, ajustadas después para una tarea concreta. El blog de Hugging Face habla de 16.000 millones de parámetros (los valores internos que aprende el modelo) y las fichas de los modelos, de 15.000 millones. La licencia, OpenMDW1.1, permite uso comercial y no comercial según sus condiciones.

Los cuatro modelos

• Cosmos3-Nano-Transfer-Auto: genera datos de conducción por lotes, sin interacción: el clip se crea entero y después se usa. Produce vídeo sincronizado de hasta 11 cámaras, incluidas de ojo de pez, y puede generar a la vez imagen y LiDAR. Según el blog técnico de NVIDIA, cambiar el texto, por ejemplo de día a noche lluviosa, mantiene el trazado de la carretera y las trayectorias. Admite hasta 400 fotogramas a 30 por segundo en 480p o 720p.
• Cosmos3-Nano-Sim-Auto: hace lo mismo poco a poco. Genera la escena por trozos pequeños, de modo que el programa que conduce (lo que NVIDIA llama una política) o una persona pueden ir actuando y ver el resultado. NVIDIA lo prueba con su simulador de conducción AlpaSim y su programa de conducción Alpamayo.
• Cosmos3-Nano-Sim-Transfer: parte de un simulador de robots, que calcula la física y le pasa mapas simples de la escena (distancias, contornos, qué objeto es cada cosa) y un texto. El modelo los convierte en vídeo fotorrealista para entrenar al robot.
• Cosmos3-Nano-Sim-Bimanual: parte de una imagen y de las órdenes al robot (o del movimiento de la cámara) y predice el vídeo siguiente. Sirve para simular robots de dos brazos, como el YAM o los de AgiBot, manejados por un programa o con mandos.

Qué significa «interactivo»

Un generador de vídeo normal produce un clip de una vez. Aquí, según Hugging Face, el modelo predice cada trozo a partir del texto, los mandos y lo que ya ha generado, y lo que se ve en cada momento puede decidir la siguiente acción. Para que cada trozo salga en pocos pasos de cálculo, NVIDIA entrena el modelo en cuatro etapas. Para probar un coche, hace falta además un simulador que convierta las órdenes de conducción en datos que el modelo entienda.

Requisitos y disponibilidad

Según el blog técnico, los modelos funcionan en GPU de centro de datos de NVIDIA (las series Hopper y Blackwell). La tabla de memoria que publica es para Cosmos3-Nano en general, no para cada uno de los cuatro: 58 GiB de memoria de vídeo con la precisión estándar (BF16), 44 con una más ligera (FP8) y 31 si además pasa parte de la carga a la memoria del equipo. Para el modelo de dos brazos, Hugging Face pide también Linux y Docker. NVIDIA no da precio. Hay recetas para ajustar los modelos con datos propios.

Por qué importa

Como los pesos son abiertos y la licencia permite uso comercial, laboratorios y empresas con GPU de centro de datos pueden probarlos para generar escenas raras (lluvia, de noche, situaciones peligrosas). NVIDIA no ha publicado cifras de calidad, así que no se sabe cuánto pueden sustituir a los kilómetros reales.

La otra cara es el hardware: incluso la posible versión de 24 GB de la RTX 5080 se queda por debajo de los 31 GiB del caso más ligero. Para la IA en local, en un PC doméstico, estos cuatro modelos no son una opción. La misma tabla de NVIDIA lista variantes Edge, más pequeñas, de entre 14 y 16 GiB, pero no son estos modelos, y en junio Cosmos 3 Edge figuraba como «próximamente».

NVIDIA presenta la simulación interactiva como una forma de probar el programa que controla un robot o un coche antes de llevarlo al mundo real, un paso que comparte con los agentes de IA: programas que actúan solos y necesitan entornos seguros para ensayar.

Qué falta por saber

• NVIDIA no ha publicado cifras de calidad ni de velocidad para estos cuatro modelos. Los primeros puestos en pruebas que afirma en su nota de prensa de junio se refieren a la familia Cosmos 3 y los mide la propia empresa.
• No se han encontrado evaluaciones independientes.
• La cifra exacta de parámetros (15.000 o 16.000 millones) y la fecha en que se subieron los pesos.