Acelere el desarrollo de robótica de IA avanzada.
Simulación / Modelado / Diseño
de Robótica
Hardware y Semiconductores
Área de la Salud y Biociencias
Manufactura
Ventas Minoristas y Bienes de Consumo Empaquetados
Ciudades y Espacios Inteligentes
Innovación
Retorno de la Inversión
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Isaac GROOT
NVIDIA Jetson Thor
NVIDIA Omniverse
Descripción General
Los robots humanoides para uso general están diseñados para adaptarse rápidamente a los espacios de trabajo urbanos e industriales existentes y centrados en las personas, lo que les ayuda a abordar las tareas tediosas, repetitivas o físicamente exigentes.
Estos robots están abriéndose paso desde las fábricas hasta las instalaciones del área de la salud, donde ayudan a los humanos y subsanan la escasez de mano de obra con la automatización.
Sin embargo, la construcción de robots humanoides presenta capas de complejidad y desafíos de ingeniería. Estos incluyen la replicación de la percepción humana, los grados de libertad, destreza, movilidad, cognición y control de todo el cuerpo.
Esto exige un progreso acelerado en los campos y tecnologías de investigación de robótica, como la inteligencia artificial, machine learning, la simulación basada en la física, las tecnologías de sensores, la computación incorporada y la mecatrónica.
Figure
Enlaces Rápidos
Implementación Técnica
NVIDIA está desarrollando sistemas acelerados, planos, herramientas, servicios, algoritmos y otras tecnologías robóticas que se pueden usar para desarrollar robots de uso general y de formato humano.
Los robots humanoides deben detectar, planificar y actuar de forma autónoma dentro de un entorno dado, lo que implica el procesamiento de grandes cantidades de datos en tiempo real. Esto requiere el entrenamiento de modelos base que impulsan el cerebro del robot, simular y validar el cerebro del robot y, finalmente, implementar estos cerebros y el software asociado en el robot real.
Los tres sistemas de IA son:
GR00T es una iniciativa de investigación y desarrollo para modelos base de robots de uso general y pipelines de datos, para acelerar la robótica humanoide.
Los robots humanoides necesitan diversas habilidades para variadas tareas, lo que tradicionalmente requiere modelos de IA separados y costosos. Los modelos base de robots resuelven esto al entrenar con datos amplios, lo que desarrolla habilidades generalizables. Esto les permite a los robots adaptarse a diferentes tareas y entornos.
NVIDIA Isaac GR00T N es el primer modelo base abierto del mundo para el razonamiento y las habilidades generalizadas de robots humanoides. Este modelo de variantes cruzadas toma entradas multimodales, que incluyen lenguaje e imágenes, para realizar tareas de manipulación en diversos entornos. GR00T N se entrenó en un conjunto de datos de humanoides expansivo, que consiste en datos reales capturados, datos sintéticos generados mediante los componentes del blueprint NVIDIA Isaac GR00T-Mimic y datos de video a escala de Internet. Es adaptable a través del posentrenamiento para variantes, tareas y entornos específicos.
La simulación es clave para que los desarrolladores entrenen robots humanoides en una variedad de entornos y condiciones físicamente precisos, antes de implementarlos en el mundo real.
La aprendizaje de robots y los frameworks de simulación como NVIDIA Isaac Sim e Isaac Lab, basados en la plataforma Omniverse, permiten simulaciones físicamente precisas para el entrenamiento y la validación de múltiples agentes de robots humanoides en paralelo.
Isaac Lab es un framework de aprendizaje de robots unificado de código abierto basado en Isaac Sim que se puede usar para aplicar estas técnicas de aprendizaje a fin de entrenar políticas de robots. Las políticas de robots entrenados se pueden validar en Isaac Sim, una aplicación de referencia para desarrollar, simular y probar humanoides en entornos virtuales físicos.
Reunir conjuntos de datos extensos, de alta calidad y del mundo real para esto puede ser desafiante, costoso y demorado. Los datos sintéticos, generados a partir de simulaciones físicamente precisas, abordan este desafío al acelerar la recopilación de datos y proporcionar la diversidad necesaria para generalizar los modelos de aprendizaje de robots.
El blueprint NVIDIA Isaac GR00T-Dreams genera grandes cantidades de datos de trayectoria sintética mediante los modelos base de NVIDIA Cosmos™, impulsados por una sola imagen e instrucciones de lenguaje. Esto les permite a los robots aprender nuevas tareas en entornos desconocidos sin necesidad de datos específicos de teleoperación.
El blueprint GR00T-Dreams complementa el blueprint GR00T-Mimic. Mientras que GR00T-Mimic usa Omniverse y Cosmos para aumentar los datos existentes, GR00T-Dreams usa Cosmos para generar datos completamente nuevos.
La funcionalidad de los robots humanoides requiere habilidades de manipulación de objetos similares a las humanas, capaces de realizar tareas de manipulación tanto gruesas como finas. GR00T-Dexterity es un conjunto integral de modelos y políticas desarrollados mediante un enfoque basado en el aprendizaje por refuerzo, combinado con workflows de referencia, para permitir el desarrollo de estas capacidades avanzadas.
La navegación de uso general en entornos complejos y dinámicos requiere de ajustes sustanciales. Con el workflow de referencia GR00T-Mobility, puede crear un generalista de movilidad para navegar a través de distintos entornos y variantes de robots.
Lograr el control de todo el cuerpo en los robots humanoides es un desafío, ya que exige una manipulación estable y una locomoción robusta. GR00T-Control aborda esto con un conjunto de modelos, políticas y workflows de referencia avanzados de planificación y control de movimiento, lo que agiliza el desarrollo de sistemas de control efectivos.
Al usar el aprendizaje por imitación y conjuntos de datos teleoperados, GR00T-Control facilita el entrenamiento de políticas de movimiento sólidas y de todo el cuerpo, lo que les permite a los robots humanoides aprender habilidades de manipulación y locomoción.
Para mejorar la conciencia situacional y la eficiencia de las interacciones, los robots humanoides requieren memoria a largo plazo para eventos, espacios, entornos personalizados y respuestas sensibles al contexto.
GR00T-Perception permite esto con un conjunto robusto de bibliotecas de percepción, modelos base y workflows de referencia basados en Isaac Sim e Isaac ROS. Estas herramientas integran tecnologías avanzadas como modelos de lenguaje de visión y memoria aumentada por recuperación para mejorar la percepción, la cognición y la adaptabilidad de los robots humanoides.
El hardware de robots también es crucial para ejecutar un conjunto de modelos de IA multimodales que impulsan a los humanoides con el desempeño, la latencia y la seguridad funcional adecuados en diversas condiciones.
NVIDIA Jetson AGX Thor, basado en la arquitectura de GPU Blackwell de NVIDIA, ofrece computación de IA de ultra alto desempeño y un nuevo motor de transformadores. Esto ofrece la superpotencia de IA necesaria en el edge para habilitar la nueva generación de humanoides.
Enlaces Rápidos
Comience con nuestros socios de robótica humanoide.
Empiece Ahora
Avance en el desarrollo de su robot humanoide con las tecnologías fundamentales de GR00T al acceder a tutoriales, foros, notas de lanzamiento y documentación integral.
El servidor NVIDIA RTX PRO acelera todas las cargas de trabajo de digitalización industrial, simulación de robots y generación de datos sintéticos.