IA física con pinzas OnRobot: simulación en Isaac Sim, ROS 2 y C++ Tool API

El 17 de septiembre OnRobot publicó en GitHub un paquete de recursos para desarrolladores de IA física. Es código abierto (licencia BSD-3-Clause) y, en esta primera versión, cubre cuatro pinzas: RG2, RG6, 2FG7 y 2FG14. Con él se puede simular la aplicación, recoger datos reales del agarre y controlar la pinza desde el mismo entorno de desarrollo que el resto del robot.

Si trabajas con ROS 2 o con NVIDIA Isaac, aquí tienes los detalles técnicos. Si te estás asomando a este mundo, empezamos por lo básico.

Qué es la IA física

La IA que usamos a diario trabaja con texto e imágenes. La IA física trabaja con el mundo real: es la que permite que un robot perciba su entorno, decida y actúe sobre objetos físicos. Por ejemplo, que aprenda a coger piezas distintas sin que nadie programe cada movimiento uno a uno.

Para llegar ahí hacen falta dos fases:

1. Entrenar en simulación. El robot practica miles de veces en un entorno virtual, donde equivocarse no cuesta ni tiempo ni material ni piezas rotas.
2. Desplegar en el mundo real. Lo aprendido se ejecuta con hardware real y se valida con datos reales.

El salto entre ambas fases tiene nombre: la brecha sim-to-real. Lo que funciona perfecto en el simulador puede fallar en planta porque la fricción, las tolerancias o la fuerza de cierre no se comportan igual. Y la herramienta del extremo del brazo, la pinza, suele ser el eslabón más débil: o no hay un modelo fiable para el simulador, o la pinza no se puede controlar desde el mismo entorno que el robot, o no entrega los datos de fuerza que el modelo necesita. El equipo acaba escribiendo sus propios drivers y modelos. Eso es lo que resuelve este lanzamiento.

Qué incluye: simular, recopilar, controlar

OnRobot organiza los recursos en tres repositorios oficiales que siguen el ciclo completo de un proyecto de IA física.

1. Simular: modelos para NVIDIA Isaac Sim

Modelos de las pinzas en formato SimReady USD, preparados para Isaac Sim 6.1. Permiten montar la célula en simulación, generar datos sintéticos y entrenar políticas antes de tocar hardware. No hacen falta ROS ni la pinza física para empezar. Un matiz que el propio repositorio deja claro: la simulación sirve para desarrollar y validar el comportamiento, no certifica fuerza de agarre ni carga útil. Además, OnRobot ofrece modelos URDF (el formato estándar para describir la geometría y las articulaciones de un robot en ROS, MoveIt o Gazebo) de las seis pinzas incluidas en el programa, también de las 3FG15 y 3FG25.

2. Recopilar: datos reales vía ROS 2 y C++

Acceso continuo a los datos de la pinza real mediante topics estandarizados de ROS 2 y la C++ Tool API: posición (apertura), velocidad, agarre detectado, agarre perdido y estado de error. En las 2FG7 y 2FG14 se suma además la fuerza. Son los datos que alimentan el entrenamiento y los que permiten saber qué pasa realmente durante el agarre; saber si una pieza se ha escapado (agarre perdido) es, por ejemplo, una señal muy valiosa para entrenar y para supervisar.

¿Por qué importa tanto la fuerza? Según OnRobot, menos del 20 % de los artículos científicos sobre IA física incorporan medidas de fuerza. La mayoría de los modelos aprenden solo de visión y posición. Una pinza que entrega fuerza de forma estandarizada, como las 2FG7 y 2FG14, abre la puerta a políticas que "sienten" el contacto, no solo lo ven.

3. Controlar: la pinza física, en tiempo real

Dos modos de control desde interfaces estandarizadas, con información de retorno continua:

• Por comandos: abrir, cerrar y parar. Lo justo para integrar la pinza en una secuencia clásica.
• En tiempo real: consignas continuas de posición y velocidad, que es lo que necesita una política de IA que corrige el agarre sobre la marcha.

Compatibilidad por pinza

Fuente: OnRobot, tabla "Physical AI – Supported tools".

Ficha técnica para desarrolladores

Las pinzas de tres dedos 3FG15 y 3FG25 ya tienen modelo URDF para simulación, pero todavía no API, paquete ROS 2 ni integración con Isaac Sim. OnRobot ha confirmado que irá incorporando el resto de la gama de forma progresiva.

Qué pinza elegir para empezar

• RG2 y RG6: pinzas de dos dedos con carrera amplia y gran flexibilidad de agarre. Muy habituales en laboratorios y aulas por su versatilidad con piezas de formas y tamaños variados. Ofrecen control en tiempo real y datos de posición, velocidad y agarre, pero no medida de fuerza.
• 2FG7 y 2FG14: pinzas eléctricas de dos dedos y alta fuerza, más orientadas a entornos industriales. Son las únicas de esta versión que entregan datos de fuerza y aproximación por fuerza en tiempo real. Son la opción si tu modelo necesita aprender del contacto: inserciones, ensamblajes o piezas delicadas.
• RG2-FT: si necesitas una pinza flexible tipo RG2 con medida de fuerza/par y proximidad, mira el apartado siguiente.

Por qué encaja tan bien en educación e I+D

Universidades, centros de FP y departamentos de I+D trabajan con ROS 2 como estándar, publican y reproducen experimentos en simulación, y necesitan datos de calidad para entrenar modelos. Hasta ahora, muchos de esos grupos resolvían la integración con drivers propios o de la comunidad. Que el fabricante publique y mantenga su propio stack oficial ahorra semanas de trabajo y hace los resultados más fáciles de reproducir.

Para un centro educativo, significa que el alumnado puede practicar con el modelo virtual de la misma pinza que tiene en el aula. Para un grupo de investigación, que puede generar datasets con fuerza real y comparar resultados con otros laboratorios que usan las mismas herramientas.

Y para un equipo de automatización industrial

Tres cosas cambian:

• Validar un agarre antes de comprar. Si la duda es si una pinza concreta sirve para una pieza concreta, ahora se puede probar en simulación antes de invertir.
• Independencia del entorno del fabricante del robot. ROS 2 es el estándar en desarrollo robótico y la pinza ahora habla ese idioma, sea cual sea el brazo.
• Aplicaciones que la programación fija no resuelve bien. Los datos de fuerza y posición en tiempo real permiten abordar piezas que cambian de forma, tamaño o posición: picking variable, manipulación de piezas delicadas o ensamblajes con contacto.

Además: vuelve la RG2-FT

En el mismo anuncio, OnRobot confirmó el relanzamiento de la RG2-FT. Ya se puede pedir y las primeras entregas empezaron el 25 de septiembre. Combina agarre flexible (fuerza ajustable de 3 a 40 N y hasta 100 mm de carrera) con sensores integrados de fuerza/par y de proximidad. OnRobot la posiciona para validar en el mundo real aplicaciones con mucho contacto: justo el punto donde la simulación necesita contrastarse con datos físicos.

Preguntas frecuentes

¿Qué es la IA física? Es la inteligencia artificial aplicada a sistemas que actúan en el mundo real, como robots, que perciben su entorno y manipulan objetos físicos en lugar de trabajar solo con texto o imágenes.

¿Qué pinzas OnRobot son compatibles con Isaac Sim y ROS 2? En esta primera versión, RG2, RG6, 2FG7 y 2FG14 tienen API, paquete ROS 2 e integración con Isaac Sim. Las 3FG15 y 3FG25 cuentan, de momento, con modelo URDF.

¿Qué pinzas entregan datos de fuerza? La 2FG7 y la 2FG14. La RG2 y la RG6 entregan posición, velocidad, detección de agarre y estado de error, pero no fuerza.

¿Qué versión de ROS 2 soporta? ROS 2 Jazzy, con integración de ros2_control y MoveIt 2.

¿Los recursos son gratuitos? Sí. Los tres repositorios están publicados en el GitHub de OnRobot con licencia de código abierto BSD-3-Clause.

¿Necesito la pinza física para empezar? No. Los modelos de Isaac Sim funcionan sin hardware ni ROS. La pinza física es necesaria para recopilar datos reales y para el control.

¿La simulación sustituye a las pruebas reales? No. Acorta el camino y reduce riesgos, pero la validación final se hace con la pinza real. La simulación no certifica fuerza de agarre ni carga útil.

Hablemos de tu proyecto

En Fluitronic distribuimos la gama OnRobot y acompañamos a universidades, centros de FP, equipos de I+D e integradores en la elección de la pinza adecuada. Si quieres valorar qué modelo encaja en tu aplicación o en tu laboratorio, o probar el enfoque de simulación antes de invertir, escríbenos y lo vemos con nuestro equipo de robótica.