[‘Charla agrícola’ global] Robots que ven, comprenden y actúan: IA física y tecnología VLA

[‘Charla agrícola’ global: Contener el futuro de la agricultura] Profesora Da-eun Choi, Universidad de Florida, EE. UU.

Cuando enseñamos labores agrícolas, no explicamos todos los movimientos con palabras. Después de decir “Recojan solo los maduros”, lo mostramos con la mano varias veces. El trabajador observa el estado del fruto y aprende la dirección en la que debe introducir la mano y la fuerza con la que debe agarrarlo. Incluso para ejecutar una instrucción breve, se emplean conjuntamente la información obtenida con la vista y el juicio derivado de la experiencia.

¿Qué haría falta para enseñar a un robot la misma tarea? La IA física (Physical AI), que recientemente atrae atención, es una inteligencia artificial que reconoce el entorno físico y realiza tareas reales de esta manera.
 

Un cambio en la forma de enseñar a trabajar a los robots

Un modelo de visión-lenguaje (Vision-Language Model, VLM) es una IA que maneja imágenes y lenguaje de manera conjunta. Se utiliza para describir qué hay en una foto o para encontrar el objeto necesario según una instrucción. El modelo de visión-lenguaje-acción (Vision-Language-Action Model, VLA) extiende estas capacidades a la generación de acciones robóticas. Recibe imágenes de cámara e instrucciones de trabajo, y genera comandos correspondientes a la dirección en que debe moverse un brazo y a cuándo debe abrirse y cerrarse la pinza.[1, 2]

Los robots existentes también usan cámaras para encontrar cultivos y moverse de acuerdo con su ubicación. Sin embargo, en los enfoques tradicionales, a menudo se desarrollaban por separado la función que localiza el fruto, la función que calcula la ruta hasta esa posición y la función que acciona el dispositivo de cosecha, para luego conectarlas. VLA permite que el robot aprenda de los datos gran parte de esta conexión al aprender conjuntamente la escena que ve, la instrucción de trabajo y el movimiento real.[1, 2]

Para ello, no basta con mostrar simplemente un video de cosecha. Es necesario registrar conjuntamente qué comandos se enviaron al brazo robótico y al dispositivo de cosecha cuando apareció una determinada escena en la cámara. A través de estos datos emparejados, el modelo aprende movimientos adecuados para la escena y la instrucción. Después, cuando entra un nuevo video, genera la siguiente acción basándose en lo aprendido.[2, 3]

Lo destacable aquí es que pueden utilizarse modelos ya entrenados. Es un método que entrena adicionalmente una nueva tarea basándose en el conocimiento obtenido de imágenes y textos, y en los movimientos aprendidos de los registros de trabajo de diversos robots. Si cambian el brazo y el dispositivo de cosecha del robot, se requieren ajustes adecuados, pero no es necesario aprender todas las capacidades desde cero solo con los registros del nuevo robot.[1, 2]
 

Si se muestra a un robot cómo cosechan las personas

El estudio HarvestFlex, publicado como preprint en marzo de 2026, muestra ese proceso. Un operador veía el video de la cámara del robot mediante equipos de realidad virtual (VR) y controlaba el brazo y el dispositivo de cosecha. Se acercaba a las fresas, recogía el fruto y lo colocaba en un recipiente. Los investigadores registraron conjuntamente el video y los movimientos del robot en ese momento.[3]

Las aproximadamente 3,7 horas de datos no contenían solo cosechas exitosas al primer intento. También incluían procesos como cambiar de postura al acercarse al fruto o volver a intentarlo después de no poder recogerlo. Incluso la forma en que el operador corregía los movimientos según la situación quedó como dato de entrenamiento.[3]

Los investigadores entrenaron adicionalmente un modelo VLA existente con estos registros. Después, aun sin control remoto por parte de una persona, el robot generaba sus siguientes movimientos basándose en las imágenes de la cámara, las instrucciones de cosecha y su propio estado actual. En pruebas reales en invernadero, el modelo con mejores resultados registró 37 éxitos de 50 intentos, es decir, una tasa de éxito de cosecha del 74%. Se trata del porcentaje en el que se completó la tarea de recoger el fruto y colocarlo en el recipiente. Sin embargo, estos resultados se obtuvieron bajo las condiciones de prueba correspondientes, y aún persistieron fallos, como casos en los que el dispositivo de cosecha ocultaba el fruto e impedía continuar el movimiento.[3]

Lo destacable aquí es que se añadieron registros de cosecha de campo a un modelo que ya había aprendido varias tareas. En lugar de aprender todas las capacidades desde cero con solo unas pocas horas de registros, el modelo existente se ajustó a la cosecha de fresas basándose en la experiencia de trabajo demostrada por una persona al operar el robot.
 

Convertir la experiencia agrícola en capacidad robótica

En el futuro, podrían aumentar los casos en los que el proceso de trabajo de los agricultores se registre como video y datos de movimiento y se utilice para el aprendizaje de robots. Si tales registros se acumulan en diversos cultivos y entornos de cultivo, también se enriquecerán los materiales disponibles para enseñar nuevas labores agrícolas a los robots. También existe la posibilidad de usar registros recopilados en una granja para entrenar robots según las condiciones de otra. Podemos esperar un futuro en el que la experiencia de las labores agrícolas, transmitida hasta ahora mostrándola directamente a las personas, quede como datos, y los robots que aprendan de ellos trabajen juntos en el campo.
 

Referencias

 [1] Zitkovich, B., et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. Proceedings of The 7th Conference on Robot Learning, Proceedings of Machine Learning Research, 229, 2165–2183. Available from https://proceedings.mlr.press/v229/zitkovich23a.html
[2] Kim, M. J., et al. (2025). OpenVLA: An Open-Source Vision-Language-Action Model. Proceedings of The 8th Conference on Robot Learning, Proceedings of Machine Learning Research, 270, 2679–2713.Available from https://proceedings.mlr.press/v270/kim25c.html
[3] Zhao, Z., Wang, S., Miao, Z., & Xiong, Y. (2026). HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild. arXiv:2603.05982. https://doi.org/10.48550/arXiv.2603.05982.