[Глобальные «аграрные разговоры»] Роботы, которые видят, понимают и действуют: физический ИИ и технология VLA

[Глобальные «аграрные разговоры»: о будущем сельского хозяйства] профессор Чхве Да-ын, Университет Флориды, США

Когда мы обучаем сельскохозяйственной работе, мы не объясняем каждое движение словами. Сказав: «Срывайте только спелые», мы несколько раз показываем это руками. Работник оценивает состояние плода, усваивает, под каким углом ввести руку и с какой силой взяться за плод. Даже для выполнения одной короткой инструкции вместе используются информация, полученная глазами, и суждения, основанные на опыте.

А что потребуется, чтобы научить робота такой же работе? Физический ИИ (Physical AI), который в последнее время привлекает внимание, — это искусственный интеллект, который распознает физическую среду и выполняет реальные задачи подобным образом.
 

Изменение подхода к обучению роботов работе

Визуально-языковая модель (Vision-Language Model, VLM) — это ИИ, который совместно работает с изображениями и языком. Она используется для описания того, что находится на фотографии, или для поиска нужного объекта согласно инструкции. Визуально-языково-действующая модель (Vision-Language-Action Model, VLA) расширяет эти возможности до генерации действий робота. Она принимает изображение с камеры и рабочую инструкцию и создает команды, соответствующие тому, в каком направлении двигать манипулятор и когда открывать и закрывать захват.[1, 2]

Существующие роботы также находят культуры с помощью камер и перемещаются в соответствии с их положением. Однако в традиционном подходе функцию определения местоположения плода, функцию расчета пути до этого места и функцию приведения в действие уборочного устройства часто разрабатывали отдельно, а затем соединяли. VLA позволяет роботу изучать значительную часть этой связи по данным, совместно обучаясь сцене, которую видит робот, рабочей инструкции и фактическому движению.[1, 2]

Для этого недостаточно просто показать видео уборки. Необходимо одновременно записывать, какие команды отправлялись на роботизированную руку и уборочное устройство, когда в камере появлялась определенная сцена. На таких парных данных модель учится движениям, соответствующим сцене и инструкции. Затем, когда поступает новое видео, она генерирует следующее действие на основе изученного.[2, 3]

Здесь важно то, что можно использовать уже обученные модели. Это способ дополнительного обучения новой задаче на основе знаний, полученных из изображений и текстов, а также движений, усвоенных из рабочих записей различных роботов. Если манипулятор и уборочное устройство робота меняются, требуются соответствующие настройки, но нет необходимости обучать все способности с нуля, используя только записи нового робота.[1, 2]
 

Если показать роботу, как собирает урожай человек

Исследование HarvestFlex, опубликованное в виде препринта в марте 2026 года, демонстрирует этот процесс. Оператор через оборудование виртуальной реальности (VR) смотрел видео с камеры робота и управлял манипулятором и уборочным устройством. Он приближался к клубнике, срывал плод и помещал его в контейнер. Исследователи одновременно записывали тогдашнее видео и движения робота.[3]

Около 3,7 часа данных включали не только успешный сбор с первой попытки. В них также вошли процессы изменения позы при приближении к плоду или повторной попытки после неудачного срывания. Даже то, как оператор исправлял движения в зависимости от ситуации, было сохранено как обучающие данные.[3]

Исследователи дополнительно обучили существующую модель VLA на этих записях. После этого, даже без дистанционного управления человеком, робот генерировал следующие движения на основе изображения с камеры, инструкции по сбору урожая и собственного текущего состояния. В реальных испытаниях в теплице модель с лучшим результатом показала 37 успешных попыток из 50, то есть 74% успешности уборки. Это доля случаев, когда была завершена работа по срыванию плода и помещению его в контейнер. Однако это результаты, полученные в соответствующих условиях испытаний, и оставались неудачи, например ситуации, когда уборочное устройство заслоняло плод и робот не мог продолжить движение.[3]

Здесь стоит отметить, что к модели, уже обученной нескольким задачам, добавили полевые записи сбора урожая. Иными словами, модель не училась всем способностям с нуля всего по нескольким часам записей; существующая модель была адаптирована к сбору клубники на основе рабочего опыта, который человек продемонстрировал, управляя роботом.
 

Превратить сельскохозяйственный опыт в возможности робота

В будущем может стать больше случаев, когда процесс работы фермеров записывается в виде видео и данных о движении и используется для обучения роботов. Если такие записи будут накапливаться по различным культурам и условиям выращивания, станет богаче и материал, который можно использовать для обучения роботов новым сельскохозяйственным работам. Возможно также использование записей, собранных на одной ферме, для обучения роботов с учетом условий другой фермы. Можно ожидать будущего, в котором опыт сельскохозяйственной работы, передававшийся путем непосредственного показа человеку, сохраняется как данные, а обучившиеся на них роботы работают вместе с людьми на местах.
 

Список литературы

 [1] Zitkovich, B., et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. Proceedings of The 7th Conference on Robot Learning, Proceedings of Machine Learning Research, 229, 2165–2183. Available from https://proceedings.mlr.press/v229/zitkovich23a.html
[2] Kim, M. J., et al. (2025). OpenVLA: An Open-Source Vision-Language-Action Model. Proceedings of The 8th Conference on Robot Learning, Proceedings of Machine Learning Research, 270, 2679–2713.Available from https://proceedings.mlr.press/v270/kim25c.html
[3] Zhao, Z., Wang, S., Miao, Z., & Xiong, Y. (2026). HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild. arXiv:2603.05982. https://doi.org/10.48550/arXiv.2603.05982.