[Колонка Ян Мён Гюна] Эпоха физического AI: есть ли в сельскохозяйственных данных «глаголы»

После эпохи, когда AI выдавал ответы на экране, внимание привлекает физический AI, который видит реальность, принимает решения и сам действует. В сельском хозяйстве также быстро растет число попыток объединить AI и роботов для сбора урожая, защиты растений, транспортировки, управления средой. Однако прежде чем говорить о роботах и моделях, нужно сначала задать вопрос. Что мы дадим прочитать AI, который должен учиться действовать.

Если разделить сельскохозяйственные данные, накопленные до сих пор, по частям речи, то большинство из них — это ‘существительные’. Температура, влажность, площадь листовой поверхности, плоды, симптомы болезней, урожайность. Но для того чтобы физический AI мог действовать в реальности, одних существительных недостаточно. Сельскохозяйственным данным тоже нужны ‘глаголы’.
 

Слов много, предложений мало

Сельскохозяйственный AI все это время быстро развивал способность ‘видеть’ культуры. RGB изображения в сочетании с 3D, спектральными·гиперспектральными, тепловизионными данными, а также датчиками среды в мультимодальном подходе позволили гораздо точнее описывать состояние растений. Такие данные становятся ‘глазами’ физического AI. Ведь чтобы действовать, сначала нужно как следует видеть.

Нельзя сказать, что глаголов нет вовсе. Контроллеры умных теплиц оставляют записи о том, когда открывались верхние форточки и сколько питательного раствора подавалось. Однако запись обычно на этом и заканчивается. В каком состоянии тогда было растение, почему было принято такое решение, как оно отреагировало после этого, — все это находится в другом месте или вовсе не сохраняется. Такие выполняемые вручную работы, как удаление листьев, прореживание плодов, подвязка, сбор урожая, часто не остаются в данных как сами действия.

В итоге не хватает не только объема данных, но и связей. В каком состоянии, что именно, почему было сделано, и что в результате изменилось. Только когда эти четыре элемента соединяются во времени, они становятся одним ‘предложением’, которое может выучить AI. В наших сельскохозяйственных данных много слов, но мало предложений.
 

Ждать — тоже глагол

Представим себе робота для сбора урожая. Если просто собрать траектории, по которым роботизированная рука находит положение плода, приближается к нему и срывает его, этого еще недостаточно, чтобы получить полноценные данные о действии. Вместе с этим должны быть данные о том, почему был выбран именно этот плод, с какого направления осуществлялся подход, какое усилие было приложено, не было ли повреждений после сбора.

Еще интереснее плоды, которые не сорвали. Опытный работник смотрит на них, но не трогает. Потому что считает, что лучше подождать еще день-два. В сельском хозяйстве ‘ждать’ — это тоже важное действие. Но то, что не было сделано, обычно не попадает в записи. AI, обученный на данных, где записаны только выполненные действия, может научиться тому, когда нужно двигаться, но ему трудно научиться тому, когда двигаться не следует.
 

Сельскохозяйственное предложение заканчивается поздно

Во многих роботизированных операциях в производстве·логистике можно за короткое время проверить, был ли объект схвачен, положен ли он на свое место. В сельском хозяйстве часто бывает иначе. Сегодняшнее орошение и регулирование питательного раствора влияют на рост и качество через несколько дней, а удаление листьев и обрезка проявляются в различиях урожайности и качества через несколько недель. Один и тот же прием дает разные результаты в зависимости от сорта, стадии роста, условий среды.

Если говорить как о предложении, подлежащее и сказуемое написаны сегодня, а точка ставится через несколько дней или несколько недель. За это время меняется погода, накладываются другие работы, и становится трудно понять, какой результат был вызван каким действием. То, что мы имеем дело с живыми организмами, — одна из причин, по которой сельскохозяйственный физический AI трудно завершить простым переносом автоматизации из других сфер.
 

Неявное знание — не ответ, а гипотеза

В сельском хозяйстве часто говорят, что важны опыт и чутье опытных фермеров, то есть неявное знание. Способность, глядя на цвет и положение листьев, а также на погоду в этот день, решить ‘сегодня немного уменьшим полив’, безусловно существует. Тогда достаточно ли просто обучить этому решению AI?

Даже в одной и той же ситуации решения разных опытных фермеров могут различаться, и нет гарантии, что давно используемый метод всегда является лучшим. На хороший результат влияют не только решения фермера, но и множество условий, таких как сооружения, сорт, погода. Поэтому один лишь сбор большого числа записей не позволяет автоматически отделить эффект конкретного решения. Чтобы проверить, было ли это решение правильным, нужны также случаи, когда в схожих условиях поступали иначе, или сравнительные эксперименты.

Поэтому неявное знание — это скорее не правильный ответ, которому должен следовать AI, а хорошая гипотеза, ожидающая проверки. Преобразовать опыт фермеров в данные — значит не скопировать опыт как готовый ответ, а превратить его в знание, с помощью которого можно проверить, когда он работает, а когда нет.
 

О чем нужно спросить прежде, чем о названии новой модели

В физическом AI быстро развиваются модели VLA(зрение·язык·действие) , модели, совместно обучающиеся на опыте множества роботов, а также технологии, расширяющие опыт с помощью виртуальных сред и моделей мира. Но прежде нужно спросить, какой опыт эта модель будет получать и на чем учиться.

Создаем ли мы новые сельскохозяйственные данные для физического AI, или просто прикрепляем названия новых технологий к привычным данным?

Если до сих пор мы фиксировали состояние сельского хозяйства, теперь настало время фиксировать действия сельского хозяйства. Когда рядом с существительными встанут ‘глаголы’ — смотреть, ждать, приближаться, хватать, резать, поливать, проветривать, и когда они свяжутся с результатом, образуя одно предложение, только тогда физический AI сможет наконец научиться тому, как приводить сельское хозяйство в движение.