【グローバル「農談」】見て、理解し、行動するロボット、フィジカルAIとVLA技術

【グローバル「農談」：未来の農業を語る】米国フロリダ大学 チェ・ダウン教授

農作業を教えるとき、私たちはすべての動作を言葉で説明するわけではない。「熟したものだけを採ってください」と伝えた後、何度か手で見せる。作業者は果実の状態を見極め、手を入れる方向やつかむ力を身につける。短い指示を一つ実行するだけでも、目で得た情報と経験に基づく判断があわせて使われる。

ロボットに同じ作業を教えるにはどうすればよいだろうか。近年注目されているフィジカルAI（Physical AI）は、このように物理的環境を認識し、実際の作業を遂行する人工知能である。
 

ロボットに仕事を教える方法の変化

視覚・言語モデル（Vision-Language Model, VLM）は、画像と言語を同時に扱うAIである。写真に何が写っているかを説明したり、指示に従って必要な対象を探したりするのに活用される。こうした能力をロボットの行動生成へ拡張したものが、視覚・言語・行動モデル（Vision-Language-Action Model, VLA）である。カメラ映像と作業指示を受け取り、アームをどの方向へ動かし、グリッパーをいつ開閉するかに相当する命令を生成する。[1, 2]

既存のロボットもカメラで作物を見つけ、その位置に合わせて動く。ただし従来の方法では、果実の位置を見つける機能、その位置まで移動する経路を計算する機能、収穫装置を作動させる機能をそれぞれ開発し、接続する場合が多かった。VLAは、ロボットが見た場面と作業指示、実際の動きをまとめて学習し、この接続のかなりの部分をデータから学べるようにする。[1, 2]

そのためには、単に収穫する動画を見せるだけでは不十分である。カメラにどのような場面が映ったとき、ロボットアームと収穫装置にどのような命令を送ったのかを一緒に記録しなければならない。モデルはこのように対応づけられた資料を通じて、場面と指示に合った動きを学ぶ。その後、新しい映像が入力されると、学習した内容に基づいて次の動作を生成する。[2, 3]

ここで注目すべき点は、すでに学習済みのモデルを活用できることである。画像や文章から得た知識、複数のロボットの作業記録から学んだ動きをもとに、新しい作業を追加学習する方式だ。ロボットのアームや収穫装置が変われば、それに合わせた調整は必要だが、新しいロボットの記録だけですべての能力を一から学習する必要はない。[1, 2]
 

人が収穫する様子をロボットに見せたら

2026年3月にプレプリントとして公開されたHarvestFlex研究は、その過程を示している。作業者は仮想現実（VR）機器でロボットのカメラ映像を見ながら、アームと収穫装置を操作した。イチゴに近づき、果実を採って容器に置いた。研究チームはそのときの映像とロボットの動きを一緒に記録した。[3]

約3.7時間分のデータには、一度で成功した収穫だけが含まれていたわけではない。果実に近づきながら姿勢を変えたり、採れなかった後に再び試したりする過程も含まれていた。作業者が状況に応じて動作を修正する様子まで、学習データとして残したのである。[3]

研究チームはこの記録で既存のVLAモデルを追加学習させた。その後、ロボットは人が遠隔操作しなくても、カメラ映像と収穫指示、自身の現在状態をもとに次の動きを生成した。実際の温室試験で最も良い結果を出したモデルは、50回中37回、すなわち74％の収穫成功率を記録した。果実を採って容器に置く作業まで完了した割合である。ただし、これは当該試験条件で得られた結果であり、収穫装置が果実を隠して動作を続けられないといった失敗も残っていた。[3]

ここで注目すべきなのは、すでに複数の作業を学習したモデルに、現場の収穫記録を加えた点である。数時間の記録だけですべての能力を一から学んだのではなく、人がロボットを操作して示した作業経験をもとに、既存モデルをイチゴ収穫に合わせて調整したのである。
 

農業の経験をロボットの能力へ

今後は、農業者が作業する過程を映像と動作データとして記録し、ロボットの学習に活用する事例が増える可能性がある。多様な作物や栽培環境でこうした記録が蓄積されれば、新しい農作業をロボットに教える際に活用できる資料も豊富になるだろう。ある農場で集めた記録を、別の農場の条件に合わせてロボットを学習させるために活用する可能性もある。人に直接見せて伝えてきた農作業の経験がデータとして残り、それを学んだロボットが現場でともに働く未来を期待したい。
 

参考文献

 [1] Zitkovich, B., et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. Proceedings of The 7th Conference on Robot Learning, Proceedings of Machine Learning Research, 229, 2165–2183. Available from https://proceedings.mlr.press/v229/zitkovich23a.html
[2] Kim, M. J., et al. (2025). OpenVLA: An Open-Source Vision-Language-Action Model. Proceedings of The 8th Conference on Robot Learning, Proceedings of Machine Learning Research, 270, 2679–2713.Available from https://proceedings.mlr.press/v270/kim25c.html
[3] Zhao, Z., Wang, S., Miao, Z., & Xiong, Y. (2026). HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild. arXiv:2603.05982. https://doi.org/10.48550/arXiv.2603.05982.