【全球“农谈”】会看、会理解、会行动的机器人：物理AI与VLA技术

【全球“农谈”：承载未来农业】美国佛罗里达大学崔多恩教授

在教授农作业时，我们不会用语言解释每一个动作。告诉对方“只采成熟的”之后，会用手示范几次。作业者会观察果实状态，掌握把手伸进去的方向以及抓握的力度。即便只是执行一个简短指令，也会同时用到通过眼睛获得的信息和来自经验的判断。

如果要教机器人完成同样的工作，又该如何呢？近期备受关注的物理AI（Physical AI）就是这样一种能够感知物理环境并执行实际任务的人工智能。
 

教机器人工作的方式正在改变

视觉-语言模型（Vision-Language Model, VLM）是同时处理图像与语言的AI。它可用于描述照片中有什么，或根据指令寻找所需对象。将这种能力扩展到机器人动作生成的，就是视觉-语言-动作模型（Vision-Language-Action Model, VLA）。它接收摄像头画面和作业指令，并生成相应命令，例如机械臂应朝哪个方向移动、夹爪应在何时开合。[1, 2]

现有机器人也会用摄像头寻找作物，并根据位置移动。不过，在传统方式中，寻找果实位置的功能、计算到达该位置路径的功能、启动收获装置的功能，往往分别开发后再进行连接。VLA则让机器人把所看到的场景、作业指令和实际运动一起学习，使这种连接中的相当一部分可从数据中学得。[1, 2]

为此，仅仅展示收获视频是不够的。必须同时记录当摄像头中出现某个场景时，向机械臂和收获装置发送了哪些命令。模型通过这样配对的数据，学习与场景和指令相匹配的运动。之后当新的影像输入时，它会基于已学内容生成下一步动作。[2, 3]

这里值得关注的一点是，可以利用已经训练好的模型。这是一种基于从图像和文字中获得的知识，以及从多种机器人作业记录中学到的动作，对新任务进行追加学习的方法。如果机器人的机械臂和收获装置发生变化，仍需进行相应调整，但不必仅凭新机器人的记录从零开始学习所有能力。[1, 2]
 

如果把人类收获的样子展示给机器人

2026年3月以预印本形式公开的HarvestFlex研究展示了这一过程。作业者通过虚拟现实（VR）设备观看机器人的摄像头画面，并操控机械臂和收获装置。作业者接近草莓，摘下果实，并放入容器中。研究人员同时记录了当时的影像和机器人的运动。[3]

约3.7小时的数据中，并不只包含一次成功的收获。还包括接近果实时调整姿态、未能摘下后再次尝试等过程。作业者根据情况修正动作的样子，也被保留下来作为学习数据。[3]

研究人员用这些记录对既有VLA模型进行了追加训练。之后，即使没有人进行远程操控，机器人也能基于摄像头画面、收获指令和自身当前状态生成下一步动作。在实际温室测试中，表现最好的模型在50次中成功37次，即收获成功率为74%。这是指完成摘下果实并放入容器这一整项作业的比例。不过，这是在相应测试条件下获得的结果，仍存在收获装置遮挡果实而无法继续动作等失败情况。[3]

这里值得注意的是，研究是在已经学习过多项任务的模型上，加入了现场收获记录。也就是说，它并不是仅靠几小时的记录从零开始学习所有能力，而是基于人类操作机器人所展示的作业经验，将既有模型调整为适合草莓收获。
 

将农业经验转化为机器人的能力

未来，将农业从业者的作业过程记录为影像和运动数据，并用于机器人学习的案例可能会增加。如果这些记录在多种作物和栽培环境中不断积累，那么在教机器人新的农作业时可利用的资料也会更加丰富。也有可能把某个农场收集的记录，用于按照另一农场的条件来训练机器人。我们期待这样一个未来：通过亲自示范传承下来的农作业经验被保留下来成为数据，而学会这些经验的机器人在现场与人共同工作。
 

参考文献

 [1] Zitkovich, B., et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. Proceedings of The 7th Conference on Robot Learning, Proceedings of Machine Learning Research, 229, 2165–2183. Available from https://proceedings.mlr.press/v229/zitkovich23a.html
[2] Kim, M. J., et al. (2025). OpenVLA: An Open-Source Vision-Language-Action Model. Proceedings of The 8th Conference on Robot Learning, Proceedings of Machine Learning Research, 270, 2679–2713.Available from https://proceedings.mlr.press/v270/kim25c.html
[3] Zhao, Z., Wang, S., Miao, Z., & Xiong, Y. (2026). HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild. arXiv:2603.05982. https://doi.org/10.48550/arXiv.2603.05982.