[글로벌 '농(農)담'] 보고, 이해하고, 행동하는 로봇, 피지컬 AI와 VLA 기술

[글로벌 '농(農)담' : 미래 농업을 담다] 미국 플로리다 대학교 최다은 교수

농작업을 가르칠 때 우리는 모든 동작을 말로 설명하지 않는다. “익은 것만 따세요”라고 알려준 뒤, 몇 차례 손으로 보여준다. 작업자는 열매 상태를 살피고, 손을 넣을 방향과 잡는 힘을 익힌다. 짧은 지시 하나를 수행하는 데에도 눈으로 얻은 정보와 경험에서 나온 판단이 함께 쓰인다.

로봇에게 같은 일을 가르치려면 어떨까. 최근 주목받는 피지컬 AI(Physical AI)는 이처럼 물리적 환경을 인식하고 실제 작업을 수행하는 인공지능이다.
 

로봇에게 일을 가르치는 방식의 변화

시각·언어 모델(Vision-Language Model, VLM)은 이미지와 언어를 함께 다루는 AI다. 사진에 무엇이 있는지 설명하거나, 지시에 따라 필요한 대상을 찾는 데 활용된다. 이러한 능력을 로봇의 행동 생성으로 확장한 것이 시각·언어·행동 모델(Vision-Language-Action Model, VLA)이다. 카메라 영상과 작업 지시를 받아 팔을 어느 방향으로 움직이고 집게를 언제 열고 닫을지에 해당하는 명령을 생성한다.[1, 2]

기존 로봇도 카메라로 작물을 찾고 위치에 맞춰 움직인다. 다만 전통적인 방식에서는 과실의 위치를 찾는 기능, 그 위치까지 이동할 경로를 계산하는 기능, 수확 장치를 작동시키는 기능을 각각 개발해 연결하는 경우가 많았다. VLA는 로봇이 본 장면과 작업 지시, 실제 움직임을 함께 학습해 이 연결의 상당 부분을 데이터에서 배우도록 한다.[1, 2]

이를 위해서는 단순히 수확하는 동영상을 보여주는 것만으로는 부족하다. 카메라에 어떤 장면이 보였을 때 로봇팔과 수확 장치에 어떤 명령을 보냈는지를 함께 기록해야 한다. 모델은 이렇게 짝지어진 자료를 통해 장면과 지시에 맞는 움직임을 배운다. 이후 새로운 영상이 들어오면 학습한 내용을 바탕으로 다음 동작을 생성한다.[2, 3]

여기서 주목할 점은 이미 학습된 모델을 활용할 수 있다는 것이다. 이미지와 글에서 얻은 지식, 여러 로봇의 작업 기록에서 배운 움직임을 바탕으로 새 작업을 추가 학습하는 방식이다. 로봇의 팔과 수확 장치가 달라지면 그에 맞는 조정은 필요하지만, 새 로봇의 기록만으로 모든 능력을 처음부터 학습하지 않아도 된다.[1, 2]
 

사람이 수확하는 모습을 로봇에게 보여준다면

2026년 3월 사전논문으로 공개된 HarvestFlex 연구는 그 과정을 보여준다. 작업자는 가상현실(VR) 장비로 로봇의 카메라 영상을 보며 팔과 수확 장치를 조작했다. 딸기에 접근해 과실을 따고, 용기에 내려놓았다. 연구진은 그때의 영상과 로봇의 움직임을 함께 기록했다.[3]

약 3.7시간 분량의 자료에는 한 번에 성공한 수확만 담긴 것이 아니었다. 과실에 접근하다 자세를 바꾸거나, 따지 못한 뒤 다시 시도하는 과정도 포함됐다. 작업자가 상황에 맞춰 동작을 고치는 모습까지 학습 자료로 남긴 것이다.[3]

연구진은 이 기록으로 기존 VLA 모델을 추가 학습시켰다. 이후 로봇은 사람이 원격 조작하지 않아도 카메라 영상과 수확 지시, 자신의 현재 상태를 바탕으로 다음 움직임을 생성했다. 실제 온실 시험에서 가장 좋은 결과를 낸 모델은 50회 중 37회, 즉 74%의 수확 성공률을 기록했다. 과실을 따서 용기에 놓는 작업까지 마친 비율이다. 다만 이는 해당 시험 조건에서 얻은 결과이며, 수확 장치가 과실을 가려 동작을 이어가지 못하는 등의 실패도 남아 있었다.[3]

여기서 주목할 것은 이미 여러 작업을 학습한 모델에 현장의 수확 기록을 더했다는 점이다. 몇 시간의 기록만으로 모든 능력을 처음부터 배운 것이 아니라, 사람이 로봇을 조작해 보여준 작업 경험을 바탕으로 기존 모델을 딸기 수확에 맞게 조정한 것이다.
 

농업의 경험을 로봇의 능력으로

앞으로는 농업인이 작업하는 과정을 영상과 움직임 데이터로 기록해 로봇의 학습에 활용하는 사례가 늘어날 수 있다. 다양한 작물과 재배 환경에서 이런 기록이 쌓이면, 새로운 농작업을 로봇에게 가르칠 때 활용할 자료도 풍부해질 것이다. 한 농장에서 모은 기록을 다른 농장의 조건에 맞춰 로봇을 학습시키는 데 활용할 가능성도 있다. 사람에게 직접 보여주며 전해온 농작업의 경험이 데이터로 남고, 이를 배운 로봇이 현장에서 함께 일하는 미래를 기대해본다.
 

참고문헌

 [1] Zitkovich, B., et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. Proceedings of The 7th Conference on Robot Learning, Proceedings of Machine Learning Research, 229, 2165–2183. Available from https://proceedings.mlr.press/v229/zitkovich23a.html
[2] Kim, M. J., et al. (2025). OpenVLA: An Open-Source Vision-Language-Action Model. Proceedings of The 8th Conference on Robot Learning, Proceedings of Machine Learning Research, 270, 2679–2713.Available from https://proceedings.mlr.press/v270/kim25c.html
[3] Zhao, Z., Wang, S., Miao, Z., & Xiong, Y. (2026). HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild. arXiv:2603.05982. https://doi.org/10.48550/arXiv.2603.05982.