[‘Chuyện nông nghiệp’ toàn cầu] Robot biết nhìn, hiểu và hành động: AI vật lý và công nghệ VLA

[‘Chuyện nông nghiệp’ toàn cầu: Chứa đựng tương lai nông nghiệp] Giáo sư Choi Da-eun, Đại học Florida, Hoa Kỳ

Khi dạy công việc nông nghiệp, chúng ta không giải thích mọi động tác bằng lời. Sau khi nói “Chỉ hái quả chín”, chúng ta dùng tay làm mẫu vài lần. Người lao động quan sát tình trạng quả, học hướng đưa tay vào và lực nắm cần thiết. Ngay cả khi thực hiện một chỉ dẫn ngắn, thông tin thu được bằng mắt và phán đoán từ kinh nghiệm cũng được sử dụng cùng nhau.

Nếu muốn dạy robot làm cùng một việc thì sao? AI vật lý (Physical AI), lĩnh vực đang được chú ý gần đây, là trí tuệ nhân tạo nhận thức môi trường vật lý và thực hiện các công việc thực tế như vậy.
 

Sự thay đổi trong cách dạy robot làm việc

Mô hình thị giác-ngôn ngữ (Vision-Language Model, VLM) là AI xử lý hình ảnh và ngôn ngữ cùng nhau. Nó được dùng để mô tả có gì trong ảnh hoặc tìm đối tượng cần thiết theo chỉ dẫn. Mô hình thị giác-ngôn ngữ-hành động (Vision-Language-Action Model, VLA) là sự mở rộng năng lực này sang việc tạo hành động cho robot. Mô hình nhận hình ảnh từ camera và chỉ dẫn công việc, rồi tạo ra các lệnh tương ứng với việc cánh tay nên di chuyển theo hướng nào và khi nào kẹp nên mở hoặc đóng.[1, 2]

Các robot hiện có cũng dùng camera để tìm cây trồng và di chuyển theo vị trí. Tuy nhiên, trong phương pháp truyền thống, chức năng tìm vị trí quả, chức năng tính toán đường đi đến vị trí đó và chức năng vận hành thiết bị thu hoạch thường được phát triển riêng rồi kết nối lại. VLA giúp robot học phần lớn mối liên kết này từ dữ liệu bằng cách học đồng thời cảnh robot nhìn thấy, chỉ dẫn công việc và chuyển động thực tế.[1, 2]

Để làm điều này, chỉ cho xem video thu hoạch là chưa đủ. Cần ghi lại đồng thời những lệnh nào đã được gửi tới cánh tay robot và thiết bị thu hoạch khi một cảnh nhất định xuất hiện trên camera. Thông qua các dữ liệu được ghép cặp như vậy, mô hình học các chuyển động phù hợp với cảnh và chỉ dẫn. Sau đó, khi có video mới, nó tạo ra hành động tiếp theo dựa trên những gì đã học.[2, 3]

Điểm đáng chú ý ở đây là có thể tận dụng các mô hình đã được huấn luyện. Đây là cách huấn luyện bổ sung một công việc mới dựa trên kiến thức thu được từ hình ảnh và văn bản, cũng như các chuyển động học được từ hồ sơ làm việc của nhiều robot. Nếu cánh tay và thiết bị thu hoạch của robot thay đổi, cần có sự điều chỉnh phù hợp, nhưng không nhất thiết phải học lại mọi năng lực từ đầu chỉ bằng hồ sơ của robot mới.[1, 2]
 

Nếu cho robot xem con người thu hoạch

Nghiên cứu HarvestFlex, được công bố dưới dạng tiền ấn phẩm vào tháng 3 năm 2026, cho thấy quá trình đó. Người vận hành nhìn hình ảnh camera của robot qua thiết bị thực tế ảo (VR) và điều khiển cánh tay cùng thiết bị thu hoạch. Họ tiếp cận quả dâu tây, hái quả và đặt vào thùng chứa. Nhóm nghiên cứu đã ghi lại đồng thời hình ảnh và chuyển động của robot lúc đó.[3]

Khoảng 3,7 giờ dữ liệu không chỉ chứa các lần thu hoạch thành công ngay từ lần đầu. Nó cũng bao gồm quá trình thay đổi tư thế khi tiếp cận quả hoặc thử lại sau khi không hái được. Cả cách người vận hành điều chỉnh động tác theo tình huống cũng được để lại làm dữ liệu huấn luyện.[3]

Nhóm nghiên cứu đã dùng các bản ghi này để huấn luyện bổ sung cho một mô hình VLA hiện có. Sau đó, ngay cả khi không có con người điều khiển từ xa, robot vẫn tạo ra chuyển động tiếp theo dựa trên hình ảnh camera, chỉ dẫn thu hoạch và trạng thái hiện tại của chính nó. Trong thử nghiệm thực tế tại nhà kính, mô hình cho kết quả tốt nhất ghi nhận 37 lần thành công trong 50 lần, tức tỷ lệ thu hoạch thành công 74%. Đây là tỷ lệ hoàn thành cả công việc hái quả và đặt vào thùng chứa. Tuy nhiên, đây là kết quả thu được trong các điều kiện thử nghiệm tương ứng, và vẫn còn các thất bại như thiết bị thu hoạch che khuất quả khiến robot không thể tiếp tục chuyển động.[3]

Điểm đáng chú ý ở đây là các bản ghi thu hoạch tại hiện trường đã được thêm vào một mô hình vốn đã học nhiều công việc. Thay vì học mọi năng lực từ đầu chỉ với vài giờ dữ liệu, mô hình hiện có được điều chỉnh cho việc thu hoạch dâu tây dựa trên kinh nghiệm làm việc do con người vận hành robot để trình diễn.
 

Biến kinh nghiệm nông nghiệp thành năng lực của robot

Trong tương lai, có thể sẽ có nhiều trường hợp ghi lại quá trình làm việc của nông dân dưới dạng video và dữ liệu chuyển động để sử dụng cho việc học của robot. Nếu những bản ghi như vậy được tích lũy ở nhiều loại cây trồng và môi trường canh tác khác nhau, nguồn tư liệu để dạy robot các công việc nông nghiệp mới cũng sẽ phong phú hơn. Cũng có khả năng dùng dữ liệu thu thập ở một trang trại để huấn luyện robot phù hợp với điều kiện của trang trại khác. Chúng ta có thể kỳ vọng vào một tương lai trong đó kinh nghiệm làm nông vốn được truyền lại bằng cách trực tiếp chỉ cho con người được lưu giữ dưới dạng dữ liệu, và những robot học từ đó cùng làm việc tại hiện trường.
 

Tài liệu tham khảo

 [1] Zitkovich, B., et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. Proceedings of The 7th Conference on Robot Learning, Proceedings of Machine Learning Research, 229, 2165–2183. Available from https://proceedings.mlr.press/v229/zitkovich23a.html
[2] Kim, M. J., et al. (2025). OpenVLA: An Open-Source Vision-Language-Action Model. Proceedings of The 8th Conference on Robot Learning, Proceedings of Machine Learning Research, 270, 2679–2713.Available from https://proceedings.mlr.press/v270/kim25c.html
[3] Zhao, Z., Wang, S., Miao, Z., & Xiong, Y. (2026). HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild. arXiv:2603.05982. https://doi.org/10.48550/arXiv.2603.05982.