采摘机器人自主作业系统构建

本文节选自：

陈明猷, 罗陆锋, 刘威, 韦慧玲, 王金海, 卢清华, 骆少明. 采摘机器人全果园视觉感知及自主作业综述[J]. 智慧农业(中英文), 2024, 6(5): 20-39. DOI: 10.12133/j.smartag.SA202405022

CHEN Mingyou, LUO Lufeng, LIU Wei, WEI Huiling, WANG Jinhai, LU Qinghua, LUO Shaoming. Orchard-Wide Visual Perception and Autonomous Operation of Fruit Picking Robots: A Review[J]. Smart Agriculture, 2024, 6(5): 20-39. DOI: 10.12133/j.smartag.SA202405022

官网全文免费阅读

采摘机器人自主作业系统构建

采摘机器人是一个复杂的系统。为了构建实用型作业机器人，实现自主高效采摘，系统不但需要具备前述局部感知、全局建图与作业行为规划等基础功能，还需要基于一定的策略与准则集成感知、移动和采摘模块，解决“眼-身-手”行为高效协同和全果园连贯作业的关键技术瓶颈问题。

1 采摘机器人系统

21世纪初，诸多集成度高、结构紧凑的采摘机器人系统被相继推出，在柑橘、番茄、茄子、草莓、樱桃、黄瓜、苹果等果蔬采摘任务中崭露头角。2014年前后，随着并行计算硬件的快速迭代升级，以深度学习为代表的人工智能技术取得较大进步，并在随后数年迁移应用至农业工程领域，有效解决了以往采摘机器人在感知精度、控制鲁棒性和规划自适应性等方面的诸多基础技术问题。目前，采摘机器人相关研究已进入新的阶段，朝着系统化、集成化与实用化和商业化方向发展。感知、移动和采摘模块的高效协同是构建强自主与实用型采摘机器人的关键瓶颈问题。

感知模块与采摘模块的“手-眼”协同是机器人多功能模块协同的基础。通过相机标定、手眼标定与机械臂正运动学参数标定可精确求解视觉系统与机械臂基坐标系的转换关系，进而建立“手-眼”视觉测量模型。基于端对端的深度目标检测网络、语义分割网络和路径规划网络，可有效提高“手-眼”视觉系统的识别、定位与测量精度，实现对采摘过程的高质量视觉伺服控制。对于不同外形的水果，应针对设计与其适配的末端爪形，以及抓取-分离-放置策略，确保视觉伺服控制效率。针对水果脆弱易损的生物学特性，可全面考虑牵拉、旋转、按压、折断、按压-折断组合、牵拉-旋转组合等多种摘取模式，并基于所选择的最优摘取模式设计“手-眼”视觉系统、运动控制系统和末端控制系统的运行逻辑与采摘动作序列，实现高效、无损水果采收。此外，采用采摘-放置一体化的集成式末端是也降低视觉算法复杂度，提高“手-眼”协同效率的有效方法之一。

上述“手-眼”协同模式的局限性在于其仅能作用于果园局部位点。为了进一步提高机器人的有效作业范围，可在“手-眼”协同的基础上添加移动平台节点，实现全果园作业。目前，果园移动系统以人工操控或半自动操控居多，其依赖特定的运动规则或场地硬件设施，如借助承载平台垂直上升和下降、以轨道车的形式搭载机械臂在特制化道路移动等。这种相对固定的策略可确保机器人移动过程稳定性，但大大限制了其作业过程的自主性和智能性。为了构建自主连贯作业系统，移动平台节点需进一步参与至“手-眼”协同过程中，通过分析来自“手-眼”视觉系统的场景几何结构、语义信息，并结合自身的运动学信息来规划全果园移动序列，形成“眼-身-手”闭环协同模式，这将涉及更复杂的环境感知、路径规划、视点规划算法与数据流设计问题。

机器人在全果园不同片区之间来回移动与采摘的过程中，其视场范围和光照条件处于动态变化的状态，这是影响机器人“眼-身-手”行为协同稳定性的重要因素。针对光照自适应性问题，可设计专用照明模块进行物理补光，提高采样图像的光照一致性。通过部署基于深度学习的光照补偿网络，以数据驱动的方式动态增强图像亮度，也是提高复杂光照条件下视觉伺服控制系统稳定性的有效手段之一。针对动态视场下的尺度自适应性问题，一方面可通过控制移动底盘主动靠近目标的策略来缩小视场，并采用主动视点规划和物理清除的方式排除障碍物，提高目标像素占比；另一方面，可在强鲁棒性深度学习模型的基础上，结合骨架细化算法提高视觉系统对细小图像目标的敏感性，引导机器人在动态、大视场条件下实现连贯的感知-移动-收获行为。

除了尽可能提升基础算法与硬件的性能外，还应面向农户的实际生产需求，适当考虑系统通用性与采收效率之间的平衡问题。例如，对于大批量采收任务，可以通过分析当前水果的生物学特点，定制化设计机器人本体架构、感知算法和末端采摘逻辑，力求降低系统设计和模块间协同的复杂度。该策略的局限性在于可能会降低系统对其他类型水果采摘任务的通用性，但构建系统所需的经济和时间成本将大大下降。此外，部署多机械臂系统，研究多臂运动的顺序优化与高效调度机制，是提高采收效率的另一可行方案。

近年报道的代表性采摘机器人系统如图1所示，研究情况见表1。

图1 代表性采摘机器人系统示意图

Fig. 1 Schematic diagram of representative picking robot systems

表1 近年报道的采摘机器人自主作业系统模块协同及其应用情况

Table 1 Recent reports on the coordination of modules in autonomous picking robot systems and their applications

注：虽然部分采摘机器人系统具备移动模块，但由于该模块未能与其他模块进行实质性数据交换与行为协同，因此未在“参与协同模块”中列出。

2 分析与评价

国内外报道的采摘机器人系统均具备识别水果的基础功能，同时一定程度上具备移动-采摘综合作业能力，可为实现大规模无人化水果采摘提供重要理论与技术支持。然而，已有采摘系统的感知、移动、采摘模块功能相对割裂，协同程度不高，未能切实满足全果园自主高效作业需求，极大限制了采摘机器人在真实大规模场景中的部署应用。

已有采摘机器人系统构建案例中，可见针对局部目标感知、大规模果园建图、移动与采摘行为规划等单独任务的案例或功能演示，但是具备“眼-身-手”行为协同与全果园一体化作业能力的采摘系统不多见。可查及的大部分移动平台仅充当简单的机械承载部件，机器人不具备对感知、移动、采摘模块进行高效协同并实现全果园连贯作业的能力。部分具备自主移动能力的采摘机器人系统需依赖固定轨道、人工轨迹或标记点，对场地布置要求较高，可移植性和实用性有待提高。目前为止，采摘机器人的模块协同多限于“手-眼”协同。综上所述，尽管部分关键技术取得突破，目前采摘机器人系统相关研究仍未成熟，离自主、智能和实用化的要求还有较大距离。

为方便农业科学领域读者、作者和审稿专家学术交流，促进智慧农业发展，为更好地服务广大读者、作者和审稿人，编辑部建立了微信交流服务群，有关专业领域内的问题讨论、投稿相关的问题均可在群里咨询。入群方法：加小编微信17346525780，备注：姓名、单位、研究方向，小编拉您进群，机构营销广告人员勿扰。

发布征集