果蔬采摘机器手系统设计与控制技术研究现状和发展趋势

鲜食果蔬收获是难以实现机械化作业的生产环节,高效低损采摘也是农业机器人研发领域中的难题,导致目前市场化的自动化果蔬采摘装备生产应用几乎空白。针对鲜食果蔬采摘需求,为改善人工采摘费时费力、效率低下、自动化程度低的问题,近30年来,国内外学者设计了一系列自动化采摘设备,推动了农业机器人技术的发展。

1 引 言

机器人和机械手通常被用来代替人类完成枯燥、重复、肮脏或危险的工作。在过去的四十余年中,机器人经历了蓬勃的发展。但受限于当前技术水平,很多人类可以轻易完成的工作,例如拾起和放置形状、大小、材料和表面特性差异很大的物体,对于机器人而言仍具有挑战性。

机械手是一种安装在机器人上的工具,用于抓紧、搬运和放置目标,是机器人的重要执行器之一。区别于单独的机械末端,机械手是包括设计目标、机械结构、驱动方式、控制方案、视觉算法、评价体系等一系列相关领域的系统结合。自1975年以来,由于在多个领域出现了大量对机器手的不同需求,其设计和制造技术得到了迅速的发展。Festo、Schunk、BTM等公司已经开发了许多机械结构、驱动形式各异的商用机械手。为了将人力从繁重、重复、低效的工作中解放出来,作为农业机器人最重要的组件之一,机械手已经应用到了农业的各个领域,例如收获水果和蔬菜、嫁接、移植和修剪等。但目前,机器手在农业、食品和生物等领域的发展尚不如在制造业中成熟,这主要是由于以下几点原因造成:一是农业环境具有非结构化或半结构化的特点,导致其场景复杂度远远高于工业环境,对采摘机械算法的鲁棒性以及机械的稳定性都提出了很高的要求;二是农产品通常具有质地脆弱、易擦伤、易粘附和难以被夹紧的特点,其抓取复杂度远高于简单的工件;三是农业产品的果实的形态特征、生长发育情况各异,且个体之间也有较大差异;四是农产品通常具有较为固定的采摘时机,不当的采摘时间将大大影响农产品的质量水平,对采摘机械的智能化与工作效率提出了较高要求;五是采摘机械的服务对象大多是农民,因此采摘机械要具有工作可靠、操作简单的特点。除此之外,考虑到农产品的利润较低、季节性较强等特点,需要严格控制采摘机械的成本。由于上述因素的存在,应用在农业中的机械手对材料的选择、抓取方式的设计,控制和识别算法的设计都提出了更高的要求。

2 采收对象和场景

鉴于目前采摘机器人能力的限制,市面上没有能够适应所有种类、所有场景的作物采摘器械。因此,在采摘机械机械手设计之初,设计者必须针对不同的采摘目标和采摘场景进行分析,因地制宜地进行设计采摘机械。总体而言,影响机器人采收目标的设计包括采收对象的特征和机器人运行的场景两方面因素。

2.1 采摘果实的种类

智能采摘机械与传统农机在采摘目标上有很大不同,这是由于它的高成本和工作的高复杂性决定的。智能采摘机械的目标作物通常是水果、花卉、蔬菜、香料等高价值作物。这类作物比主食作物的收获过程更为复杂,且要求更高。但与此同时,这类作物也具有更高的价值和利润,因此,针对这些作物的智能采摘机械具有较高的市场需求和良好的发展前景。为开发出足够智能的采摘机械,国内外学者已经进行了长时间的探索。

国外在采摘机械的研制方面起步较早,欧美和日本等发达国家在采摘机械方面的研究始于上个世纪,目前已经有比较高的水平。为缓解劳动力短缺对农业可持续发展带来的不良影响,Preter等设计了一种无损伤草莓采摘机械,其原型机可以在4 s内完成一颗草莓的采摘。为解决人工采摘草莓耗时较多、人工成本过高的问题,Xiong等设计了一种草莓采摘机器人,使用电缆驱动的手指包裹草莓果实完成采摘,对于单独的草莓的采摘成功率接近96.8%,但在实际农场中仅能达到59%。为解决劳动力匮乏的问题,并提高生物产品质量,20世纪70年代后期,日本已研制出如嫁接机器人、扦插机器人、移栽机器人和采摘机器人等多种农业机器人。20世纪90年代,日本研制出了能够应用于农业生产的机器人。但这些机器人大多只能完成特定的一项工作。为解决这个问题,日本冈山大学的Monta等设计了一种多功能葡萄采摘机器人,可以完成收割、浆果稀释、喷洒农药、果实装袋四种任务。为解决茄子收获过程复杂、占用时间多的问题,日本蔬菜与茶科学研究所的Hayashi研制了一种可以完成识别、处理和拣选任务的茄子收获机器人,成功收获率为62.5%,每收获一个茄子耗时64.1 s。日本京都大学的Kondo团队一直致力于采摘机械的研究,已成功研制出了番茄、草莓、菊花等采摘机器人。

国内采摘机械研制虽与国外顶尖水平仍有一定差距,但在近些年已有较大进展。为解决手工收割番茄费时费力且不利于大规模种植的问题,Wang等设计了一种具有四轴独立转向系统、五自由度收割系统以及双目立体视觉导航系统的温室番茄收割机器人,其识别成功率高达99.3%,采摘成功率为86%,且每个番茄采摘时间仅需15 s。为解决柑橘废弃严重及机械化收获水平低的问题,霍银龙等设计了一种全自动旋转式柑橘机械采摘机,实现了柑橘果实的采摘、收集和自动装箱;为制造出低成本和高效的采桃机械,Yu等设计了一种六自由度采桃机械手,结合核相关滤波算法(Kernel Correlation Filter,KCF)高速跟踪算法和高精度测距算法,该机械目标检测速度约为14 帧/s,平均识别率超过90%,目标跟踪速度约为40 帧/s。

目前主流的采摘果实目标为苹果、草莓、茄子、柑橘等。这类果实具有体积较小、颜色鲜艳、生长位置适合机械化采摘的特点,为识别和采摘带来了很大便利。对于西瓜、甜瓜等果实,由于其具有体积较大、成熟度难以区分、果实颜色与叶片及藤蔓接近等特点,对识别和采摘造成了很大困难,相关的研究较少,目前没有十分有效的采摘方案;而对于花生、土豆一类果实生长在地下的作物,由于其果实的识别和摘取难度过高,目前也没有合适的采摘方案。

除此之外,当前的采摘机械手具有很强的专用性。而同种果实在一年中的采摘季节通常是短暂而固定的,这种专用型采摘机械无疑降低了使用率、增加了成本。因此设计多功能采摘机械和通用型采摘机械将大大提升采摘机械的使用率和降低使用成本,也必然是农业未来的重点研究方向之一。

2.2 采摘对象的力学特性

为在力学方面对采摘机械设计提供理论指导,国内外学者对被采摘果实的力学特性进行了一系列研究。刘继展等对不同成熟期的番茄果实进行了挤压实验,对番茄的果梗进行折断和拉断实验,对番茄及其果梗的力学特性进行了分析,得出了折断方式比拉断方式更适合番茄采摘的结论。为研究灵武长枣硬脆性所带来的易损问题,刘博翰根据不同成熟度灵武长枣的力学行为,使用多种实验仪器对枣的动压机械损伤和冲击机械损伤进行深入分析,得到了对应的弹塑性力学方程,为采摘执行机构的设计提供了理论依据。

除此之外,由于包裹型抓手对于抓取力有较为严格的限制,部分学者在设计包裹型抓手前会对果实的某一项力学性能进行测试或试验。Dimeas等在设计草莓采摘抓手时采用两种抓取方案对草莓的摘取力、拉力、弯曲力进行了一系列测试,得出侧面夹取是最优抓取姿势。为获取气吸式采摘枸杞的最佳工作参数,王荣炎等对枸杞进行了力学实验,使用FLUENT软件对气吸式采摘装置的管道进行建模仿真,得到管道的气体压力和速度云图,并通过气吸采摘实验得出了该设备的最佳工作参数,为气吸式枸杞采摘装置的研制提供了指导。

总体而言,目前国内外学者对果实的力学特性虽有所探索,但大多比较简单和片面,缺乏系统的研究和理论支撑。这主要是由于果实作为一种生物材料,在力学特性与传统材料上有很大区别。目前果实力学特性方面缺乏完整的理论体系,相关领域的进步仍需要依靠生物力学的进一步发展。

2.3 对位姿的建模方法

位姿建模指的是对采摘目标的位置和姿态进行估算,从而为采摘机器人的运动路径规划、姿态规划提供指导。

为解决苹果视觉定位中对获取果实的姿态信息较少、影响采摘成功率的问题,张高阳基于粒子滤波理论结合双目视觉信息和运动中的单目信息完成了对苹果的定位,并通过花萼遗迹是否可见将苹果姿态分为两种模型,从而完成苹果姿态的测量,对每幅图像进行姿态测量需4 s左右,抓取每个苹果需要30 s左右。为解决水果分级生产过程中姿态的识别问题,姚立健等设计了一种采用惯性主轴方法计算水果果轴的算法,测得果轴正投影倾角的误差为4.4°,果轴检测正确率为86%,可有效检测分级生产中水果的姿态。为解决位姿识别问题对柑橘采摘造成的困难,张哲通过对采摘机器人进行正逆运动学求解,获得了机器人采摘姿态的目标函数,提出了一种采摘序列规划方法,通过搭建实验平台进行测试实验,得出采摘机器人在室内外环境下末端执行器包含柑橘的成功率分别为89.47%和70%。

总之,目前主流的位姿建模方法是基于视觉识别和空间几何计算的方法,即通过对果轴、质心或采摘点等特征的识别,结合几何计算得到目标的位置和姿态。但是由于果实结构各不相同,通常需要对每一种果实各设定一套算法,研发成本较高。此外,同种水果的不同个体也存在一定的形状差异,从而对算法的精确性造成影响。未来的主要研究方向是设计一套通用、精确的采摘目标姿态建模方法。

受制于传统卷积神经 络对位姿信息的忽略,深度学习方法在果实位姿检测这一领域应用较少。Sabour等曾提出CapNet 络结构。相较于传统卷积神经 络(Convolutional Neural Networks,CNN),CapNet 络对物体的姿势和相互位置更加敏感,且被认为在物体姿态描述领域具有重大潜力。除此之外,为解决物体姿态估计问题,Hu等提出了一种姿态估计 络。该 络由图像分割流和关键点检测流组成。对于 络获取的关键点对,利用基于RANSAC的PnP产生姿势估计。经试验测定,该算法在遮挡较少和物体大小适中的情况下具有较好的性能。相关的研究工作将把深度学习引入对位姿的建模成为可能。

2.4 采摘场景

采摘场景总体可分为实验室环境、大棚内环境和露天实景,还可以继续根据场景的复杂性进行分类。场景复杂度指果实的疏密情况、相互遮挡情况、果树的布局情况以及光照气候的变化情况等。综合文献,并考虑场景深度和背景复杂度,将几种典型的因素对场景复杂度影响归结如表1。

表 1 典型场景复杂度对采摘性能的影响

Table 1 The impact of typical scene complexity on picking performance

因素

生产环境

果园

温室

室内

开放的野外

风云防护

+

++

可控照明

++

植物生长一致性

+/-

+

++

对象可见性

+

+/-

导航难度

+

++

固定机器人适用性

+/-

++

场景深度

+

++

背景复杂度

+

++

注:“-”表示对采摘性能具有负面影响,“+”表示对采摘性能具有正面影响

对提及采摘成功率的文献进行统计,发现目前大多数采摘机械针对孤立的果实能够取得很好的识别和抓取效果,在实验室或大棚中表现相对较好,而在实际农田中工作的机械由于其场景的复杂性,采摘的成功率不高,真正能够投入商用的较少。因此,在设计采摘末端时,通常在实验室环境下,会影响到如表1所示的七个指标,从而导致采摘成功率将明显高于大棚内和室外环境。

2.5 采摘可行性分析

采摘可行性指的是采摘机械对周围场景进行感知和分析后,综合考虑机器人的作业能力,对所有检测到的果实中具有足够采摘成功率的果实进行筛选。本质上,采摘可行性分析实际是去除所有检测到的目标中那些采摘成功率过低的个体。合理地评判采摘可行性,有利于使采摘机械将注意力集中在更高成功率的采摘对象上,提升采摘机械的工作效率,提高采摘顺序规划的质量。场景复杂度是影响果实采摘成功率的重要原因之一,它主要通过影响机器人的识别定位系统、加大避障系统和路径规划系统的工作难度来影响果实的采摘成功率。

对于采摘可行性问题,已有学者提出了一些初步想法。为提高采摘机器人的作业效率,Xiong等曾提出了一种判断草莓可采摘性的方法,使用深度图估计目标果实与末端执行器之间的距离,当物体过远或过近时会对视觉系统的性能造成干扰,需要去除这些物体。该方法的优点在于可以在采摘前对草莓的可采性进行粗略估计,缺点在于受遮挡物影响大,且三维视觉系统相对复杂。

目前学者所提出的方案仅仅考虑了某一个或某几个影响因素,这对于复杂的实际情况远远不够。由于机器的作业能力不可被完全严格地描述,因此“可行性”是一个模糊数学概念,且尚没有学者对其进行明确定义。 果蔬采摘可行性分析潜在的解决方案包括尝试通过模糊数学建模采摘效果、强化学习获取经验知识、注意力机制引导可采性机理分析等实现。首先,提出一种基于模糊数学理论的定义方式:若以D={d1,d2,…,dn}D={d1,d2,…,dn} 表示视觉系统检测到的nn个目标果实,则可被采摘的目标果实组成论域DD上的一个模糊子集AA,且模糊子集AA由论域DD到区间[0,1][0,1]的映射μAμA确定。在数学上μAμA也称为AA的隶属函数。故判断采摘可行性的问题可以转化为确定隶属函数μAμA的问题。显然确定隶属函数μAμA的方法并不唯一,它取决于设计者对各个影响因素的重视程度。比如当设计者考虑果实在所采集图像中的显著性水平时(由于图像中显著性更高的果实通常更容易采摘,所以这种考虑是合理的),将图像输入显著性检测算法当中并得到输出的显著性热图,统计果实区域的热图响应,将其归一化作为隶属函数μAμA。这种算法只考虑了显著性水平这一个因素,对于多个影响因素,可以设计综合评价算法对其进行评分,也可以使用深度神经 络完成综合评价这一任务。但是这种评价方式往往受制于有限的考虑因素以及固定的某些场景,缺乏对新场景的学习和自适应能力。将可行性与强化学习相结合将是未来采摘可行性分析最有前景的发展方向。

在强化学习中,采摘过程可被建模为一个马尔可夫决策过程(Markov Decision Process,MDP)。为每一个果实被采后的状态设置状态价值函数VV,为采摘每一个果实的动作设置动作价值函数Q。当成功摘取果实后,将获得回 RR。假设摘取每一个果实的回 是相同的,由于衰减因子γγ的存在,使用较少动作摘取果实将获得更大的回 。若使用贪心算法引导决策,则机器人将更倾向于完成“更加容易”的采摘动作。在多次采摘动作完成后,容易采摘的果实将被采摘殆尽,留下难以采摘的果实,则可以认为采摘这些果实的动作是低回 、不可行的。但是受制于复杂的工作环境和算法的局限性,目前使用强化学习算法进行果实采摘仍是一项十分艰难的任务,仍需要国内外学者的进一步探索。

总体而言,采摘可行性分析仍然是果蔬采摘研究领域的空白,仍然缺乏一套系统地评判采摘场景复杂度的可行理论,对采摘场景的复杂度进行建模评价将是未来重要的研究方向之一。考虑到目前大多数采摘机械使用基于视觉的控制方案,关于“视觉注意力机制”和“显著性水平”方向的研究将很有可能带动这方面的发展。除此之外,为应对复杂多变的实际情况,使用深度 络对采摘成功率进行学习可能会成为采摘可行性分析的一个突破点。

3 采摘机械结构

作为采摘机械的主要执行装置,采摘机械结构至关重要。本节讨论了主流的采摘机械抓手结构并对其进行了分类。针对主流的刚性机械抓手总结了设计的流程。并讨论了采摘机械手的驱动方式和切割方案。针对于采后的收集和分类装置进行了总结和归纳。

3.1 抓手结构

3.1.1 抓手结构的分类

图 1 包裹型抓手和夹持型抓手

Fig. 1 Face profile gripper and point profile gripper

夹持型抓手主要为切割式采摘,大多为刚性结构。例如为实现草莓的机械化采摘,史慧文等设计了一种草莓采摘机械手爪。该手爪上安装有摄像头,使用电机驱动,采用齿轮传动,并采用丝杠控制手指的闭合,具有简单可靠的特点。包裹型抓手主要是拟人手采摘,其形式非常多样。传统的包裹型抓手是刚性材料制成的,为避免对果实的损伤,部分抓手还会增加一些缓冲材料。为解决传统机械抓取草莓时极易损伤果实的问题,Dimeas等设计了一种草莓采摘抓手,对草莓进行了力学分析,并最终确定侧面夹取式为最佳方案。他还对采摘过程进行了运动学分析,确定了抓手的参数,并采用3D打印技术制造抓手进行试验,这种抓手在刚性材料的基础上增加了缓冲材料,能在一定程度上减少对果实的损伤。

除传统的刚性机械手外,还有许多软体抓手,软体抓手与刚性抓手最大的不同是施力部分完全采用软体材料。为实现苹果的机械化采摘并减少对果实的损伤,Setiawan等设计了一种气动控制的苹果采摘装置,该装置能在0.4 bar的气压下夹住苹果,且几乎不会对苹果造成损伤。但是严格而言这种装置是圆柱形的夹具,体积较大且笨重,与理想的末端执行器还有所差距。作为流体领域的先驱,德国的Festo公司曾设计过一种带有微小吸盘的仿章鱼触手,这种抓手能够适应各种形状的物体表面,在缠绕物体的同时吸附物体的表面,具有很好的自适应性和稳定性。国内方面,北京软体机器人有限公司与北京航空航天大学合作,曾设计了一款气动抓手,该抓手的手指由硅胶注塑而成,由气动控制弯曲程度,能够快速、准确地抓取苹果、巧克力球,以及手机零件等物体,具有良好的通用性。除上述软体抓手之外,近年来,科学家还探索了使用其他方式驱动的软体抓手。Pettersson等设计了一种磁流变机器人抓手并挑选了苹果、胡萝卜和草莓等多种目标进行试验,均没有发现明显损伤。2015年,Shintake等设计了一种静电软体抓持器,兼顾电吸附、电驱动和自感应功能,可无伤害地夹持水球、生鸡蛋,以及白纸等物品。Bogue总结了近年来拟人手和软体抓手的发展情况与趋势,指明未来将有越来越多的软体抓手投入商用。软体抓手将在水果采摘、产品包装,以及零件挑选等领域有重大应用价值。Liu等设计了一种3D打印的欠驱动水果抓取器,该装置制作方便且具有一定的适应性,能够有效抓取易碎易损伤的目标。

包裹型和夹持型两种抓手结构设计各有利弊:包裹型抓手的作用对象是水果本身,由于水果体积较大、颜色鲜艳,为识别和定位系统的设计带来了很大方便。但是由于部分果实质地柔软、容易瘀伤的特点,包裹型抓手需要对包裹力进行严格控制,无疑加大了设计的难度,因此这种抓手目前主要应用于较硬水果的采摘。夹持型抓手主要作用对象是果实的母枝,由于母枝具有纤细、易被遮挡的特点,其定位和识别具有比较高的挑战性。但由于其不直接作用于果实本身,这种抓手不易对果实造成损伤。

传统包裹型抓手采用刚性材料,很难对包裹力进行控制,且抓手的形状固定,缺乏足够的自适应能力。近几年软体机器人的不断发展为解决这一问题带来了可能性。然而,目前软体机器人的设计和控制仍是机械领域的一项前沿课题,这一领域的不断发展将会为水果采摘机械的末端执行器带来更优异的性能。

3.1.2 刚性抓手的设计流程

高质量机械手设计过程应当遵从标准的基于环境的设计范式。总体而言,刚性抓手的设计流程需要经历需求分析、目标力学特性分析、仿形结构设计、切割方案设计、构型综合、尺寸综合、力学综合、虚拟仿真、材料选择和样机制作几个阶段。下面对各个阶段分别进行简要介绍。

为保证机械手能够满足设计需要,应当在设计初期进行需求分析。需求分析指的是通过市场调研的方式确定采摘的对象。通常需要考虑市场经济需求和设计难度等因素。

为给机械手的结构设计、切割方案和力学综合提供足够的数据引导,需要进行目标力学特征分析。目标力学特性分析指的是对需要采摘对象的抗压力、抗剪力、抗扭力、表面摩擦力以及果梗的抗拉力、抗剪力、抗扭力进行全面的实验。由于目前对于生物材料的理论研究仍缺乏系统性研究,该阶段目前仅能通过设计实验完成。

在力学测试完成后,需要确定机械手操作的部位,即仿形结构的设计。当果梗的强度较低时,应当选择果梗为工作对象,即选择点仿形。当果实较大且颜色鲜艳便于识别时,应当选择果实为工作对象,即选择面仿形。

仿形结构设计完成后,需要对果实的切割方案进行设计。当果梗的强度较高而果实的强度较低时,应当使用刀片切割。当果梗的强度较低而果实的强度较高时,应选用拟人手切割。

切割方案确定后,需要对机械手的结构进行设计,即构型综合。构型综合包括自由度的选取、驱动器和驱动方式选择、传动链的设计,应当依照操作对象的大小和形状具体分析和设计。除此之外,当果实表面易伤时,应当选用软体材料或缓冲材料。

为确定机械手具体的尺寸,需要对其进行尺寸综合。尺寸综合的方法主要是图解法、解析法和实验法。具体要考虑到机械手的工作范围、灵敏性和大小的合适性。

为保证设计的机械手满足力学要求,需要利用末端动力学方法对机械手进行力学综合。主要需要考虑机构的传动角、对目标的作用力和表面的摩擦力等。需要保证既满足工作力需要求,又不能对目标水果造成伤害。力学综合可以采用解析法和实验法。对于形状结构复杂的机械手,单纯使用解析法求解已经不太现实,多采用虚拟样机或实体样机实验求解。

机械手的仿真完成后,需要根据仿真结果和有限元计算结果确定机械手的材料,在保证材料强度的情况下,尽可能减小机械手的重量。

选择材料后,需要进行机械手的样机制作,以进行实际实验。

3.2 驱动方式

目前机械手主流的驱动方式包括单一驱动、复合驱动和欠驱动方式等。其中单一驱动和欠驱动方式在机械手领域应用较多,而复合驱动方式由于其驱动原理复杂,且液压、磁吸等驱动源的特性与采摘机械的要求并不匹配,故很少在果蔬采摘机械手领域应用。

单一驱动主要采用电机为原动件,通过一系列传动链完成驱动。根据电机的多少,又可分为单电机驱动和多电机驱动。单电机驱动方式通常需要设计复杂的传动机构,以满足各个部分的运动需求,但复杂的传动链也增加了末端执行器的体积,影响其灵敏度。为改善传统单一驱动齿轮传动引起的空间占用问题,Xiong等设计了一种线缆驱动的草莓采摘抓手。这种驱动方式仅仅需要一个多转向伺服电机就能够同时控制三根抓手工作,体积小、质量轻、具有足够的灵巧性,对单个的草莓采摘成功率高达96.8%,但实地采摘成功率仅有53.6%。多电机驱动方式通常需要安装多个电机,同时控制多个电机为控制系统的设计带来了挑战,但同时使得机构能够完成更加复杂的运动。由于其控制复杂,且增加末端执行器的重量,这种方案在采摘末端执行器领域很少被采用。

相较于单一驱动方式,欠驱动是一种更加新兴的驱动方式。为提高机构的自适应性,欠驱动机构的传动链的自由度数多于原动机的驱动自由度数,从而使得抓手能够根据果实复杂的表面形状进行一系列调整。为了减少采摘过程中对果实的损伤,Davidson和Mo设计了一种欠驱动末端执行器,并进行了动力学、静力学分析,讨论了其控制方法。Sakai等设计了一种线性二次型(Linear Quadratic Control,LQ)控制的欠驱动物料搬运农业机器人,能够完成西瓜的采摘,且具有很好的鲁棒性。

总而言之,目前采摘机械手相对主流的驱动方式是单一驱动方式。相比于单一驱动方案,欠驱动方式是一种新兴的驱动方式。由于欠驱动的自由度数少于机构的总自由度数,该机构通常具有较强的自适应性,能够应对果实复杂的形状。也正因为这样的特点,欠驱动机械手将成为未来比较有潜力的发展方向。

3.3 切割方案

目前主流的切割方案可以分为刀片切割和拟人手切割两种方式。刀片切割是直接使用刀片切断果梗或母枝,而拟人手切割通常是先对果实进行紧密固定,再通过撕扯、旋扭的方式切断果梗,从而达到采摘的目的。

为解决目前大多数收获机器人切削工具沉重、昂贵的问题,Jia等设计了一种多功能集成夹持器与切割器。该切割器设计有平行的双层结构,内层为剪刀而外层为夹具,能够在切断果梗后夹住果梗,以便果实的装箱入库,可以采摘苹果、葡萄、樱桃、西红柿等多种果实,平均每次采摘需37 s,成功率几乎达到100%,且具有重量轻、成本低的特点。为开发一款高效、精准的甜椒采摘设备,Bachche等设计了一种由单电机驱动、齿轮传动的切割与夹取设备,并进行了有限元仿真,验证了该设备的可靠性。实际制作的样机对于没有叶片的甜椒和带叶片的甜椒能够轻易地完成采摘,对于部分重叠的甜椒和与叶片重叠的甜椒,该设备偶尔会出现采摘失败的情况。

除刀片切割和拟人手切割两种主流的方式外,少数学者还研制了抽吸式的抓取工具。这种工具采用气泵连接管道和末端执行器,由管道中的负压将目标从树上吸下,达到采摘的目的。2017年,为实现山地贡菊的机械化采摘,姬长英等设计了一种梳割气吸一体式贡菊采摘机。该机械利用采摘梳齿与分花齿之间的相对运动,将目标花朵从花托处碰撞拉断,并使用负风压机将花朵运送到集花箱,采摘率能够达到90%左右,漏摘率可控制在5%以内。

总体而言,刀片切割和拟人手切割两种方式各有利弊。刀片切割具有简单、快速、高效的特点。它仅需要对果实进行简单的夹持和固定,便可以对果梗进行切割和分离。相比之下,拟人手采摘机械通常需要对果实进行紧密包裹以保证拉动力、撕扯力或扭断力,而紧密包裹的包裹力通常难以控制,容易对果实造成表面瘀伤或损伤。但刀片切割容易造成植物伤口,为植物染病患病留下隐患,且刀片容易被酸性的果实汁液腐蚀,需要频繁更换,从而增加人力、物力和时间成本。相比于以上两种切割方案,抽吸式方案是一种更加柔和的摘取方式。但是对于果实表面凹凸不平的目标,装置的气密性往往存在问题,使得采摘的负压难以产生。除此之外,负压的大小也是控制的一大难点。目前这种装置仅仅能够应用于花朵一类质量较小的目标,而对于质量较大的果实很难应用。这种弊端也使得抽吸式采摘装置的应用远远不及其他两种切割方案。

3.4 果蔬收集机构

收集机构可以分为缓冲收集机构和入库收集机构。它们的容量差别很大,也具有不同的作用。缓冲收集机构是为提升采摘连续性而设计的,它通常位于末端执行器内部或附近,其容量能够容纳数个果实。2019年,Xiong等在用于草莓采摘的机械手中设计了内置暂存式容器,根据草莓果实的大小,该容器可以容纳7~12个草莓。这种容器的设计使得机械手可以连续采摘数个草莓,待到缓冲容器满后,将缓冲容器内的果实清空至入库收集机构,再重新开始新一轮的采摘。

入库收集机构是为下一步检测做准备的,它的容量和重量通常较大,因此一般位于采摘机器人的底部。例如Davidson等设计了一种风道式归仓收集机构导引果实直接进入收储容器。

3.5 检测与分类机构

为实现已采摘果实的自动化分类,目前主要有基于硬件和基于软件的两种检测方案。基于硬件的检测方案使用机械机构,利用果实的质量、惯性、重心、大小等物理特征,对果实完成筛选工作。而基于软件的检测系统通常基于视觉系统对果实的外观进行判断(将在4.4节中详述)。

Karis等提出了一种基于图像增强、形态学和颜色空间转换的水果分类方法,并对影响算法精度的因素进行了分析。Patil等设计了一种机器视觉的水果分级方法,并将算法部署在Arduino控制器上,其便携性和经济性使得该算法能够很容易地被广大农民所使用。Chithra和Henila[96]提出了一种利用阈值和面积算法对苹果进行分级的方法——全局阈值算法(Global Thresholding Algorithm,GTA),准确率达到96.67%,超过Kapur算法和Otsu算法。2019年,Nasiri等设计了一种基于深度学习的枣类筛选算法,能够达到96.98%的准确率。Dewi等设计了一种果实分拣机器人。该机器人基于果实的颜色和尺寸信息完成果实分拣。可对番茄和葡萄两种果实完成分拣任务,且耗时均在10 s左右。

仅使用机械结构进行分类在其他领域已有所应用(例如医院使用离心机对血液分类,银行使用机械对硬币进行分类),但用于果实分类的较少。这主要是由于果实的形状不规则,且个体之间差异较大,不易使用统一模板完成分类。除此之外,果实的质量较大且容易瘀伤,使用离心技术进行分类也不可行。因此,大量的分级机器仍基于视觉技术完成分类。

4 采摘控制方案

按照机器人的自动化程度,目前已研发出的采摘机器人有半自动采摘机器人(又称为采摘辅助装置)和全自动采摘机器人两种。全自动采摘机器人应当能够自主完成果实识别、果实成熟度判断、果实定位、采摘路径导航、采摘顺序规划、采摘动作执行、果实收集、果实品种筛选、果实自动装箱入库等一系列动作。而半自动采摘机器人(采摘辅助装置)仅能自主完成上述的某一项或某几项任务,其他任务需要工人辅助完成或者人工完成。目前所研发出的采摘机器人大部分是采摘辅助装置。国内外学者在全自动采摘机器人方面虽有所探索,但是由于采摘过程的复杂度过大,全自动采摘机械暂时难以获得非常好的作业效果。

决定采摘机器人自动化程度主要因素是控制系统的设计。为使得采摘机械更加自动化、智能化,国内外学者在如下几个方面做了很多探索。

4.1 总体控制方案

对于一台全自主采摘机器人而言,其控制系统主要由感知信息、认知与响应、产生决策结果三个阶段组成,如图2所示。所感知的信息包括深度/距离信息、位置/定位信息、视觉/多光谱信息、物理/生物信息;认知与响应阶段主要包括环境重建、目标识别定位、作业协调与优化、选择性(变量)作业评估、知识推理、知识图谱构建、控制模型切换;产生决策结果阶段包括产生环境地图、产生目标3D坐标集、产生作业路径和作业参数、产生控制序列、模型库更新和控制策略更新。

图 2 采摘机器人的总体控制框架

Fig. 2 Overall controller framework of the picking robot

为使苹果采摘更简单高效,顾宝兴设计了一种智能移动的苹果采摘机器人。该机器人的控制系统主要由上位机、下位机、传感器系统和软件系统组成。上位机采用研华IPC610-H型工控机,下位机控制器包括机械臂控制器、末端执行器控制器及移动平台控制器,传感器系统主要由双目摄像机、全球定位系统、力传感器和滑觉传感器等组成。该机械能够完成图像采集、视觉定位、路径规划、位姿规划,以及末端控制等功能。

虽然目前主流的控制方案是视觉伺服控制,但是也有学者采用了其他种类的控制方案,例如Xiong等在机械手夹具里设置了三个红外传感器,采集的信息能够为控制系统提供反馈,从而提高采摘的成功率。这种控制方案既能够提高处理速度、避免采摘过程中果实的相互碰撞,也能验证采摘过程的成功与失败。

由此可见,在视觉控制方案的基础上,结合其他控制方法,将有助于提高机器人的感知能力,也将提升机器人的环境自适应能力和控制系统的鲁棒性。

4.2 识别定位方法

4.2.1 基于特征提取的方法

为提高工作效率以及为采摘机械提供作业目标的位置信息,需要对果实进行识别和定位。果实的识别指的是判断所采集的图像中是否存在果实,传统的方法是通过判断目标图像是否能够分割出果实区域而实现这一目标的。果实的定位指的是获取果实的位置信息,一般用包围盒(Bounding Box)或果实的质心等特征作为定位结果输出。目前,国内外的各位学者主要利用果实独特的颜色(颜色阈值分割)和外形特征(形态学检测)完成果实的识别和定位任务。

在果实颜色与其他部分差别明显时,颜色分割法通常能够对果实区域完成分割,并得到果实的边界轮廓。利用这个边界轮廓,便很容易得到Bounding Box并完成果实的定位。但是颜色阈值分割法仅对果实颜色特征进行了提取而缺少对果实形状特征的描述,因此该方法针对相互重叠遮挡的多个果实通常提取效果比较一般。

声明:本站部分文章内容及图片转载于互联 、内容不代表本站观点,如有内容涉及版权,请您尽早时间联系jinwei@zod.com.cn

相关推荐