『与非网』基于颜色先验知识和深度学习的草莓机器手识别算法

早期的草莓采摘机械一般将果实和茎叶一起收获，然后再由人工将果实和茎叶进行分离。
1996 年，日本率先发明了利用机器视觉识别采摘果实的机器手。基于机器视觉技术的机器手采摘草莓的作业流程一般是，先寻找成熟的草莓，在不破坏果实的前提下将其与枝桠分离，然后放到托盘中。实现这一流程的自动化需要以下几个步骤：（1）根据草莓的成熟度判断是否可以采摘；（2）确定待采摘草莓的位置；（3）切断草莓的果梗，并接住草莓；（4）将草莓放置在盘中。这 4 步中的前两步属于定位步骤，在整个机器手的设计中具有重要地位。因此，如何设计精准的定位算法是草莓机器手设计的关键。目前主流的定位算法大多基于机器视觉技术。
由于要求机器手能分辨草莓的成熟度，因此传统基于机器视觉的定位算法通过判断草莓的颜色来进行识别，但单纯根据颜色进行判断可能会误将某些颜色相近的其他果实作为识别目标，比如小番茄等，因此又出现了基于纹理特征进行识别的支持向量机（SVM）分类算法。但基于 SVM 的分类算法需要预先设计特征向量，人工设计的特征向量难以准确描述草莓的外观纹理特征，因此误识率很高。
本文研究开发一款实用的采摘草莓机器手，提出了一种结合颜色先验知识和深度学习的识别算法，可以精确地识别草莓。由于草莓的成熟度可以通过颜色进行预分类，为此先将机器手获取的图片转换至 HSV 空间，并对 H 通道进行分割。分割后的候选目标区域有多个，为了得到最精确的定位目标，将多个候选区域输入预训练的深度卷积网络（CNN）进行识别，将识别精度最高的候选目标作为最终的定位结果输出。在对 CNN 进行训练时，选择的正样本包括各种形态的成熟草莓，为了避免机器手采摘不完整的候选目标，在负样本中放入大量的草莓局部图片。实验证实，本文基于颜色先验知识的算法可以得到准确的定位结果。
1 、草莓机器手的结构设计
机器手本体主要由 3 条机器臂和 1 根装有电缆的软管组成，如图 1 所示。两条机械臂在同一平面，负责机器手在水平面直线伸缩动作，另一根机械臂在垂直面扫描运动。为了简化控制和识别，采用三机械臂系统，把柱坐标转化成直角坐标，便于准确定位。夹取部分由机器手组成，夹住草莓果实果柄部分，采摘时，机械手伸出摘下。机械手动力由舵机控制提供。行走系统设计成四轮小车，设计了减震系统，提高机器手稳定性和越野性。机器手智能识别算法是研究的关键，在基于颜色先验知识进行预分割的基础上，采用深度学习辅助草莓机器手进行目标定位，可以有效精确地识别草莓，确保机器手准确采摘。

本文插图
2 、基于颜色先验知识的草莓候选目标分割
本文先基于 HSV 颜色模型对草莓图像进行分割，以得到草莓的候选区域，机器手获取的图像颜色空间为 RGB ，因此先通过式（1）转换为 HSV 空间。

本文插图
草莓机器手需要根据草莓颜色确定草莓的成熟度，根据统计［2］，成熟草莓颜色值 h 位于［0 ， 5］和［150 ， 220］之间，因此根据式（2）对图像进行阈值分割得到二值化图像。
基于 h 通道进行二值化后，相邻的候选区域有一定的粘连，再通过形态运算处理得到最终的候选区域结果［5］，如图 2 所示。
图 2（e）通过对图 2（d）二值化区域取最大外接矩形得到，从图 2（e）可见，由于采用了形态滤波，即使草莓部分被茎叶遮挡，也可以得到完整草莓候选区域。
3 、基于深度卷积网络的目标识别定位