专利名称：滤波片光谱图像技术识别自然场景成熟柑橘的装置及方法
技术领域：
本发明涉及一种自然场景下柑橘和树枝的识别装置及其方法，特指基于滤波片光谱图像技术识别自然场景下柑橘和树枝的装置及其方法。
背景技术：
手摘、刀剪、竿捅等目前传统的水果采摘方法，容易造成水果不同程度的损伤，导致在储存与销售期间出现腐烂。另外传统的水果采摘是一项强度大、耗时长的劳动。因此开发具
备自然场景下可靠作业的智能机器人来代替人工采摘具有十分重要的意义。水果采摘机器人的正常工作均依赖于对果实的正确识别。因而要实现水果采摘机器人对水果的收获，关键是要在复杂的自然场景下识别出水果。但果树形态各异、参差不齐，许多果实位于树枝后面或两个树枝间，而且果树的树枝较粗大，若机械手与这些树枝相碰撞势必会损坏机械手，欲使机械手能够釆摘到这些果实，必须避开树枝，因此同样也要识别出树枝等障碍物以便为机械手的运动提供参数，完成水果的采摘。
经检索，未见自然场景下果实识别的相关专利，仅检索到在结构环境下的机器人工业应用领域对象物识别的相关发明，如"具有彩色图像识别能力的工业机器人的装置及方法，专利号200410093502.X"，"图像识别设备、方法和机器人设备，申请号200710138345.3"等。上述发明主要是满足在结构性的工业环境下机器人的作业需求，环境简单、稳定，不受光照等因素干扰，因此只需通过对象图像和数据库中的模型图像进行匹配，即可达到检测对象的目的。而在非结构性的自然环境下，由于果实大小和生长空间的差异，不可能有一个确定的模型图像与对象图像实现匹配，而且光照方向和强度的可变性，背景的复杂性等因素的影响势必也会给识别造成困难。针对非结构性的复杂自然环境，必须寻求一种区别工业领域的，识别精度高、鲁棒性强的新方法。果实、树叶、树枝及杂草等其它背景物质的内部有机成分不同，它们的光谱特性也不相同，在不同波段下的对光的吸收值也存在差异。因此光谱图像技术可以集图像信息和光谱信息于一身，可以分析对象图像的光谱信息，从组成成分等内部特性出发，达到有效识别果实和树枝的目的。
发明内容
本发明的目的是针对水果采摘机器人，设计了一种基于滤波片光谱图像技术的果实及其
3树枝的识别方法，为机械手的运动提供参数。
本发明的目的是通过以下方法实现的基于滤波片光谱图像技术识别自然场景下成熟柑
橘的装置:主要由CCD相机、云台、滤波片、相机三脚架、挡板、转盘及计算机组成；其特征在于CCD相机能够感应近红外信号，云台安装在相机三脚架上，挡板带有圆孔且垂直固定在相机三脚架的云台上；在挡板的一侧，安放CCD相机，并将其镜头嵌入挡板的圆孔；在挡板的另一侧，将转盘固定在挡板上，转盘带有五个圆孔并可以自由转动，并在此转盘的圆孔中分别安置滤波片。
基于滤波片光谱图像技术识别自然场景下成熟柑橘的方法首先通过上述基于滤波片光谱图像技术识别自然场景下成熟柑橘的装置，采集到不同波段同一场景下的滤波图像；并将数据传输到计算机中，构建三维立体数据块，接着对此数据块进行预处理；最后对预处理后的数据提取果实和树枝的特征数据，即可达到识别自然场景下成熟柑橘的目的。
所述的图像数据的采集首先调整相机的参数(曝光时间，光圈大小等)，保证能够采集到清晰的图像；通过转盘的转动，当转盘上滤波片外侧的刻度与挡板上圆孔下方的刻度相对齐重合时，即表示相机的镜头，挡板的圆孔和转盘上的滤波片三者完全成一线，就可以进行图像采集。这样既可以保证相机的稳定，也可以保证相机镜头与滤波片之间严密不漏光。通过转盘的转动，就可以采集到同一场景下不同波长下的滤波图像。
所述的原始数据的预处理由采集到的滤波图像即可构建三维数据块，在此数据块中，每一像元在不同的波段图像下都有一个灰度值，连接这些灰度值，就组成了一条光谱曲线，即每一像元都对应于一条光谱曲线。由于光信号经由滤波片过滤，CCD相机暗噪音的存在等因素的影响，由滤波图像构建的三维数据块势必会存在相当的噪声，因此有必要进行预处理，以去除噪声。最小噪声分离法可以有效地去除噪声信号，提取有价值信息，而且也可以扩大柑橘、树枝、树叶及背景物质间的光谱差异，因此首先对原始数据进行最小噪声分离处理。
所述特征数据的提取应用光谱角分类对预处理后的数据进行特征提取；光谱角分类法是一种光谱的匹配技术，这种技术基于估计待测光谱与参照光谱相似性来区分各像元点的光谱曲线；上述方法需提供柑橘和树枝的参照光谱；在表面光洁，具代表性的柑橘和树枝的样本图像上选取感兴趣区域(ROI)，并计算ROI中所包含像元的光谱平均值，即得柑橘和树枝的参照光谱。光谱角分类法正是通过比较每一像元的待测光谱与参照光谱间的差异来提取柑橘和树枝的特征的。本发明与传统技术相比的优点
(1) 获取信息全。光谱图像技术既可以获取对象的波段图像信息，同时也可以获取对象的光谱信息。
(2) 分析方法独特新颖。传统的识别方法主要是采用基于局部灰度、颜色特征和形状特征的技术，而且一般局限于可见光和二维图像信息范畴上进行图像分析，挖掘不到更多信息。光谱图像技术则可以从三维信息出发，利用光谱角分类法这种独特新颖方法分析光谱信息，挖掘更多能够有效地识别柑橘和树枝的信息。
(3) 识别精度高。光谱图像技术是根据果实、树枝、树叶及其它背景物质的光谱特性的不同，从对象的内部特性来分析提取对象的特征，可以有效的克服光照不均匀、复杂背景等影响，识别精度高。
(4) 鲁棒性强。机器人是在复杂的自然环境下进行采摘作业的，因此光照强度和方向的可变性、复杂背景的不确定性等因素都会导致传统识别方法的弱鲁棒性。而光谱图像技术是以光谱曲线为出发点，与图像的强度不相关，同时能够反应对象的内部特性，因此可以克服光照和复杂背景的影响，鲁棒性强。
本发明的有益效果是
利用滤光片光谱图像技术可以为分析复杂自然场景下的果树图像时，提供了一种新型的识别技术，开拓了一种新领域的分析手段，打破了传统方法仅在二维层面上分析图像的局限性。此技术结合作业对象的内部特性和外部特征，并利用光谱角分类法，从采集得到的三维数据块中挖掘出更多有价值信息，提高了识别精度，并且针对不同的自然环境具有很好的鲁棒性，为开发具有识别能力、视觉功能、作业轻软柔和化、恶劣条件下作业可靠稳定的智能化水果收获机器人打下基础，也为推广水果采摘机器人的实用化提供可能。
图l:发明应用实例实现装置示意图。
其中，1、 CCD相机；2、云台；3、挡板；4、转盘；5、滤波片；6、挡板上的刻度线；7、转盘上的刻度线；8、相机三脚架；9、果树；10、计算机。
图2:本发明方法的流程图
具体实施例方式
本发明以光谱角分类算法提取对象特征为例，介绍本发明具体的实施方式。
发明应用实例实现硬件示意图参阅图1，本发明的流程图参阅图2。实例选用的相机为对近红外区域具有良好感应效果的CCD相机。首先将挡板3垂直固定在三脚架云台2上，并将CCD相机1安置在挡板3的一侧，将其镜头对准挡板3的圆孔，防止漏光；然后将五个滤波片5分别嵌入到转盘4的圆孔，并在此转盘固定在挡板3的另一侧，保证避免漏光，同时转盘4可以自由转动；当转盘4上滤波片5外侧的红色刻度线7与挡板3上的红色刻度线6相对齐重合时，即表明相机l的镜头、挡板3的圆孔和滤波片5三者成一线，此时即可采集图像了。
首先调整相机的曝光时间，光圈大小等参数，使相机能够采集到清晰的图像，通过转动转盘4，采集同一场景下不同波段的五幅柑橘果树的滤波图像；采集得到的数据输入到计算机后，构建三维数据块；接着运用最小噪声分离法对原始数据进行预处理，以去除噪声，并扩大柑橘、树枝、树叶和背景物质间的光谱差异；然后分别在表面光洁、色彩饱和的柑橘和树枝上选取感兴趣区域(ROI),并计算该区域内所有像元的平均光谱，构成柑橘和树枝的参照光谱；最后利用光谱角分类算法对预处理后的数据进行柑橘和树枝的特征提取。
如图2所示，提取柑橘和树枝特征的具体方法分为两个阶段"模型建立"(图2左边的虚线框)与"模型匹配"(图2右边的虚线框)。"模型建立"是对训练图像进行训练的过程，即确定用于光谱角分类的柑橘和树枝的参照光谱和光谱角阈值的过程。"模型匹配"是对待测图像进行匹配识别的过程，即提取柑橘和树枝的特征的过程。
"模型建立"的具体步骤如下
(1) 采集滤波图像首先调整相机的曝光时间，光圈大小等参数，使相机能够采集到清晰的图像，通过转动转盘4，釆集同一场景下不同波段的五幅柑橘果树的
滤波图像。
(2) 构建三维数据块采集得到的数据输入到计算机后，构建三维数据块。三维数据块中，含有不同波段的图像信息，同时也包含各个像元的光谱信息。
(3) 数据预处理运用最小噪声分离法对原始数据进行预处理，以去除噪声，并扩大柑橘、树枝、树叶和背景物质间的光谱差异。(4) 选取坩橘和树枝的ROI:感兴趣区域(ROI)所包含的柑橘或树枝的性质是否单一，即所选取的ROI是否只含有柑橘和树枝中的一种，是否具有柑橘或树枝的代表性，这直接影响到最后特征提取的结果。因此，要在表面光洁、色彩饱和的柑橘或树枝上选取ROI。
(5) 计算柑橘树枝的参照光谱计算按步骤(4)要求选取的ROI内的所有像元的平均光谱，构成柑橘和树枝的参照光谱。
(6) 提取各个像元的待测光谱提取三维数据块中各个像元的待测光谱。所谓待测光谱即为像元在各个波段下所对应的亮度值(灰度值)组成的光谱曲线。
(7) 进行光谱角分类运用光谱角分类算法计算柑橘和树枝的参照光谱与各像元光
谱曲线之间的光谱广义夹角，得到柑橘和树枝的角度图像。
(8) 确定柑橘和树枝的光谱角阈值对由步骤(7)得到的角度图像进行反复尝试表明，当光谱角弧度阈值在
区间内时，柑橘的识别效果理想，当光谱角弧度阈值取0.2时，识别效果最佳，因此确定其为柑橘的光谱角阈值；当光谱角弧度阈值在
区间内时，树枝的识别效果理想，当光谱角弧度阈值取0.12时，树枝识别效果最佳，因此确定其为柑橘的光谱角阈值。
因此，通过上述"模型建立"的8个步骤得到了用于"模型匹配"的柑橘和树枝的参照光谱和光谱角阈值。
与"模型建立" 一样，"模型匹配"阶段首先也要采集滤波图像、构建三维数据块、进行数据预处理和提取各个像元的待测光谱，其方法都与"模型建立"的方法相同；然后利用光谱角分类算法结合"模型建立"中确定的柑橘和树枝的参照光谱和光谱角阈值，即可提取不同场景下对象图像的柑橘和树枝的特征。
权利要求
1、基于滤波片光谱图像技术识别自然场景下成熟柑橘的装置主要由CCD相机(1)、云台(2)、滤波片(5)、相机三脚架(8)、挡板(3)、转盘(4)及计算机(10)组成；其特征在于CCD相机(1)能够感应近红外信号，云台(2)安装在相机三脚架(8)上，挡板(3)带有圆孔且垂直固定在相机三脚架(8)的云台(2)上；在挡板(3)的一侧，安放CCD相机(1)，并将其镜头嵌入挡板(3)的圆孔；在挡板(3)的另一侧，将转盘(4)固定在挡板上(3)，转盘(4)带有圆孔并可以自由转动，并在此转盘(4)的圆孔中分别安置滤波片(5)。
2、 根据权利要求1所述的基于滤波片光谱图像技术识别自然场景下成熟柑橘的装置，其 特征在于滤波片(5)为可见光和近红外的滤波片，其特征波长分别为440nm、 550nm、 658nm、 790證和850nm。
3、 基于滤波片光谱图像技术识别自然场景下成熟柑橘的方法，其特征在于计算机(IO) 首先采集到不同波段同一场景下的滤波图像；并将数据传输到计算机(10)中，构建三维立 体数据块，接着对此数据块进行预处理；最后从预处理后的数据块提取果实和树枝的特征数 据，即可识别自然场景下成熟柑橘。
4、 根据权利要求3所述的基于滤波片光谱图像技术识别自然场景下成熟柑橘的方法，其 特征在于所述的图像数据的采集首先调整CCD相机(1)的曝光时间、光圈大小参数，保 证能够采集到清晰的图像；通过转盘(4)的转动，当转盘(4)上滤波片(5)外侧的刻度与 挡板(3)上圆孔下方的刻度相对齐重合时，即表示CCD相机(1)的镜头，挡板(3)的圆 孔和转盘(4)上的滤波片(5)三者完全成一线，就可以进行图像采集；通过转盘(4)的转 动，就可以采集到同一场景下不同波长下的滤波图像。
5、 根据权利要求3所述的基于滤波片光谱图像技术识别自然场景下成熟柑橘的方法，其 特征在于所述的原始数据的预处理由采集到的滤波图像构建三维数据块，在此数据块中， 每一像元在不同的波段图像下都有一个灰度值，连接这些灰度值，就组成了一条光谱曲线， 即每一像元都对应于一条光谱曲线；应用最小噪声分离法对原始数据进行最小噪声分离处理。
6、 根据权利要求3所述的基于滤波片光谱图像技术识别自然场景下成熟柑橘的方法，其 特征在于所述的特征数据的提取应用光谱角分类法对预处理后的数据进行特征提取；先在表面光洁，具代表性的柑橘和树枝的样本图像上选取感兴趣区域即ROI,并计算ROI中所包 含像元的光谱平均值，即得柑橘和树枝的参照光谱；再采用光谱角分类法通过比较每一像元 的待测光谱与参照光谱间的差异来提取柑橘和树枝的特征数据。
全文摘要
基于滤波片光谱图像技术识别自然场景下成熟柑橘的装置及方法，涉及自然场景下柑橘和树枝的识别装置及其方法。由CCD相机(1)、云台(2)、滤波片(5)、相机三脚架(8)、挡板(3)、转盘(4)及计算机(10)组成；其中CCD相机(1)能感应近红外信号，云台(2)安装在相机三脚架(8)上，挡板(3)有圆孔且垂直固定在相机三脚架(8)的云台(2)上；挡板(3)的一侧，安放CCD相机(1)，并将其镜头嵌入挡板(3)的圆孔；在挡板(3)的另一侧，将转盘(4)固定在挡板上(3)，转盘(4)带有圆孔并可以自由转动，并在此转盘(4)的圆孔中分别安置滤波片(5)。本发明为开发智能化水果收获机器人和水果采摘机器人的推广打下基础。
文档编号G06K9/00GK101673344SQ20091023291
公开日2010年3月17日 申请日期2009年10月9日 优先权日2009年10月9日
发明者蔡健荣, 赵杰文, 邹小波, 陈全胜, 黄星奕 申请人:江苏大学