一种显微多光谱成像的食用菌菌种表型参数采集装置及方法

本发明涉及食用菌育种领域，提出一种显微多光谱成像的食用菌菌种表型参数采集装置及方法，具有优化采集区域选择、采集装置自动对焦、三维的大区域显微多光谱图像拼接重构，并结合深度学习实现不同质量等级菌种自主分类，达到低成本、高精化、自动化的食用菌育种目标。

背景技术：

1、食用菌菌种表型参数采集装置及方法能够智能、高效、准确地采集，是食用菌菌种表型领域不断发展、持续进步的关键技术因素和重要研究内容。实现大区域显微多光谱成像，不仅保证高精细度的大视场，还可以获得丰富表型参数解决变质菌种群体不占优势时，有效表型特征不容易被采集的难题。

2、食用菌菌种退化是众多食用菌育种中共同存在的严重问题，实际生产中，一些优良的食用菌品种往往用不了几代就出现菌种退化现象，一旦使用退化菌种进行栽培，往往导致出菇晚、产量低、品质差，给食用菌生产者带来重大的经济损失。因此，不同菌种质量等级的准确鉴别是关乎栽培是否成功的关键环节。

3、为解决上述问题，本发明提出一种显微多光谱成像的食用菌菌种表型参数采集装置及方法，涉及食用菌育种领域，实现食用菌自动化智能化育种。在显微多光谱成像的食用菌菌种表型参数采集装置中，箱体内的上层设置有单色面阵ccd相机，通过显微镜模块采集电动xyz移动平台上放置的食用菌菌种样本，在不同波长的采集环境中拍摄一系列单波长二维图像并在计算机中合成三维的显微多光谱图像，按照采集方法步骤可实现优化采集区域选择、采集装置自动对焦、三维的大区域多光谱图像拼接重构和不同质量等级菌种自主分类，完成低成本、高效准确、自动智能的食用菌育种目标。

技术实现思路

1、发明目的：为了克服现有技术中存在的不足，本发明提供一种显微多光谱成像的食用菌菌种表型参数采集装置及方法，

2、技术方案：为实现上述目的，本发明采用的技术方案为：

3、本技术的第一个目的是，提供一种显微多光谱成像的食用菌菌种表型参数采集装置，该装置包括箱体，所述箱体分为上层和下层，由隔板从中间分开；

4、所述箱体下层为暗室，暗室各个面均作不透光涂黑处理，避免外界光源干扰；所述暗室的底部设置有电动xyz移动平台，用于放置食用菌菌种样本；所述暗室的后侧和两侧面分别在水平方向设置有条型led光源，所述条型led光源朝向食用菌菌种样本，用于提供不同波长的光波；所述暗室的顶部设有显微镜模块，位于所述显微镜模块下面的物镜镜头朝向食用菌菌种样本；

5、所述箱体的上层顶部设置有单色面阵ccd相机，其相机镜头朝向所述显微镜模块；当条型led光源提供不同光波时，所述单色面阵ccd相机通过显微镜模块依次拍摄多张食用菌菌种样本的单波长二维显微图像。

6、本技术中，单色面阵ccd相机能够获得140万像素高分辨率显微多光谱图像；电动xyz移动平台为高精度三轴移动平台，最大负载为3kg，食用菌菌种样本在三维空间的移动精度为0.1um，满足不同食用菌菌种微观表型参数的采集需求。

7、具体地，在本发明的一种实施方式中，所述单色面阵ccd相机设置在箱体的上层的顶部。

8、具体地，在本发明的一种实施方式中，所述单波长二维图像用于采集所述食用菌菌种样本的微观表型参数，所述微观表型参数包括孢子结构、菌丝结构分布的微观表型参数。

9、更具体地，在本发明的一种实施方式中，所述微观表型参数具体的包括孢子大小、菌丝粗细、菌丝密度，即为孢子结构大小、菌丝结构粗细、菌丝密度大小的微观表型参数。

10、具体地，在本发明的一种实施方式中，所述显微镜模块可拆卸，便于更换不同倍数物镜。

11、更具体地，在本发明的一种实施方式中，所述显微镜模块可拆卸具体包括，在所述暗室的顶部设有导轨和滑块，显微镜模块固定在所述滑块上，由滑块带动沿所述导轨滑动进行安装。

12、具体地，在本发明的一种实施方式中，所述条型led光源倾斜45°朝向所述食用菌菌种样本；所述条型led光源的光源波长为460nm～1050nm。

13、更具体地，在本发明的一种实施方式中，根据不同食用菌菌种微观表型参数的感兴趣特征波段，条形led光源可提供不同的波长选择，分别为460nm、520nm、550nm、650nm、690nm、710nm、730nm、750nm、900nm、960nm、990nm和1050nm。

14、具体地，在本发明的一种实施方式中，还包括位于箱体外的计算机，所述计算机与所述单色面阵ccd相机信号连接，所述单色面阵ccd相机拍摄多张单波长二维显微图像后输出至计算机合成一张显微多光谱图像。

15、具体地，在本发明的一种实施方式中，所述箱体内设置有开发板，所述开发板的输入端与箱体外的计算机信号连接，所述开发板的输出端分别与箱体内的电动xyz移动平台、条型led光源信号连接，所述计算机输出控制信号至移动平台、条型led光源，调整移动平台的位置及条型led光源的光源波长。

16、具体地，在本发明的一种实施方式中，所述开发板包括arduino、jetson nano、jetson tx2等其中任意一种。关于开发板与计算机的连接，其中开发板采用市售的现有产品均可，在本技术中不受限制，其信号连接方式也是通用技术，在本技术中不再赘述。

17、本技术的第二个目的是，提供一种显微多光谱成像的食用菌菌种表型参数采集方法，使用如以上任一所示的装置，此申请仅以该装置的其中一种可能的应用方法作为示例说明，具体不对本发明的保护范围构成限制，该方法包括以下步骤：

18、s1、拍摄多张单波长二维图像合成三维的显微多光谱图像，判断出显微多光谱图像的空白像素点比例，优化采集区域的选择；

19、s2、搜索最佳成像位置实现自动对焦；

20、s3、分别拼接显微多光谱图像的图像层和数据层并融合二者，实现大区域显微多光谱图像拼接重构；

21、s4、提取大区域显微多光谱图像特征，基于孢子结构、菌丝结构分布和平均光谱反射率曲线，实现不同质量等级菌种的自主分类。

22、具体地，在本发明的一种实施方式中，步骤s1中，拍摄前，针对孢子结构、菌丝结构分布的微观表型参数采集要求，暗室的后侧和两侧面分别安装条型led光源，设置不同波长led光源顺序点亮的采集环境，并依次拍摄多张单波长二维图像合成三维的多光谱图像。led光源在开发板的信号控制下，不同波长的采集环境自动可调，提供丰富的采集环境。其中针对孢子结构、菌丝结构分布的微观表型参数采集要求设置不同波长led光源顺序点亮的采集环境，波长的选择由食用菌菌种感兴趣的特征波段决定；

23、具体地，在本发明的一种实施方式中，步骤s1中，所述判断空白像素点比例包括，采用空白图像评价方法，迭代比较出最优空白显微图像，并判断出有组织显微图像的空白像素点比例。

24、更具体地，在本发明的一种实施方式中，所述判断空白像素点比例的具体方法包括，根据图像亮度的评价方法对多副空白显微图像进行迭代比较，获得最优计算空白区域的显微图像，采集同一波长下的有组织显微图像，计算此两幅显微图像的比值图像均值并作为阈值，判断出有组织显微图像的空白像素点比例，优化采集区域地选择。

25、进一步地，比值图像计算公式为

26、ir＝i1,n/ib,n                     (1)

27、其中，ir为比值图像，i1,n为采集的灰度图像，ib,n为空白的灰度图像。

28、具体地，在本发明的一种实施方式中，步骤s2中，采用八领域灰度梯度累加图像清晰度评判方法以及爬山搜索配合二次曲线拟合的峰值搜索方法进行最佳成像位置自动对焦。

29、更具体地，在本发明的一种实施方式中，所述最佳成像位置自动对焦的方法包括：在粗对焦中采用初始自定位方法及爬山搜索方法，基于食用菌菌种样本的位置信息实现局部最优成像位置搜索；其次，在精对焦中采用固定点数的二次曲线模拟，搜索过程中将焦平面模拟成二次曲线最大值精确计算出最佳成像位置。采集装置通过搭载开发板获取电动xyz移动平台位置信息，并每次将获取的显微图像传输到计算机，采用改进的图像清晰度评价方法，八领域灰度梯度累加图像清晰度评价方法，高效地评价图像清晰度。

30、进一步地，粗对焦过程中，采用一种基于初始状态的爬山搜索方法，开发板获取电动xyz移动平台上食用菌菌种样本的位置信息，基于位置信息为初始状态为爬山搜索提供一个较好的初始方向和搜索步长；电动xyz移动平台在z轴方向上使用爬山搜索方法，遇到更优聚焦值时，记下坐标并继续爬坡，否则判定已过坡峰位置，反方向以较小步长爬坡一次，反复来回确定坡峰位置。

31、更进一步地，更优聚焦值判定公式为：

32、δf≥α|δg|                         (2)

33、其中，δf为图像清晰度相对变化值，δg为图像的灰度相对变化值，α为缩放因子，用来调整两者关系。

34、进一步地，精对焦过程中，根据固定点数的二次曲线模拟方法，电动xyz移动平台在z轴上以固定步长移动，并记录出一组图像清晰度评价值及其坐标位置，使用二次曲线来拟合这组数据，求出最大清晰度评价值的坐标位置即为最佳成像位置。

35、更进一步地，二次曲线公式为：

36、y＝ax2+bx+c                    (3)

37、其中为曲线的最大值处，即为最佳成像位置，x为坐标位置，y为图像清晰度评价值。

38、进一步地，在图像清晰度评价过程中，针对食用菌菌种样本具有一定厚度且菌丝边缘较细的特点，使用八领域灰度梯度累加图像清晰度评价方法，增大边缘像素点对整体清晰度的贡献值，突出聚焦图像峰值。

39、更进一步地，八邻域灰度梯度累加图像清晰评价方法的整体表达式为：

40、f(d)＝∑x,y∈dtmax(x,y)*[tmax(x,y)-tmin(x,y)]     (4)

41、其中，tmax(x,y)为最大梯度；tmin(x,y)为最小梯度；f(d)为清晰度。

42、梯度计算公式为：

43、t＝|i(x,y)-i(x-1,y-1)|                  (5)

44、其中，i(x,y)为灰度值。

45、具体地，在本发明的一种实施方式中，步骤s3中，根据线性的图像合成策略，电动xyz移动平台在开发板控制下按s形路径步进，每个位置采集一系列单波长显微图像并传输到计算机进行三维的显微多光谱图像合成，再简洁地拼接显微多光谱图像层，如图4所示。

46、更具体地，在本发明的一种实施方式中，步骤s3中，采用加速稳健特征函数图像特征提取方法以及k最邻近方法配合随机抽样一致性算法实现大区域显微多光谱图像的图像层拼接。

47、更具体地，采用加速稳健特征函数图像特征提取方法，针对大区域显微多光谱图像层拼接过程中，两幅显微多光谱图像具有一定的重叠部分与相同的背景光源影响，引入k最邻近方法配合随机抽样一致性算法，对两副显微多光谱图像进行图像层拼接，如图5。

48、更具体地，在本发明的一种实施方式中，所述实现大区域显微多光谱图像的图像层拼接的方法包括：图像合成策略采用线性的合成方法，电动xyz移动平台在xy平面按s形移动路径步进，每个位置采集一系列单波长显微图像并传输到计算机进行三维的显微多光谱图像合成，再简洁地拼接显微多光谱图像层。图像匹配算法采用加速稳健特征函数引入k最邻近方法配合随机抽样一致性算法，在一种高鲁棒性的局部特征点检测与表述方法下进行特征点对的生成与筛选，实现高质量大区域显微多光谱图像层拼接。

49、具体地，在本发明的一种实施方式中，步骤s3中，采用加权和法实现大区域显微多光谱图像的数据层拼接。

50、更具体地，在本发明的一种实施方式中，所述实现大区域显微多光谱图像的数据层拼接的方法包括：显微多光谱数据层拼接过程中，将已完成图像层拼接的大区域显微图像放置到坐标系中，采用加权和法精确地计算各个波长中光谱数据拼接值，实现大区域显微多光谱数据层拼接。

51、更具体地，加权和法的计算公式为：

52、

53、其中，v为拼接后的光谱数据值，q1和q2分别为待拼接的光谱数据值，r1和r2分别为v与q1和q2之间的距离。

54、具体地，在本发明的一种实施方式中，步骤s3中，采用bil储存方法融合二维图像层和一维数据层，实现三维的大区域显微多光谱图像拼接重构。

55、更具体地，在本发明的一种实施方式中，所述实现三维的大区域显微多光谱图像拼接重构的方法包括：将已拼接好的各个波长光谱数据按照bil储存方法写入dat二进制文件中，得到与大区域显微图像相匹配的显微多光谱数据，将大区域显微多光谱的二维图像和一维数据融合，实现三维的大区域显微多光谱图像拼接重构，如图6。

56、具体地，在本发明的一种实施方式中，步骤s4中，通过卷积神经网络的深度残差网络提取大区域显微多光谱图像特征，基于孢子结构、菌丝结构分布和平均光谱反射率曲线，采用支持向量机实现不同质量等级菌种的自主分类，分类标准为孢子结构大小、菌丝粗细、菌丝密度及平均光谱反射率曲线高低。。

57、具体地，通过卷积神经网络的深度残差网络提取大区域显微多光谱图像特征，基于孢子结构、菌丝结构分布和平均光谱反射率曲线，采用支持向量机实现不同质量等级菌种的自主分类。

58、具体地，深度残差网络采用特征向量的数学方法对矩阵进行特征提取，具体公式为：

59、hk＝f(wk*x+bk)                    (7)

60、其中，偏差bk和权值wk为共享参数，hk为卷积计算后生成的特征映射。

61、具体地，采集装置采用分级控制方法提高运动精度，首先，计算机对开发板输出控制程序，其次，开发板对电动xyz移动平台、条形led光源输出控制信号，再次，电动xyz移动平台的伺服驱动器接收开发板的控制信号，并对步进电机传输运动指令，最后，编码器对步进电机运动状态进行转化反馈到伺服驱动器实现闭环运动控制，如图7。

62、有益效果：本发明提供的一种显微多光谱成像的食用菌菌种表型参数采集装置及方法，至少具有以下优势：

63、(1)成本便宜和适用广泛

64、本发明采用单色面阵ccd相机通过显微镜模块采集食用菌菌种样本的微观表型，针对孢子结构、菌丝结构分布的微观表型参数采集要求，条型led光源可提供不同波长的采集环境，降低了食用菌菌种表型平台的制造费用，适用不同品种的食用菌育种工作；

65、(2)大区域图像拼接重构

66、本发明根据线性图像合成策略，采用加速稳健特征函数以及k最邻近方法配合随机抽样一致性算法进行大区域显微多光谱图像的图像层拼接；采用加权和法进行大区域显微多光谱图像的数据层拼接；最后采用bil储存方法融合二维图像层和一维数据层，实现三维的大区域显微多光谱图像拼接重构；解决变质菌种群体不占优势时，有效微观表型特征容易不被采集的问题；

67、(3)自动化和智能化

68、本发明采用移动精度为0.1um的电动xyz移动平台，采用八领域灰度梯度累加图像清晰度评判方法以及爬山搜索配合二次曲线拟合的峰值搜索方法进行最佳成像位置自动对焦；在企业大生产中有利于提高工作效率和减少工人培训成本；通过深度学习实现不同质量等级的食用菌菌种自主分类，避免因为退化的食用菌菌种给生产者带来重大的经济损失。