一种基于图像处理技术的姬松茸子实体生长参数检测方法与流程

本发明涉及一种姬松茸子实体生长参数的检测方法，具体涉及一种基基于图像处理技术的姬松茸子实体生长参数检测方法，属于农业物联网技术领域。

背景技术：

姬松茸子实体口感脆嫩，富含核酸、甾醇和多糖等物质，具有很强的食用和保健、药用价值。但它天性娇贵，每年只有春、秋两个生产季节且对生长环境要求苛刻，成活率较低。故，其在我国适合于室内进行培养。

目前的设施栽培生产过程中，姬松茸子实体的生长状态监测和环境参数配置大多是由人工凭经验实现的。人工的过多介入不但会对菌株造成损伤、影响车间环境的稳定性，还会增加种植成本，不利于大规模的工厂化生产。同时，经验的摸索和积累因人而异，不同区域条件下对子实体生长环境参数的最佳调控策略是不同的，或者同区域条件下、不同的子实体生长时期中，不同的环境因素对子实体的生长作用也是不同的。

图像处理技术的发展使得其可以应用于食用菌生产过程中的不同环节上。2012年1月11日公开的中国发明专利申请201010217479.6公开了一种微生物菌丝生长状况定量获取方法，利用地理信息系统(gis)的图像识别和空间数据分析功能，构建了一种微生物菌丝生长状况定量获取方法，包括图像获取、图像处理(图像转换、图像分析、像元识别、像元计算)、菌丝量计算等过程，可在不破坏菌丝生长的情况下动态、定量化监测菌丝生长，为微生物或食用菌栽培科学研究提供数据获取方法。其公开的技术方案中，是利用其在培养室内进行菌丝量计算。

2013年6月26日公开的中国发明专利申请201310119961.x公开了一种鸡腿菇图像识别方法与分级方法，包括：对菌盖边界轮廓进行识别的步骤；菌盖轮廓图像修复的步骤；菌盖特征提取的步骤。将鸡腿菇依以下方法进行分级：菌盖短轴直径<20mm，为四级；菌盖短轴直径在20-30mm之间，为三级；菌盖短轴直径在30-40mm之间，为二级；菌盖短轴直径>40mm，为一级。其公开的技术方案中，对采摘前的鸡腿菇进行识别和分级。

《计算机科学》2015(s2)中公开的“基于显著性特征的食用菌中杂质检测”的文章中，实现了食用菌采摘后的杂质自动检测。

《农机化研究》2008(02)中公开了“基于食用菌加工的在线检测方法”，对摘取后的食用菌基于颜色、大小和形状建立样本库、使用bp神经网络进行成色分级。

周军等人使用基于原基尺寸和形状的“遗传-特征-筛选”方法提取原基形态特征种子并建立原基种子形态特征库，借助bp神经网络实现了原基数量神经网络预测模型，并形成适宜所处地区的杏鲍菇原基生长发育的湿度调控策略。

但上述公开的技术方案中，对于不同的情况无法做到精准处理，而且经常出现轻度粘连。

因此，提供一种具有稳定可靠、实施快捷、易于扩展的基于图像处理技术的姬松茸子实体生长参数检测方法就成为该技术领域急需解决的技术难题。

技术实现要素：

本发明的目的在于提供一种具有稳定可靠、实施快捷、易于扩展的基于图像处理技术的姬松茸子实体生长参数检测方法。

为实现上述目的，本发明采取以下技术方案：

一种基于图像处理技术的姬松茸子实体生长参数检测方法，包括如下步骤：

(1)对出菇室内菌株成像质量进行评价；

(2)对样本菌株区域进行定位；

(3)对轻度粘连菌株进行分离；

(4)对菌株生长参数进行提取。

优选地，所述步骤(1)对出菇室内菌株成像质量进行评价的具体过程如下：

1)设置合理的实验区域背景色，如本发明选择蓝色；

2)读取待评价样本菌株的彩色成像，将其转换到灰度空间下计算像素的联合分布概率；

3)选用灰度共生矩阵部分特征进行纹特征计算，灰度共生矩阵的特征包括能量、对比度、相关性、信息熵、同质性等；

4)对输入图像进行lab彩色空间通道a、b特征参数提取，计算其局部标准化颜色参数(lncc)的二维熵；

5)利用训练好的bp神经网络模型，基于上述特征向量，预测图像质量评分并进行等级分类。

优选地，所述步骤(1)中所述步骤3)的具体步骤如下：

i)能量

能量反映了图像灰度分布均匀程度和纹理粗细度，其中i、j分别为两任意像素点的灰度值，p(i,j)为距离为d的两点的联合分布概率；

ii)对比度

对比度反映了图像的纹理沟纹深浅的程度和清晰度；

iii)相关性

相关性是用来度量灰度共生矩阵元素在行方向或列方向上的相似程度，式中部分符号定义如下：

iv)信息熵

信息熵是图像所具有的信息量的度量；

v)同质性

同质性表示灰度共生矩阵中元素的分布到对角线紧密程度，也称逆差距。

优选地，所述步骤(1)中所述步骤4)中：

局部标准化颜色参数(lncc)值定义如下：

式中，i(i,j)表示图像的彩色通道分量中的像素点，i和j分别表示像素点的横坐标和纵坐标，c为一个防止σ(i,j)为0的很小的常数，μ(i,j)和σ(i,j)的定义为如下：

式中，k和l表示标准化过程中的邻域大小，ω是圆对称的二维高斯加权函数，定义特征二元组(x,y)，其中x代表像素本身的lncc值，y代表其邻域像素的平均lncc值，f(x,y)表示一组特征值(x,y)出现的总次数，而p(x,y)则用来表示标准化的f(x,y):

其中，m、n表示图像的高、宽；

局部标准化颜色参数(lncc)的二维熵表示为：

优选地，所述步骤(2)的过程如下：

1)合理设置图像的监测区域，将干扰像素尽量去除；

2)在样本菌株成像的参考区域内，使用随机森林算法(rf)做图像的语义级分割；

3)使用hue色调通道数据进行自适应阈值分割作为步骤2)的前景检测结果补充；对前景区域进行轮廓平滑。

优选地，所述步骤(2)的具体过程如下：

1)在图像上设置任意多边形监测区域，从rgb颜色空间将监测区域内干扰像素尽量去除；

2)在参考区域内，使用rf算法区分每3*3图像区域单元是否属于姬松茸菌株：

i)提取每一像素为中心的m*m邻域图像的如下特征生成特征向量(m为自然数)：

a)hue通道的熵、各向异性、方差等；

b)r、g、b三颜色通道的中心点值(均值)、邻域方差、熵、自相关系数等；

c)黄色增强图的中心点值(均值)、邻域方差、熵、自相关系数等；其中黄色增强图的计算过程如下：

y＝(r-b)+(g-b)

y＝round((y-meany)*factor)+y

r、g、b分别为彩色图像rgb空间三个通道数据，y为黄色增强图，meany为y的均值，factor为对比度增强的度量因子；

ii)使用训练好的rf模型对当前像素区域单元进行分类识别；

iii)前景图像形态学操作；

3)受图像偏色和培养基与菌株特征有交叉限制，使用hue通道数据进行自适应阈值迭代分割，将结果与步骤2)的结果融合；

4)对前景区域进行基于轮廓点向局域回归线投射方式实现的轮廓平滑。

优选地，所述步骤(3)的过程如下：

1)选取具有适当面积且形状因子值较大的连通域，提取其轮廓点集；

2)查找点集上满足条件的点对儿作为切分点；

3)对轮廓进行异常形状的消除或者分离。

优选地，所述步骤(3)的具体步骤如下：

1)选取具有适当面积且形状因子值较大的连通域，提取其轮廓点集；

形状因子定义如下：

其中ra、rb为该对区域拟合所得椭圆的半径，a为区域面积；

2)查找点集上的满足如下条件的点对儿作为切分点：

a)点a到点b间直线距离disln在一定范围内；

b)点a到点b的顺时针轮廓长度和逆时针轮廓长度的极小值：disarc>＝n*disln，n为自然数；

3)对轮廓进行异常形状的消除或分离：

a)disln<nthr1，a、b之间直接用黑色线条在二值前景图像上连线；

b)disln≥nthr1，取具有最小距离的点对儿a、b，用黑色线条在二值前景图像上连线。

优选地，所述步骤(4)的过程如下：

1)基于几何特征的候选目标筛选，涉及特征包括：面积、长宽比、占空比、圆形度等形状参数；

2)基于r通道统计特征的目标确认；

3)单个菌株目标的颜色、高度、可视生长面积等参数的提取，具体参数计算方法如下：

i)菌株区域的r、g、b三色均值和极值；

ii)菌株高度取菌株区域最小外接矩形的物理高度值h，且依据该高度值将菌株划分为三个成熟等级：

h≤3cm，为3级成熟，一般为幼菇、成形期初期；

h＜5cm，为2级成熟，一般为成形期中期；

h≥5cm，为1级成熟，一般为成形期后期，可以采摘。

优选地，所述步骤(4)的具体步骤如下：

首先在经过切割的新的二值前景图上进行准目标筛选和确认，最后在可信菌株连通域上提取颜色和高度等生长参数；

1)基于几何特征的候选目标筛选，涉及特征如下：

i)面积

ii)长宽比

iii)占空比fcomp＝area/(recth*rectw)

其中area为连通域像素面积，recth和rectw分别为连通域最小外接矩形的长、宽；

iv)圆形度fcircularity＝contourlen/(2*π*fradius)

其中，contourlen为轮廓周长，fcircularity为连通域最小外接圆的半径；

2)基于r通道统计特征的目标确认，此处参考候选菌株区域r通道的均值、方差，两者若均过小，则非姬松茸子实体；

3)单个菌株目标的颜色、高度、可视生长面积等参数提取：

i)计算菌株可视生长面积；

ii)计算菌株区域的r、g、b三色均值和极值；

菌株高度h取菌株区域最小外接矩形的高度(height)，且依据该高度值将菌株划分为三个成熟等级：

h≤3cm，为3级成熟，一般为幼菇、成形期初期；

h＜5cm，为2级成熟，一般为成形期中期；

h≥5cm，为1级成熟，一般为成形期后期，可以采摘。

关于步骤(1)出菇室内菌株成像质量评价：本发明中的出菇室内菌株成像质量评价是为保证出菇室内适当的温度和湿度，喷雾、通风等设备会间歇性地运转，导致部分样本植株成像因雾气而模糊甚至完全不可见。如此，前景分割将出现较大误差甚至失败，提取到的参数有很多野值。而这类图像也无法通过去雾算法进行质量恢复，因为雾气模型不可预见，与大气中的相去甚远。考虑到实验取图频率和菌株生长速率的配合，忽略这类图像不会影响提取到的参数的关联性，故本发明采用了图像质量评价算法对待处理图像进行筛选。

关于步骤(2)样本菌株区域的定位：出菇室内菌株的培养基呈浅黄或者暗黄、黄褐及偏白色，视野内有塑料纸的反光和透色干扰，同时，菌盖可呈现浅褐色、深褐色、白底褐色花斑状、白色，区域内纹理特征不明显，无共性；菌盖、菌柄的形状、大小和姿态呈多样性，子实体不但与背景的可区分度差，而且不能形成统一的描述模型，因此，本发明通过实验确定了特定颜色的背景来辅助分割,增强前、背景的对比度，通过各颜色空间特征对比，hsv(六角锥体模型)的hue通道下前、背景对比度最佳。

关于步骤(2)之2)：此子步骤中，考虑到基于单个像素进行邻域特征提取耗时严重，实际应用中采用3*3的区域单元替代单个像素进行操作，即每次进行m*m区域图像选取时，扫描窗口步长为3，一旦当前区域中心像素被判定为目标像素，3*3单位内所有像素均被定义为前景像素，反之亦然，虽然如此操作的前景检测结果不及步长为1的精细，但能满足分割需求，为提高算法鲁棒性，邻域图像中心点值计算采用其3*3邻域均值；

关于步骤(3)之3)：通过基于轮廓点对儿的距离特点判断异常形状的处理步骤，可去除前景分割时出现的条带状伪前景，同时可将轻度粘连的菌株分离。对于那种实在无法分离的重度粘连的簇状子实体，将其视作单个、整体目标进行参数提取。因本发明采用子实体高度作为考察子实体生长速率的参考，故菌簇的整体高度变化率和菌簇中的最高单体高度的变化率是一致的，具有实际意义。

关于步骤(4)：通过学习菌株面积、颜色和高度等特征值组，可区分不同成色的菌株、便于市场定价，而通过大量的数据积累，深度挖掘不同环境因素，如co2、温度、湿度等的设置情况和姬松茸子实体的高度增长速率的关系，可以建立不同地区、不同季节的最佳生产环境配置策略，以实现增产、增利。

本发明的优点：

本发明提出了一种基于图像处理技术的姬松茸子实体生长参数检测方法，通过图像分割可定位实验样本培养基上的菌株，并针对轮廓上的异常形状进行去除和轻度目标粘连的分离；最后通过菌株高度对其成熟度分级，并为后续子实体成色分级、生长速率与环境因素最佳配备关系挖掘储备面积、颜色、高度变化速率等生长参数数据。

下面通过附图和具体实施方式对本发明做进一步说明，但并不意味着对本发明保护范围的限制。

附图说明

图1为本发明设置兰色背景色的实验环境图。

图2a至图2c为本发明图像质量评价结果，图2a为好，图2b、图2c为差，图2b、图2c将被拒绝进入后续处理步骤。

图3a和图3b为本发明监测区域设置和干扰去除示意图，图3a为监测区域内的待处理图像，已经尽可能地排除掉塑料的反光和透色区域，图3b为进一步去除干扰区域的掩膜下的彩图，基本只保留了目标区域。

图4a至图4c为本发明色调通道目标自适应阈值分割检测结果，蘑菇状的灰色区域(彩图中为红色区域)为每次分割获取的菌株区域。由图4a-图4c可见，每深入进行一次oust分割，结果越趋近于真实值。

图5为本发明子实体区域的最终检测效果图，经分割结果融合和轮廓平滑后，前景连通域较完整且精致。虽然图中仍夹杂些许伪目标，但是通过后续筛选和确认步骤，可以排除掉。

图6为本发明图5的切割结果，可见两处有轻度粘连的菌株已经被分离开来；同时，伪目标区域中部分像素被去除。

图7为本发明基于几何特征进行准目标筛选的流程。

图8为本发明姬松茸生长参数实时提取的视觉效果图。

具体实施方式

本发明基于图像处理技术的姬松茸子实体生长参数检测方法，包括如下步骤：

1、设置实验背景色，实时获取样本菌株的彩色图像，如图1所示，为本发明设置兰色背景色的实验环境图。

2、读取待评价样本菌株的彩色成像，将其转换到灰度空间下计算像素的联合分布概率；选用灰度共生矩阵部分特征进行纹特征计算，灰度共生矩阵的特征包括能量、对比度、相关性、信息熵、同质性等；对输入图像进行lab彩色空间通道a、b特征参数提取，计算其局部标准化颜色参数(lncc)的二维熵；利用训练好的bp神经网络模型，基于上述特征向量，预测图像质量评分并进行等级分类。

1)将彩色图像转化为灰度图；

2)提取灰度共生矩阵的能量、对比度、相关性、信息熵、同质性等参数；

i)能量

能量反映了图像灰度分布均匀程度和纹理粗细度，其中i、j分别为两任意像素点的灰度值，p(i,j)为距离为d的两点的联合分布概率；

ii)对比度

对比度反映了图像的纹理沟纹深浅的程度和清晰度；

iii)相关性

相关性是用来度量灰度共生矩阵元素在行方向或列方向上的相似程度，式中部分符号定义如下：

iv)信息熵

信息熵是图像所具有的信息量的度量；

v)同质性

同质性表示灰度共生矩阵中元素的分布到对角线紧密程度，也称逆差距。

优选地，所述步骤(1)中所述步骤4)中：

局部标准化颜色参数(lncc)值定义如下：

式中，i(i,j)表示图像的彩色通道分量中的像素点，i和j分别表示像素点的横坐标和纵坐标，c为一个防止σ(i,j)为0的很小的常数，μ(i,j)和σ(i,j)的定义为如下：

式中，k和l表示标准化过程中的邻域大小，ω是圆对称的2维高斯加权函数，定义特征二元组(x,y)，其中x代表像素本身的lncc值，y代表其邻域像素的平均lncc值，f(x,y)表示一组特征值(x,y)出现的总次数，而p(x,y)则用来表示标准化的f(x,y):

其中，m、n表示图像的高、宽；

局部标准化颜色参数(lncc)的二维熵表示为：

3)将rgb空间彩图转到lab空间，计算其lncc的二维熵；使用bp神经网络对生成的特征向量进行图像质量评分预测，如分级0为好，继续后续处理步骤；否则，算法退出处理程序，评价效果见图2a至图2c，如图2a至图2c所示，为本发明图像质量评价结果，图2a为好，图2b和图2c为差，图2b和图2c将被拒绝进入后续处理步骤。

3、设置适于菌株定位的任意多边形图像监测区，以尽量排除如塑料纸、电线等辅助设施区域又足以满足菌株的生长空间为准则，对背景内特定颜色区域在rgb空间内去除，如蓝色的背景板和培养基上的陶粒区域、黑色的传感器连线等，生成掩膜区域以最大可能地减小rf的计算量，如图3a和图3b所示，为本发明监测区域设置和干扰去除示意图。图3a为监测区域内的待处理图像，已经尽可能地排除掉塑料的反光和透色区域，而图3b为进一步去除干扰区域的掩膜下的彩图，基本只保留了目标区域。

4、对掩膜区域内各3*3像素单元，提取其m*m邻域内的hue通道的熵、各向异性、方差等参数，r、g、b三颜色通道的中心3*3区域均值、邻域方差、熵、自相关系数等，及黄色增强图的中心3*3区域均值、邻域方差、熵、自相关系数等参数生成特征向量，使用rf进行识别分类，分类标签为1的为目标像素，置二值前景图像上对应3*3区域内所有像素值均为255；否则，置3*3区域为0。

5、对监测区彩色图像的hue通道数据进行对比度增强，然后进行otsu法迭代分割，将分割结果与rf结果融合；最后，对前景图执行开运算，添加了蓝色背景的实验区域图像，hue通道数据的前、背景对比度非常明显，但是为了使分割结果更为精确，在初次执行自适应阈值分割后，对准前景区域进行二次、三次……自适应阈值分割，以期更精细地去除干扰区域，定义相邻两次迭代获取的前景面积的比值：

fareart＝areafgcurrent/areafglasttime

迭代终止条件为当迭代次数＞2时，fareart基本保持不变或者fareart骤变，迭代阈值分割效果如图4a至图4c所示，为本发明hue通道目标自适应阈值分割检测结果，蘑菇状的灰色区域(彩图中为红色区域)为每次分割获取的菌株区域。由图4a至图4c可见，每深入进行一次oust分割，结果越趋近于真实值。

6、对前景图内面积较大的连通域进行轮廓平滑，平滑实现过程如下：

(1)提取各轮廓点集：选取具有适当面积且形状因子值较大的连通域，提取其轮廓点集；

形状因子定义如下：

其中ra、rb为该对区域拟合所得椭圆的半径，a为区域面积。

(2)对各点集中的每个轮廓点，取其顺时针方向和逆时针方向相邻的n个(n为自然数)参考点进行局域回归线拟合，如最小二乘法曲线拟合；

(3)使用两侧拟合结果于该点的均值作为当前点的平滑结果；

(4)循环处理所有轮廓点。

经融合、形态学处理和平滑操作的前景效果图如图5所示，为本发明子实体区域的最终检测效果图，经分割结果融合和轮廓平滑后，前景连通域较完整且精致。虽然图中仍夹杂些许伪目标，但是通过后续筛选和确认步骤，可以排除掉。

7、对新的前景图中，具有较大面积且形状参数异常的连通域进行基于轮廓点对儿距离特点、剔除异常形状和分离轻度粘连菌株的操作，效果如图6所示，为本发明图5的切割结果，可见两处有轻度粘连的菌株已经被分离开来；同时，伪目标区域中部分像素被去除。

8、对经切割的新前景图，做基于几何形状特征的目标筛选，参考因素有连通域面积、长宽比、占空比和圆形度等，筛选规则如图7所示，为本发明基于几何特征进行准目标筛选的流程。一般地，子实体连通域形状较为接近矩形，随着生长其可视面积逐渐增大，高大于等于宽，且占空比、圆形度均较大。

9、对候选目标区域进行基于r值的统计特征确认，一般地，菌株区域呈白色或者褐色，r均值较高；而菌盖和菌柄衔接处有阴影或者菌盖呈褐色时，区域方差较大，但是纹理特征不明显且无规律。

10、对各菌株目标进行参数提取，包括面积、高度和颜色指标等，最终处理效果如图8所示，为本发明姬松茸生长参数实时提取的视觉效果图。本发明对目标参数的提取结果在视觉呈现上简洁易懂且内容丰富，不但对各个目标编号、列出生长参数，使得对特定目标参数的持续跟踪考察可行；而且描绘了各个菌株的轮廓，鲜明、合理。

本发明的有益效果：

1、本发明的实现意味着，培养室内具有代表性的样本菌株的可见生长过程能够通过广角摄像机被全天候地实时监控，菌株于各个生长期的特征参数可被无损、准确地智能测量并存储。

2、本发明的图像质量评价功能有效地剔除了大量的野数据和无效数据，利于后期精准地建立菌株生长速率模型。

3、本发明采用了机器学习和传统阈值分割相结合的方法，使得获取的前景更为完整。

4、本发明提出了基于轮廓点对儿距离特点剔除异常形状和分离轻度粘连菌株的思路，不但规避了诸如基于距离转化，形状建模及轮廓恢复等粘连分离方法的复杂计算，同时避免了借助分割线处灰度变化的粘连分离法在灰度对比度较差时的尴尬。

5、本发明提取了更为可靠的菌株高度值作为成熟度分级标准，同时提取了更丰富的特征，如生长面积、颜色等作为成色分级基础。有的姬松茸菌株的菌柄较细，但是高度很大，却也已经达到采摘标准；而有的菌株的菌柄在成型中期就很粗，但是并未达到采摘标准。而姬松茸成色分级，不但要查看其高度或者菌柄粗细，还要看其大小、菌盖色泽是否健康。

6、连同其它传感器数据，通过大规模的数据挖掘，本发明使得获取不同环境下适于菌株生长的最佳环境变量配置策略成为现实，因此，具有可观的科研价值和经济效益。

7、本发明亦具有稳定可靠、实施快捷、易于扩展的优点；符合我国国情,是食用菌生产管理实现工厂化的必要程序。

本发明针对出菇室内的样本姬松茸子实体生长过程进行全程实时监控、参数无损检测。对于环境复杂的室内条件，算法添加了图像质量评价功能筛选适合处理的图像。姬松茸的培养基可能处于储物架的任何层，能接收的光照强度不尽相同。有些子实体的菌盖和菌柄无论从色泽还是形状上区分均不明显。为实现较精确的分割，本发明根据实际需求设置了蓝色成像背景，采用了rf语义级分割和hue通道自适应分割的融合结果作为轮廓提取基础。对于轻度粘连的目标，本发明提出了基于轮廓点对儿距离特点法剔除异常形状、分离单株目标和去除细碎干扰的思路。最后，本发明参考生产需求和实际操作，提取了整颗菌株的颜色、高度等生长参数，作为当前菌株采摘标准参考和后续成色分级、生长率与环境因素关系及环境因素调优策略挖掘的数据基础。

本发明适用于食用菌工厂化生产过程中的菌株生长状态实时监控：依据高度的增长率可探索到最适宜姬松茸的生长环境参数配置以增产；依据高度净值可划分菌株不同的生长时期便于采摘以节省人力。本发明同时为菌株的成色级别划分储备了特征数据。该方法可进一步推广到其它菌种的工厂化生产中。

以上实施例仅用以说明而非限制本发明的技术方案，尽管上述实施例对本发明进行了详细说明，本领域的相关技术人员应当理解：可以对本发明进行修改或者同等替换，但不脱离本发明精神和范围的任何修改和局部替换均应涵盖在本发明的权利要求范围内。