一种根系图像处理方法与流程

1.本说明书一个或多个实施例涉及图像处理技术领域，尤其涉及一种根系图像处理方法。


背景技术：

2.根系观测是植物根系研究的重要基础，采用微根窗成像技术能够获得根系图像，但是根长、根尖数等重要的根系表型参数仍需要科研人员肉眼识别，效率低下，准确性不高。由此，如何利用图像处理技术自动提取根系表型参数，是本领域所需解决的问题。


技术实现要素：

3.有鉴于此，本说明书一个或多个实施例的目的在于提出一种根系图像处理方法，能够自动提取根系表型参数。
4.基于上述目的，本说明书一个或多个实施例提供了一种根系图像处理方法，包括：
5.获取根系图像；
6.利用根系图像处理模型对所述根系图像进行处理，得到根系特征图像；
7.基于所述根系特征图像，提取根系表型参数。
8.可选的，所述根系特征图像为根系概率分布图；
9.基于所述根系特征图像，提取根系表型参数，包括：
10.对所述根系概率分布图进行二值化处理，得到根系二值图像；
11.基于所述根系二值图像，统计根系像素点数量；
12.根据所述根系像素点数量，计算投影面积。
13.可选的，基于所述根系特征图像，提取根系表型参数，还包括：
14.对所述根系二值图像进行骨架抽取处理，得到根系骨架图像；
15.基于所述根系骨架图像，提取根长、根直径和根尖数。
16.可选的，基于所述根系骨架图像，提取根长，包括：
17.根据所述根系骨架图像，确定根系中心线；
18.统计所述根系中心线上的像素点数量作为总根长。
19.可选的，所述确定根系中心线之后，还包括：
20.确定所述根系中心线在所述根系图像中的位置，以所述根系中心线上的每个像素点为圆心，圆心到根系与土壤的边界点为半径做圆，将圆的直径作为该像素点对应的根系位置的根直径。
21.可选的，确定根直径之后，还包括：
22.根据所述根系中心线上不同像素点的根直径，划分根直径等级。
23.可选的，所述确定根系中心线之后，还包括；
24.统计所述根系中心线上的端点数；
25.根据所述端点数，确定所述根尖数。
26.可选的，所述提取根长、根直径和根尖数之后，还包括：
27.根据所述根长、根直径，计算根体积和根表面积。
28.可选的，所述提取根系表型参数之后，还包括：
29.按照预设的分辨率对应关系，对所述根系表型参数进行校准。
30.可选的，所述得到根系二值图像之后，还包括：
31.按照预设的过滤条件，过滤干扰像素点。
32.从上面所述可以看出，本说明书一个或多个实施例提供的根系图像处理方法，通过获取根系图像，利用根系图像处理模型对根系图像进行处理，得到根系特征图像，基于根系特征图像，提取根系表型参数，能够快速、高效、准确的识别根系并提取出各项根系表型参数，大幅提升科研工作效率，为根系研究提供数据基础。
附图说明
33.为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本说明书一个或多个实施例的方法流程示意图；
35.图2为本说明书一个或多个实施例的根系二值图像；
36.图3为本说明书一个或多个实施例的根系骨架图像；
37.图4a-4d分别为本说明书一个或多个实施例的根系表型参数校准实验结果图；
38.图5a为本说明书一个或多个实施例的肉眼识别的根系直径分级和自动识别的根系直径分级对比图；
39.图5b为本说明书一个或多个实施例的根系直径分级图；
40.图6a-6c分别为本说明书一个或多个实施例的玉米根系根长、投影面积和平均直径的变化示意图；
41.图7a-7d分别为本说明书一个或多个实施例的不同分辨率下提取出的根长、投影面积、平均直径和根尖数对比示意图；
42.图8为本说明书一个或多个实施例的装置结构示意图；
43.图9为本说明书一个或多个实施例的电子设备结构示意图。
具体实施方式
44.为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
45.需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包
括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
46.如图1所示，本说明书实施例提供一种根系图像处理方法，包括：
47.s101：获取根系图像；
48.本实施例中，首先可利用微根窗成像技术获取根系图像，采用原位根系扫描设备无破坏地对植物根系进行原位扫描成像，持续监测并获取植物生长过程的根系图像。
49.为提高特征提取的准确性，所获取的根系图像为仅包括土壤和根系的图像，而且土壤没有明显的大裂痕，扫描设备没有明显的划痕、水雾、模糊等影响图像效果的干扰因素。
50.s102：利用根系图像处理模型对根系图像进行处理，得到根系特征图像；
51.本实施例中，将获取的根系图像输入预先训练的根系图像处理模型中，经过根系图像处理模型处理后，输出根系特征图像。其中，根系特征图像为根系概率分布图，根系概率分布图的每个像素值表示预测为根系的概率，例如，像素值取值范围为0-255，像素值越大预测为根系的概率越大，像素值越小预测为根系的概率越小。
52.s103：基于根系特征图像，提取根系表型参数。
53.本实施例中，在获得根系特征图像之后，通过图像处理提取出根系表型参数，完成根系的自动识别与根系表型参数的自动提取。
54.本实施例提供的根系图像处理方法，包括获取根系图像，利用根系图像处理模型对根系图像进行处理，得到根系特征图像，基于根系特征图像，提取根系表型参数。利用本实施例的方法，获取根系图像之后，利用机器学习技术和图像处理技术，自动识别根系并提取根系表型参数，大幅提高工作效率和识别准确性。
55.可选的，根系图像处理模型基于u-net神经网络模型训练得到。将特定根系的根系图像作为训练数据输入u-net神经网络模型进行训练，输出根系特征图像。模型将输入的根系图像分割成多个子图像，加入噪声，判断每个像素点是否为根系，分割之后的子图像进入编解码器进行处理，经过多次融合过程，得到多个增强根系特征的子图像，最后将多个子图像拼接成与根系图像大小相同的根系特征图像，输出的根系特征图像根系特征突出，且颜色差异、亮度变化等差异不大，为后续的图像处理提供高质量的图像。
56.一些方式中，在模型的训练过程中，使用交叉熵作为损失函数：
[0057][0058]
其中，ak(x)为像素点x对应特征通道k的得分；k为类的数量，本示例中类的数量为2，一个类是根系，一个类是根系之外的背景；pk(x)为像素点x的分类结果，即，像素点x为根系或者背景。
[0059]
使用带权重的惩罚函数：
[0060][0061]
其中，l为像素点x的真实标签，用于对图像中的根系进行遮掩；ω为像素点x的权重。为了补偿某一类别的不同像素点的频次差异，用gt样例对权重函数进行预先计算，使得
机器学习能够区分更小的边界。
[0062]
权重函数为：
[0063][0064]
其中，ωc:ω
→
r为用来平衡某一类频率的权重图；d1:ω
→
r表示到背景的某个像素点到最近目标边界(遮掩的根系区域的外轮廓)的距离；d2:ω
→
r为到背景的某个像素点到第二近的目标边界的距离，设置ω0＝10，σ≈5个像素。另外，为防止模型过拟合，模型的dropout层采用较高的阈值0.5。
[0065]
一些实施例中，基于根系特征图像，提取根系表型参数，包括：
[0066]
对根系概率分布图进行二值化处理，得到根系二值图像；
[0067]
基于根系二值图像，统计根系像素点数量；
[0068]
根据根系像素点数量，计算投影面积。
[0069]
结合图2所示，根系特征图像的每个像素点的像素值代表了该像素点为根系的概率，基于此，设定根系阈值，根据根系阈值对根系概率分布图进行二值化处理，得到根系二值化图像。例如，设定根系阈值为5，将根系特征图像中像素值大于等于5的像素点作为根系像素点二值化为255，像素值小于5的像素点作为土壤像素点二值化为0，得到根系二值化图像，白色部分代表根系，黑色部分代表土壤。
[0070]
在根系二值化图像的基础上，统计所有根系像素点的数量，即统计所有像素值为255的像素点的数量，根据根系像素点数量和根系图像大小，计算投影面积。计算方法是，根据根系图像的长度、宽度与总像素点数量，确定面积比例，根据面积比例和根系像素点数量，确定投影面积，可以表示为：
[0071][0072]
其中，s为投影面积，a为根系图像的长度，b为根系图像的宽度，n为根系图像的总像素数量，m为根系像素点的数量。
[0073]
一些实施例中，基于根系特征图像，提取根系表型参数，还包括：
[0074]
对根系二值图像进行骨架抽取处理，得到根系骨架图像；
[0075]
基于根系骨架图像，提取根长、根直径和根尖数。
[0076]
本实施例中，对根系二值图像进行骨架抽取处理，得到根系骨架图像，基于根系骨架图像，进一步提取出根长、根直径、根尖数等根系表型参数。
[0077]
结合图3所示，基于根系骨架图像提取根长的方法是：
[0078]
根据根系骨架图像，确定根系中心线；
[0079]
统计根系中心线上的像素点数量作为总根长。
[0080]
本实施例中，利用骨架抽取处理方法抽取根系二值图像中根系的中心线(图3中的各条白线)作为根系中心线，统计根系中心线上所有像素点的数量，将统计出的像素点数量作为总根长。
[0081]
一些实施例中，确定根系中心线之后，还可提取出根直径，方法是；
[0082]
确定根系中心线在根系图像中的位置，以根系中心线上的每个像素点为圆心，圆心到根系与土壤的边界点为半径做圆，将圆的直径作为该像素点对应的根系位置的根直
径。
[0083]
本实施例中，根系不同位置的粗细不同，对应的根直径不同。在确定根系中心线之后，基于根系图像，根系中心线上不同像素点为根系的不同位置，对于每个像素点，以像素点为圆心，以圆心到根系与土壤的边界点为半径做圆形，将圆形的直径作为该像素点对应的根系位置的根直径。这样，对根系中心线上所有像素点进行画圆处理后，能够获得根系上不同位置的根直径。
[0084]
一些实施例中，在确定根系不同位置的根直径之后，按照根直径的大小对根直径进行分级。例如，将根直径分为0-0.05毫米、0.05-0.1毫米、0.1-0.15毫米、0.15-0.2毫米等多个级别，同时，可以统计不同级别的根直径的根长、平均直径等根系表型参数。
[0085]
一些实施例中，确定根系中心线之后，还可提取根尖数，方法是；
[0086]
统计根系中心线上的端点数；
[0087]
根据端点数，确定根尖数。
[0088]
本实施例中，基于确定出的根系中心线，统计根系中心线上的端点数，将统计出的端点数减去一，即得到根尖数。一些方式中，考虑到根系表面有不规则的凸起或凹陷等，为避免将根系表明不规则部分识别为端点，导致根尖数统计和根长统计偏差，对根系骨架图像进行平滑处理，基于平滑处理后的根系骨架图像，统计根系中心线上的端点数，确定根尖数。
[0089]
一些实施例中，在提取根长、根直径和根尖数之后，进一步计算得到根体积和根表面积等根系表型参数。具体的，根据根系不同位置的根直径，计算平均根直径；根据总根长和平均根直径，按照计算圆柱体体积的方法，以总根长为高、以平均根直径的一半为底面半径计算总体积；根据总根长和平均根直径，按照计算圆柱体表面积的方法，计算总表面积。
[0090]
进一步的，在分级后的根直径基础上，统计分级的根长、表面积、投影面积、平均直径和体积等根系表型参数。例如，按照0.1毫米粗细分级，将根直径为0-0.1毫米的根直径划分为第一级，将0.1-0.2毫米的根直径划分为第二级等等，统计第一级的根长、投影面积、平均直径、体积、表面积、体积等分级后的根系表型参数。
[0091]
一些实施例中，提取根系表型参数之后，还包括：
[0092]
按照预设的校准关系，对根系表型参数进行校准。
[0093]
本实施例中，考虑不同分辨率下的根系图像效果不同，高分辨率根系图像中根系与土壤的界限更清晰，能够识别更细的根，提取的根长也更接近实际的根长，但是高分辨根系图像的处理速度会降低；低分辨率根系图像中根系与土壤的界限清晰度低一些，提取的根长也短一些，精确度低一些。实验中，通过多次测量和数据统计，可以建立高分辨率根系图像的根系表型参数与低分辨率根系图像的根系表型参数之间的特定对应关系，这样，当需要提高批量化的图像处理速度和效率时，可以获取低分辨率根系图像，对低分辨率根系图像进行处理得到根系表型参数之后，将特定对应关系作为高分辨率根系图像与低分辨率根系图像的校准关系，利用校准关系对根系表型参数进行校准，从而得到高分辨根系图像的根系表型参数，提高数据处理效率，同时保证准确性。
[0094]
如图4a所示，一些实施方式中，低分辨率根系图像(300dpi)与高分辨率根系图像(600dpi)之间的根长校准关系为y＝1.1748x，可采集获取低分辨率根系图像，对低分辨率根系图像处理后获得根长作为x的参数值，通过根长校准关系得到高分辨率根系图像的根
长y，从而校准根长。如图4b所示，低分辨率根系图像与高分辨率根系图像之间的投影面积校准关系为y＝0.7222x，可采集获取低分辨率根系图像，对低分辨率根系图像处理后获得投影面积作为x的参数值，通过投影面积校准关系得到高分辨率根系图像的投影面积y，从而校准投影面积。如图4c所示，低分辨率根系图像与高分辨率根系图像之间的平均直径校准关系为y＝1.1708x-0.3516，可采集获取低分辨率根系图像，对低分辨率根系图像处理后获得平均直径作为x的参数值，通过平均直径校准关系得到高分辨率根系图像的平均直径y，从而校准平均直径。如图4d所示，低分辨率根系图像与高分辨率根系图像之间的根尖数校准关系为y＝2.1135x，可采集获取低分辨率根系图像，对低分辨率根系图像处理后获得根尖数作为x的参数值，通过根尖数校准关系得到高分辨率根系图像的根尖数y，从而校准根尖数。
[0095]
一些实施例中，得到根系二值图像之后，还包括：
[0096]
按照预设的过滤条件，过滤干扰像素点。
[0097]
本实施例中，考虑到土壤环境中可能存在的干扰因素以及根系表面的不规则性，为避免干扰影响提取参数的准确性，可设置一些过滤条件，在图像处理过程中按照过滤条件对图像进行处理，滤除干扰点。例如，根系二值图像中可能存在土壤噪音，根系表面可能存在微小凸起等，设置最小投影面积，将投影面积小于最小投影面积的像素点滤除不做视作根系进行后续处理。
[0098]
一些实施例中，在提取出各项根系表型参数之后，还可进一步根据各项根系表型参数，绘制相应的根系表型图像。例如，在根据根系上不同位置的根直径，对根直径进行分级之后，进一步绘制根直径分级图像；在统计出根尖数之后，进一步绘制根尖分布图；在统计出根系中心线上的端点数之后，进一步统计两两端点之间的像素点数量作为每条根长，绘制地平线长度图像，该地平线长度图像中标识出每条根长。
[0099]
以下结合具体实施例说明本说明书实施例的根系图像处理方法的效果。
[0100]
采用某农田玉米根系图像和某地草甸植被根系图像训练神经网络模型，获得根系图像处理模型。使用时，利用分辨率为300dpi和600dpi的扫描设备分别获取不同时期、不同生长阶段的若干玉米根系图像，将玉米根系图像输入根系图像处理模型中，得到根系特征图像，基于根系特征图像提取各项根系表型参数。
[0101]
如图5a、5b所示，本实施例的方法提取的根长与科研人员肉眼识别根长对比分析，本实施例的方法对根系图像进行处理，提取根长的时间约为20秒，科研人员人眼识别根长的时间约为20小时，且本实施例的方法可以提取的根长更加精确。如图6a-6c所示，利用本实施例的方法处理一段时期持续采集的根系图像，经过图像处理提取各项根系表型参数，并统计一段时期内各项参数的变化过程。如图7a-7d所示，利用本实施例的方法对不同分辨率的根系图像进行处理，能够获得不同的根系表型参数，通过对比分析，高分辨率根系图像能够识别更精确的根长和更多的根尖数，低分辨率根系图像获得的投影面积和根直径较大，即高分辨率根系图像的识别结果更为精确，但是，在考虑数据处理效率的情况下，可选择获取低分辨率根系图像，后续进行校准处理以获得更为准确的参数。如表1、2所示，利用本实施例的方法可以获得的根系表型参数至少包括总根长、投影面积、表面积、体积、根尖数、根直径、平均直径、分级统计后的根直径、不同级别根直径对应的根长、表面积、投影面积、体积等等。
[0102]
表1根系表型参数
[0103][0104]
表2根直径分级
[0105][0106]
综上，本实施例的根系图像处理方法，能够快速、高效、准确的识别根系并提取出各项根系表型参数，大幅提升科研工作效率，为根系研究提供数据基础。
[0107]
需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
[0108]
需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0109]
如图8所示，本说明书实施例还提供一种根系图像处理装置，包括：
[0110]
获取模块，用于获取根系图像；
[0111]
识别模块，用于利用根系图像处理模型对根系图像进行处理，得到根系特征图像；
[0112]
提取模块，用于基于根系特征图像，提取根系表型参数。
[0113]
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
[0114]
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0115]
图9示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
[0116]
处理器1010可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个
或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
[0117]
存储器1020可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
[0118]
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0119]
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
[0120]
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
[0121]
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
[0122]
上述实施例的电子设备用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0123]
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0124]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0125]
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，
对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
[0126]
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
[0127]
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。