一种基于DCGAN和分形理论的双子叶植物叶脉建模方法

一种基于dcgan和分形理论的双子叶植物叶脉建模方法
技术领域
1.本发明属于dcgan和分形理论的双子叶植物叶脉建模方法技术领域，涉及一种基于dcgan和分形理论的双子叶植物叶脉建模方法。


背景技术：

2.dcgan。dcgan是深度卷积生成对抗网络(deep convolutional generative adversarial networks)的缩写，本发明主要利用dcgan技术来进行数据增强，用来训练数据，以增强深度学习网络的泛化能力，增加识别的准确度。分形理论是美籍数学家本华
·
曼德博(法语：benoit b.mandelbrot)与1967年首先提出的。其最基本特点是用分数维度的视角和数学方法描述和研究客观事物，也就是用分形分维的数学工具来描述研究客观事物。它跳出了一维的线、二维的面、三维的立体乃至四维时空的传统藩篱，更加趋近复杂系统的真实属性与状态的描述，更加符合客观事物的多样性与复杂性；双子叶植物：双子叶植物纲是被子植物门下的一纲。胚通常具有2枚子叶。主根常发达，少数不发达成为须根状。茎内维管束排列成圆简形(环状排列)，有形成层保持分裂能力，故茎能加粗。花部(即萼片、花瓣、雄蕊)常为5数或4数(即5枚、4枚或其倍数)，少部分为多数。叶脉多为网状脉，相比于平行脉，更难被建模。
3.植物叶脉提取方法。其主要用途在于植物精细化建模和植物叶片相关研究的技术支持。由于植物高级叶脉粗度小，且颜色与叶片颜色较为接近，在对其的提取中较为困难。因此叶脉提取中常见的方法有两种：一种是通过物理方式对植物叶肉进行腐蚀，从而留下叶脉，该种方法提取出的叶脉等级较为完整，但处理较为麻烦，成本也相应提升，不适合大批量操作；另一种方式是通过对叶片图像进行叶脉的提取，该方法速度较快，处理起来也较为方便，但得到的叶脉等级不完整，一般只能提取出主脉和一级支脉的形状。
4.植物叶脉建模方法。dcgan能够学习植物叶脉的特征，并能够生成植物叶脉模型，但在实际操作过程中，由于腐蚀方法提取植物叶脉工作量和成本较大，常用叶片图像提取的方法对叶脉进行提取，然而将该类数据运用dcgan方法训练叶脉全体系难度较大；分形理论也是一种叶脉模型生成方法，由于植物叶脉本身存在分形规则，通过寻找到该分形规则便能够对植物叶脉进行模拟，但分形过程本身是受到一些随机因素的影响，这种随机分布很难掌握，所以分形理论生成的叶脉模型也容易失真。所以本发明结合dcgan和分形理论，通过dcgan学习样本中叶脉生成的规则和随机性，再将该规则和随机性作为分形规则对叶脉进行生成，从而实现植物叶脉的精细建模。


技术实现要素：

5.本发明的目的是提供了一种双子叶植物叶脉建模方法，能够更加快速科学的生成更多等级的双子叶植物叶脉形状。
6.为了实现上述目的，本发明所采取的技术方案是：一种双子叶植物叶脉建模方法，包括以下步骤：
7.步骤一：确定建模双子叶植物，对待建模双子叶植物的叶脉进行形态特征分析，确定其分形维度与分形规则，每个叶脉等级作为一个分形维度。
8.步骤二：对待建模双子叶植物的叶脉进行叶脉提取，具体方法如下：首先根据图片叶脉和叶肉颜色差调整彩色图片rgb通道下的三种基本色度；对处理好的彩色通道进行合并，并生成灰度图片；对处理好的灰度图片进行阈值调整，得到主叶脉和一级支脉的照片。
9.步骤三：搭建dcgan网络，处理数据集，训练并调整网络，生成主叶脉和一级支脉的生成规则。
10.步骤四：根据分形维数确定生成规则迁移的迭代次数，并在迭代次数范围内将生成规则用dcgan迁移到下一级支脉。
11.步骤五：根据分形规则确定最高级叶脉的分形，最后合成最高级叶脉并生成精细叶脉形状。
12.作为优选方案，步骤一中，将从主脉到肉眼可见的最高级支脉的等级数量作为分形维数。
13.作为优选方案，步骤二中，叶脉提取并生成灰色图像方法为：首先获取rgb通道和cmy通道中的叶脉和叶片的数值，选取多个点求均值，得到叶脉和叶片的各个通道均值，将rgb通道均值按从大到小排序，得到叶脉叶叶片的色彩组成大小，根据叶片和叶脉色彩组成顺序与差值的大小，对其进行不同的处理，如下：
14.情况一：若叶脉组成色彩顺序和叶片一值，顺序比较叶脉和叶片两组中三个通道的差值的绝对值，得到rgb通道中差值绝对值最小的通道和cmy中最大的通道，根据r-c，g-m，b-y的互补关系，对rgb通道中的差值绝对值最小通道和cmy通道中差值绝对值最大的通道的互补通道进行调整，若rgb通道的差值绝对值最小通道中叶脉的数值小于叶片的数值，则其互补通道的数值扩大，反之亦然；若cmy通道的差值绝对值最大通道中叶脉的数值小于叶片的数值，则其互补通道的数值扩大，反之亦然，最后，根据调整后的数值计算得到灰色图像，具体计算公式为：
15.l＝(rgb
max-rgb
mid
)
×
cmy
调节比例
+(rgb
mid-rgb
min
)
×
rgb
调节比例
+rgb
min
16.其中rgbmax表示rgb最大通道的值，rgbmid表示rgb第二通道的值，rgbmin表示rgb最小通道的值，cmy调节比例表示cmy通道调整时的比例，在-2到3之间，rgb调节比例表示rgb通道调整时的比例，在-2到3之间；
17.情况二：若叶脉组成色彩顺序和叶片不一致，直接用叶脉色彩组成顺序第一通道与叶片色彩组成第一通道的差值作为该点的数值，并将该数组投影到0-255之间，从而生成灰色图像。
18.作为优选方案，步骤二中，叶脉提取并进行阈值处理，得到叶脉较为清晰的灰色图象，之后叶脉分成两类，一类为只有主叶脉的图像，第二类为有主叶脉和一级支脉的图像。
19.作为优选方案，步骤三中，搭建的dcgan网络，其生成网络的网络结构顺序为一层全连接层，三层卷积层，两层反卷积层，一层卷积层，除最后一层卷积层外，每层后面都加一层批量归一化层，第一层卷积层的卷积核个数为64，卷积核大小为7*7，第二层卷积层的卷积核格式为128，卷积核大小为3*3，第三层卷积层的卷积核个数为256，卷积核大小为3*3，第四层卷积层的卷积核个数为1，卷积核大小为7*7，第一层反卷积层的卷积核个数为128，卷积核大小为3*3，第二层反卷积层的卷积核个数为64，卷积核大小为3*3，生成网络输入图
像尺寸为300*100的单通道图片，批次为5，生成网络初始学习率为0.0003，优化函数使用adam，迭代次数为2000，损失函数为cross-entropy，激活函数为relu，relu，relu，relu，relu，relu，tanh。
20.作为优选方案，步骤三中，搭建的dcgan网络，其判别网络结构顺序为一层卷积层，一层池化层，一层卷积层，一层池化层，两层卷积层，一层全连接层，四层卷积层的卷积核大小顺序为64,128,256,1，卷积核尺寸顺序为7*7,3*3,3*3,3*3，两层池化层的滤波器大小都为2*2，输入图像尺寸为300*100的单通道图片，批次为5，生成网络初始学习率为0.00003，优化函数使用adam，迭代次数为2000，损失函数为cross-entropy，激活函数为leakyrelu,leakyrelu,leakyrelu,leakyrelu,singmoid。
21.作为优选方案，步骤三中，搭建的dcgan网络，生成网络和判别网络的训练比例为10:1，即每训练10次生成器网络训练一次鉴别器网络。
22.作为优选方案，步骤三中，搭建的dcgan网络，在其中加入标签(主叶脉与主叶脉加一级叶脉)进行自监督。
23.作为优选方案，步骤四中，0≤迭代次数≤3。
24.作为优选方案，步骤五中，五级叶脉的生成条件为该四级叶脉长度大于已知相邻的三级脉序。
25.采用上述技术方案所产生的有益效果在于：本发明提供的一种双子叶植物叶片叶脉建模方法，(1)使用了一种根据叶脉与叶片的rgb通道数值差调整图像通道从而增强图像的方法，配合灰度阈值从而更加清晰的提取叶脉。(2)构建基于改进的dcgan网络，能够更好的提取出叶脉的生成规则。(3)基于分形理论，根据植物叶脉形态特征，得到叶脉分形维数。并依据分形维数迭代dcgan网络，将低级叶脉的生成规则迁移到高级叶脉的生成上面，能够将正常情况很难提取出来的高级叶脉通过迭代生成，极大提高双子叶植物叶片建模的真实性和建模速度，降低建模成本。
附图说明
26.图1是本发明的一种基于dcgan和分形理论的双子叶植物叶脉建模方法流程图；
27.图2为本发明中双子叶植物图像。
28.图3为本发明中对双子叶植物分析的不同叶脉序的叶片图像示意图；
29.图4为本发明改进的叶脉增强下提取出的一种双子叶植物主脉；
30.图5为本发明改进的叶脉增强下提取出的一种双子叶植物主脉和一级支脉；
31.图6为本发明dcgan网络生成器结构示意图；
32.图7为本发明dcgan网络鉴别器结构示意图；
33.图8为本发明生成的一级支脉形状；
34.图9为本发明在图8基础上迁移生成的二级支脉形状；
35.图10为本发明在图9基础上用cad描绘的叶脉形状；
36.图11为本发明运用分形规则生成最后一级叶脉并合成的叶脉图像。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明思想的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
38.本发明的目的是提供一种基于dcgan和分形理论的双子叶植物叶脉建模方法。提高了双子叶植物叶脉建模的真实性和效率。
39.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
40.步骤一：确定建模双子叶植物，对待建模双子叶植物的叶脉进行形态特征分析，确定其分形维度与分形规则，每个叶脉等级作为一个分形维度。
41.步骤二：对待建模双子叶植物的叶脉进行叶脉提取，具体方法如下：首先根据图片叶脉和叶肉颜色差调整彩色图片rgb通道下的三种基本色度；对处理好的彩色通道进行合并，并生成灰度图片；对处理好的灰度图片进行阈值调整，得到主叶脉和一级支脉的照片。
42.步骤三：搭建dcgan网络，处理数据集，训练并调整网络，生成主叶脉和一级支脉的生成规则。
43.步骤四：根据分形维数确定生成规则迁移的迭代次数，并在迭代次数范围内将生成规则用dcgan迁移到下一级支脉。
44.步骤五：根据分形规则确定最高级叶脉的分形，最后合成最高级叶脉并生成精细叶脉形状。
45.步骤一中，将从主脉到肉眼可见的最高级支脉的等级数量作为分形维数。
46.步骤二中，叶脉提取并生成灰色图像方法为：首先获取rgb通道和cmy通道中的叶脉和叶片的数值，选取多个点求均值，得到叶脉和叶片的各个通道均值，将rgb通道均值按从大到小排序，得到叶脉叶叶片的色彩组成大小，根据叶片和叶脉色彩组成顺序与差值的大小，对其进行不同的处理，如下：
47.情况一：若叶脉组成色彩顺序和叶片一值，顺序比较叶脉和叶片两组中三个通道的差值的绝对值，得到rgb通道中差值绝对值最小的通道和cmy中最大的通道，根据r—c，g—m，b—y的互补关系，对rgb通道中的差值绝对值最小通道和cmy通道中差值绝对值最大的通道的互补通道进行调整，若rgb通道的差值绝对值最小通道中叶脉的数值小于叶片的数值，则其互补通道的数值扩大，反之亦然；若cmy通道的差值绝对值最大通道中叶脉的数值小于叶片的数值，则其互补通道的数值扩大，反之亦然，最后，根据调整后的数值计算得到灰色图像，具体计算公式为：
48.l＝(rgb
max-rgb
mid
)
×
cmy
调节比例
+(rgb
mid-rgb
min
)
×
rgb
调节比例
+rgb
min
49.其中rgbmax表示rgb最大通道的值，rgbmid表示rgb第二通道的值，rgbmin表示rgb最小通道的值，cmy调节比例表示cmy通道调整时的比例，在-2到3之间，rgb调节比例表示rgb通道调整时的比例，在-2到3之间；
50.情况二：若叶脉组成色彩顺序和叶片不一致，直接用叶脉色彩组成顺序第一通道与叶片色彩组成第一通道的差值作为该点的数值，并将该数组投影到0-255之间，从而生成灰色图像。
51.步骤二中，叶脉提取并进行阈值处理，得到叶脉较为清晰的灰色图象，之后叶脉分成两类，一类为只有主叶脉的图像，第二类为有主叶脉和一级支脉的图像。
52.步骤三中，搭建的dcgan网络，其生成网络的网络结构顺序为一层全连接层，三层卷积层，两层反卷积层，一层卷积层，除最后一层卷积层外，每层后面都加一层批量归一化层，第一层卷积层的卷积核个数为64，卷积核大小为7*7，第二层卷积层的卷积核格式为128，卷积核大小为3*3，第三层卷积层的卷积核个数为256，卷积核大小为3*3，第四层卷积层的卷积核个数为1，卷积核大小为7*7，第一层反卷积层的卷积核个数为128，卷积核大小为3*3，第二层反卷积层的卷积核个数为64，卷积核大小为3*3，生成网络输入图像尺寸为300*100的单通道图片，批次为5，生成网络初始学习率为0.0003，优化函数使用adam，迭代次数为2000，损失函数为cross-entropy，激活函数为relu,relu,relu,relu,relu,relu,tanh。
53.步骤三中，搭建的dcgan网络，其判别网络结构顺序为一层卷积层，一层池化层，一层卷积层，一层池化层，两层卷积层，一层全连接层，四层卷积层的卷积核大小顺序为64,128,256,1，卷积核尺寸顺序为7*7,3*3,3*3,3*3，两层池化层的滤波器大小都为2*2，输入图像尺寸为300*100的单通道图片，批次为5，生成网络初始学习率为0.00003，优化函数使用adam，迭代次数为2000，损失函数为cross-entropy，激活函数为leakyrelu,leakyrelu,leakyrelu,leakyrelu,singmoid。
54.步骤三中，搭建的dcgan网络，生成网络和判别网络的训练比例为10:1，即每训练10次生成器网络训练一次鉴别器网络。
55.步骤三中，搭建的dcgan网络，在其中加入标签(主叶脉与主叶脉加一级叶脉)进行自监督。
56.步骤四中，0≤迭代次数≤3。
57.步骤五中，五级叶脉的生成条件为该四级叶脉长度大于已知相邻的三级脉序。
58.图1为本发明一种基于dcgan和分形理论的双子叶植物叶脉建模方法流程图，如图1所示，一种基于dcgan和分形理论的双子叶植物叶脉建模方法，包括：
59.步骤一：建模双子叶植物的数据来源主要包括两个方面：a)网络上公开的数据集，如mendeley data等公开的数据；b)人工收集的数据，人工收集的数据主要在自然环境下采集，背景用纯色背景，如图2所示。确定建模双子叶植物，对待建模双子叶植物的叶脉进行形态特征分析，确定其分形维度与分形规则，每个叶脉等级作为一个分形维度。
60.如图3所示，根据双子叶植物实物叶片图片分析双子叶植物叶脉形态特征，总结出双子叶植物叶脉形态具有以下特点：
61.1.二级叶脉及以下的脉序(图中1,2)可识别度较大，可以通过图像阈值分割的方法提取；
62.2.三级及以下的脉序(图中1,2,3)分形规律较强，则可以通过分形迭代的方式从高等级叶脉生成低等级叶脉；
63.3.四级脉序(图中4)分形容易受到同级与高一级的其他叶脉的位置影响，向着最近的同级或高一级的其他叶脉的端点生长。
64.4.五级及以上脉序(图中5)的生成随着四级叶脉的长度有概率生成，生成条件为该四级叶脉大于已知相邻的三级脉序，生呈方向为该叶脉中点到最近高级脉序的叶脉。
65.根据双子叶植物叶脉形态的以上特点，确定分形规则如下：
66.1.一级叶脉和二级叶脉由图像阈值分割方法提取；
67.2.三级叶脉由一级和二级的生成关系(dcgan提取)迁移到二级支脉生成；
68.3.四级叶脉有两种，第一种是三级叶脉顶端生成，生成方向为同样二级支脉上三级叶脉的弯曲程度最大的点；第二种是三级叶脉弯曲程度最大的点，生成方向为相邻二级支脉上三级叶脉的顶点；
69.步骤二：对待建模双子叶植物的叶脉进行叶脉提取，具体方法如下：首先根据图片叶脉和叶肉颜色差调整彩色图片rgb通道下的三种基本色度；对处理好的彩色通道进行合并，并生成灰度图片；对处理好的灰度图片进行阈值调整，得到如图4所示的主叶脉与如图5所示的主叶脉和一级支脉的照片并分类。
70.步骤三：如图6和7所示的结构搭建dcgan网络，训练并调整网络模型参数，生成主叶脉到一级支脉的生成规则。
71.具体模型参数如下表所示。
[0072][0073]
图6表示生成器结构示意图中的conv2d表示卷积层，batch normal2d表示批量归一化层，convtranspose2d表示反卷积层，rule和tanh分别表示两种激活函数。
[0074]
图7表示判别器结构示意图中的conv2d表示卷积层，max pool2d表示池化层，linear表示线性层，leakyrelu与sigmoid表示两种激活函数。
[0075]
图8表示该生成规则根据主叶脉生成的一级支脉的图片。
[0076]
步骤四：根据分形维数确定生成规则迁移的迭代次数，并在迭代次数范围内将生成规则用dcgan迁移到下一级支脉。
[0077]
图9表示将主叶脉生成的一级支脉的生成规则运用到一级支脉上，得到的二级支脉，从图中可以看到低级支脉生成规则在高级支脉生成上能够有较好的生成效果。
[0078]
步骤五：根据分形规则确定最高级叶脉的分形，最后合成最高级叶脉并生成精细叶脉形状。
[0079]
由于最后一级叶脉生成过于细，在原始图像上很难生成，因此通过cad样条曲线将图9所示的二级支脉规则拓出，如图10所示。
[0080]
图11表示运用最后一级叶脉生成规则生成最后一级叶脉，并合成精细化叶脉。
[0081]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。