一种iToF深度数据到原始raw数据的反向生成方法

一种itof深度数据到原始raw数据的反向生成方法
技术领域
1.本发明属于计算机视觉领域，特别是一种itof深度数据到原始raw数据的反向生成方法。


背景技术：

2.随着成像技术和摄像头技术的发展，为了获取深度信息，深度摄像头孕育而生。而其中itof(indirect timeof flight，间接tof)深度摄像头广泛活跃于深度信息获取领域中，itof深度摄像头通过相移法间接测量得到深度，比如通过调制后的多帧相移图计算得到相位，再通过深度计算公式得到距离值。itof虽然凭借着体积小的优势而备受青睐，但其自身也存在着一些不可避免的问题，比如mpi(multipath interference多径干涉)问题。在理想的itof成像原理中，假设投射信号在场景中只是经过一次反射后就被接收sensor接收。而在实际的3d成像过程中，光线会在场景中发生多次反射接收现象。因此，在同一像素中接收的信号往往是多个信号的叠加，从而影响itof的深度测量精度。
3.目前，一种解决mpi问题的方法是通过神经网络学习的方法解决多径干涉问题。然而在现实中，itof深度摄像头很难获取到大量只经过一次反射就被深度摄像头接收的真实数据。而对神经网络学习方法来说大量标签数据常常是训练所需。为解决itof的mpi问题，需要率先解决网络训练所需的数据集缺乏问题。
4.在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。


技术实现要素：

5.针对现有技术中的问题，本发明提出一种itof深度数据到原始raw数据的反向生成方法。通过对已有场景的深度数据，反向生成大批量原始的raw数据，解决神经网络训练的数据集缺乏问题。
6.本发明的目的是通过以下技术方案予以实现，一种itof深度数据到原始raw数据的反向生成方法包括以下步骤：
7.第一步骤，采集郎伯平面、郎伯平面和标定板平面组、无限远距离三种场景下itof摄像头拍摄的原始raw数据；
8.第二步骤，构建itof深度数据到原始raw数据的反向生成模型；
9.第三步骤，基于所述反向生成模型和所述原始raw数据标定所述反向生成模型中的参数以得到参数值；
10.第四步骤，所述参数值代入反向生成模型，将三维建模合成的虚拟场景通过瞬态渲染后批量生成单次反射或多次反射的原始raw数据集。
11.所述的方法中，第一步骤中，郎伯平面为漫反射面，当入射照度一定时，从任何角度观察反射面，其反射亮度是一个常数，对郎伯平面进行拍摄时，拍摄过程中相机和郎伯平面平行，拍摄距离为摄像头能够计算深度的最近距离到最远距离，设置多个等距拍摄间隔
并要求对同一位置拍摄多张求得原始raw数据平均值。
12.所述的方法中，第一步骤中，以郎伯平面和标定板为一组进行拍摄，拍摄同一组平面和标定板的过程中摄像头保持不动，并针对每组的平面和标定板拍摄多组求平均值，其中，itof摄像头对不同位置的标定板拍摄多组作为标定基，然后固定摄像头并保持与郎伯平面平行，将标定板放置于郎伯平面上进行拍摄多张并求均值，摘除标定板后对郎伯平面继续拍摄多张并求均值，这两组认定为一个对应组，然后移动摄像头以相同的方式拍摄多组。
13.所述的方法中，第一步骤中，无限远距离场景下的拍摄中，将itof摄像头放置于空旷区、关闭或遮挡itof的投射器拍摄多张，并求其原始raw数据的平均值。
14.所述的方法中，itof摄像头包括单频摄像头或多频摄像头。
15.所述的方法中，第二步骤中，itof摄像头的反向生成模型为：其中，i代表itof摄像头不同的调制频率，j代表itof摄像头不同的调制相位，k代表图像的像素位置，r
i，k
为光强系数，t
i
为频率周期，为相位，b
i，j，k
为偏移量，d
real，k
为真实深度，d
test，k
为itof摄像头的测量深度，d
real，k
＝a
k
d
test，k
+b
k
，其中k代表图像的像素位置，a
k
为一次项，b
k
为截距。
16.所述的方法中，第二步骤中，对于部分相机，其还存在如下关系：raw
i，j，k
＝max(min(raw
i，j，k
，c
i
)，
‑
c
i
)，其中c
i
为最大阈值。所述的方法中，采集的空旷区或者关闭或遮挡itof摄像头投射器采集的多组原始raw数据求其平均值得到模型中的参数b
i，j，k
，将所有的采集到的原始rsw数据减去所述参数b
i，j，k
；
17.通过采集的郎伯平面和标定板平面为一组的数据，通过标定基和各个不同距离标定板的原始raw数据得到各自对应的置信度图，置信度图通过标定的方法得到所有的标定板的真实深度d
real，k
，通过每个标定板对应的郎伯平面得到原始的raw数据，并计算出每个对应的d
test，k
，通过最小二乘法对每个像素进行拟合得到不同像素对应的a
k
和b
k
；
18.通过采集的不同距离的郎伯平面得到所有对应的测量深度值d
test，k
，然后计算出所有对应的d
real，k
，将所有的raw数据乘以对应的d
2real，k
，得到其中，以深度值d
test，k
为自变量，以深度值d
test，k
所对应的raw
*i，j，k
为因变量，将每个像素进行最小二乘拟合得到所对应的参数r
i，k
，t
i
和
19.所述的方法中，当存在过度曝光情况时，基于raw
i，j，k
＝max(min(raw
i，j，k
，c
i
)，
‑
c
i
)，标定出最大曝光值c
i
。
20.所述的方法中，第四步骤中，瞬态渲染以飞秒为单位分析光线的传播过程，场景中的光源经过不同次数的反射后，每个像素接收到光源的时间t
k，m
，通过d
real，k.m
＝ct
k，m
得到对
应的d
real，k，m
其中m是光反射的次数，c为光速，基于d
real，k，m
得到对应的d
test，k，m
以得到每个场景对应的原始raw数据raw
i，j，k，m
，将所有m情况下的raw
i，j，k，m
进行加和得到实际场景下的原始raw数据集raw
i，j，k
。
21.有益效果
22.本发明将分别采集不同距离的郎伯平面，郎伯平面和标定板组，空旷区、关闭或遮挡投射器三种不同场景下的原始数据。然后构建了itof深度数据到原始raw数据的反向生成模型，并以itof采集的三种场景的原始数据对模型中的所有未知参数进行标定，得到参数值。最后利用该模型针对合成场景批量生成单次反射或多次反射的原始raw数据集，最终解决了神经网络训练的数据集缺乏问题。
23.上述说明仅是本发明技术方案的概述，为了能够使得本发明的技术手段更加清楚明白，达到本领域技术人员可依照说明书的内容予以实施的程度，并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂，下面以本发明的具体实施方式进行举例说明。
附图说明
24.通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。
25.在附图中：
26.图1是本发明实施例的itof深度数据到原始raw数据的反向生成方法流程图；
27.图2是本发明实施例的itof摄像头采集不同距离郎伯平面的示意图；
28.图3是本发明实施例的itof摄像头采集一组郎伯平面和标定板的示意图；
29.图4是本发明实施例的itof摄像头采集标定基的示意图；
30.图5是本发明实施例的itof摄像头在空旷区、关闭或遮挡投射器采集数据的示意图；
31.图6是本发明实施例的itof反向生成模型参数求解流程图；
32.图7是本发明实施例的一种调制频率下itof摄像头原始raw数据过饱和时的拟合曲线图；
33.图8是本发明实施例的一种调制相位下itof摄像头的反向生成模型参数求解流程图。
34.以下结合附图和实施例对本发明作进一步的解释。
具体实施方式
35.下面将参照附图1至图8更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
36.需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
37.为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。
38.itof深度数据到原始raw数据的反向生成方法包括，
39.第一步骤，采集郎伯平面、标定板平面和无限远距离三种场景下itof摄像头拍摄的原始raw数据；
40.第二步骤，构建itof深度数据到原始raw数据的反向生成模型；
41.第三步骤，基于所述反向生成模型和所述原始raw数据标定所述反向生成模型中的参数以得到参数值；
42.第四步骤，所述参数值代入反向生成模型，将合成场景通过瞬态渲染后批量生成单次反射或多次反射的原始raw数据集。可以理解的是，生成的原始raw数据不是第一步采集的原始raw数据集合。
43.本发明首先构建了itof的深度数据到原始raw数据的反向生成模型；再通过采集指定场景下itof的原始raw数据集对反向生成模型的各个参数进行标定；得到已知参数值的反向生成模型后，将合成场景批量生成单次反射或多次反射的原始raw数据集。
44.所述的方法的优选实施方式中，第一步骤中，郎伯平面为漫反射面，当入射照度一定时，从任何角度观察反射面，其反射亮度是一个常数，对郎伯平面进行拍摄时，拍摄过程中相机和郎伯平面平行，拍摄距离为摄像头能够计算深度的最近距离到最远距离，设置多个等距拍摄间隔并要求对同一位置拍摄多张求得原始raw数据平均值。
45.所述的方法的优选实施方式中，第一步骤中，以郎伯平面和标定板为一组进行拍摄，拍摄同一组平面和标定板的过程中摄像头保持不动，并针对每组的平面和标定板拍摄多组求平均值，其中，itof摄像头对不同位置的标定板拍摄多组作为标定基，然后固定摄像头并保持与郎伯平面平行，将标定板放置于郎伯平面上进行拍摄多张并求均值，摘除标定板后对郎伯平面继续拍摄多张并求均值，这两组认定为一个对应组，然后移动摄像头以相同的方式拍摄多组。
46.所述的方法的优选实施方式中，第一步骤中，无限远距离场景下的拍摄中，将itof摄像头放置于空旷区、关闭或遮挡itof的投射器拍摄多张，并求其原始raw数据的平均值。
47.所述的方法的优选实施方式中，itof摄像头包括单频摄像头或多频摄像头。所述的方法的优选实施方式中，第二步骤中，itof摄像头的反向生成模型为：其中，i代表itof摄像头不同的调制频率，j代表itof摄像头不同的调制相位，k代表图像的像素位置，r
i，k
为光强系数，t
i
为频率
周期，为相位，b
i，j，k
为偏移量，d
real，k
为真实深度，d
test，k
为itof摄像头的测量深度，d
real，k
＝a
k
d
test，k
+b
k
，其中k代表图像的像素位置，a
k
为一次项，b
k
为截距。
48.所述的方法的优选实施方式中，第二步骤中，对于部分相机，其还存在如下关系：raw
i，j，k
＝max(min(raw
i，j，k
，c
i
)，
‑
c
i
)，其中c
i
为最大阈值。所述的方法的优选实施方式中，采集的空旷区或者关闭或遮挡itof摄像头投射器采集的多组原始raw数据求其平均值得到模型中的参数b
i，j，k
，将所有的采集到的原始raw数据减去所述参数b
i，j，k
；
49.通过采集的郎伯平面和标定板平面为一组的数据，通过标定基和各个不同距离标定板的原始raw数据得到各自对应的置信度图，置信度图通过标定的方法得到所有的标定板的真实深度d
real，k
，通过每个标定板对应的郎伯平面得到原始的raw数据，并计算出每个对应的d
test，k
，通过最小二乘法对每个像素进行拟合得到不同像素对应的a
k
和b
k
；
50.通过采集的不同距离的郎伯平面得到所有对应的测量深度值d
test，k
，然后计算出所有对应的d
real，k
，将所有的raw数据乘以对应的d
2real，k
，得到其中，以深度值d
test，k
为自变量，以深度值d
test，k
所对应的raw
*i，j，k
为因变量，将每个像素进行最小二乘拟合得到所对应的参数r
i，k
，t
i
和
51.所述的方法的优选实施方式中，当存在过度曝光情况时，基于raw
i，j，k
＝max(min(raw
i，j，k
，c
i
)，
‑
c
i
)，标定出最大曝光值c
i
。
52.所述的方法的优选实施方式中，第四步骤中，瞬态渲染以飞秒为单位分析光线的传播过程，场景中的光源经过不同次数的反射后，每个像素接收到光源的时间t
k，m
，通过d
real，k.m
＝ct
k，m
得到对应的d
real，k，m
，其中m是光反射的次数，c为光速，基于d
real，k，m
得到对应的d
test，k，m
以得到每个场景对应的原始raw数据raw
i，j，k，m
，将所有m情况下的raw
i，j，k，m
进行加和得到实际场景下的raw
i，j，k
。
53.在一个实施例中，方法包括：
54.步骤1：采集郎伯平面(即对于漫反射面，当入射照度一定时，从任何角度观察反射面，其反射亮度是一个常数)、标定板平面和无限远距离三种场景下itof摄像头拍摄的原始raw数据；
55.步骤2：构建itof深度数据到原始raw数据的反向生成模型；
56.步骤3：根据步骤2构建的反向生成模型和步骤1采集的原始raw数据，将反向生成模型中的参数进行标定，得到参数值。
57.步骤4：根据步骤3得到代入参数值的反向生成模型，将合成场景通过瞬态渲染后(以飞秒为单位，分析光线的传播过程)，批量生成单次反射或多次反射的原始raw数据。
58.本发明通过构建itof深度数据到原始raw数据的反向生成模型，并通过采集指定场景的raw数据标定其参数，实现了深度数据到原始raw数据的反向生成。本发明提出的itof深度数据到原始raw数据的反向生成方法既可适用于单频的itof深度摄像头，也适用于多频工作的itof深度摄像头。采用本发明技术方案的有益效果还将通过以下实施例的阐
述而得到具体的体现。
59.总体而言，本发明实施例的itof深度数据到原始raw数据的反向生成方法，是基于itof摄像头模型的构建、标定和反向生成数据技术，首先使用itof摄像头拍摄郎伯平面、标定板平面和无限远距离三种不同场景的原始raw数据。然后针对本发明构建的itof摄像头模型通过之前采集的三种场景下的原始raw数据对模型中的未知参数进行一一标定，最终实现深度数据到原始raw数据的反向生成。
60.图1示意性图示了本发明实施例的itof深度数据到原始raw数据的反向生成方法整体流程。为了清楚说明，下文中将结合图2、图3、图4、图5、图6、图7、图8来描述该方法。
61.步骤1：采集郎伯平面(即对于漫反射面，当入射照度一定时，从任何角度观察反射面，其反射亮度是一个常数)、朗伯平面和标定板平面、无限远距离三种场景下itof摄像头拍摄的原始raw数据。
62.如图2所示，首先需要通过itof摄像头对郎伯平面进行拍摄，拍摄过程中相机和郎伯平面尽量平行，拍摄距离为摄像头能够计算深度的最近距离到最远距离，拍摄间隔尽量密集，并要求对同一位置拍摄多张求得原始数据平均值，以消除高斯噪声和散粒噪声造成的影响。
63.如图3所示，以郎伯平面和标定板为一组进行拍摄，拍摄同一组平面和标定板的过程中摄像头要求保持不动，并针对每组的平面和标定板拍摄多组求平均值以消除噪声影响。其中该场景拍摄细节如下：
64.如图4所示，首先需要用itof摄像头对不同位置的标定板拍摄多组作为标定基，然后固定摄像头并保持与郎伯平面平行，将标定板放置于郎伯平面上进行拍摄多张并求均值，摘除标定板后对郎伯平面继续拍摄多张并求均值，这两组认定为一个对应组。然后移动摄像头以相同的方式拍摄多组。
65.如图5所示，将itof摄像头放置于空旷区、关闭或遮挡itof的投射器拍摄多张，并求其原始raw数据的平均值。其中如果在空旷区拍摄，则要保证itof摄像头距离物体足够远，itof投射器投射出的光无法反射回到接收器中。
66.步骤2：构建itof深度数据到原始raw数据的反向生成模型；
67.本发明的itof摄像头并不局限于单频摄像头，针对于多频摄像头同样适用。其中itof摄像头的反向生成模型如下：
[0068][0069]
其中，1代表itof不同的调制频率，j代表itof不同的调制相位，k代表图像的像素位置。r
i，k
为光强系数，与调制频率和像素位置相关。t
i
为频率周期，只与调制频率有关。为相位，与调制频率和调制相位有关。b
i，j，k
为偏移量，为相机本身的固定模式噪声，同一类型的不同的相机其参数值不同。d
real，k
为真实深度，d
test，k
为itof摄像头的测量深度。
[0070]
对于上述公式，当存在过度曝光，造成摄像头像素饱和时，满足如下条件：
[0071]
raw
i，j，k
＝max(min(raw
i，j，k
，c
i
)，
‑
c
i
)
ꢀꢀꢀ
(2)
[0072]
其中c
i
为最大曝光值。
[0073]
公式1中，d
real，k
可由d
test，k
得到：
[0074]
d
real，k
＝f(d
test，k
)
ꢀꢀꢀ
(3)
[0075]
在实施项中，本发明假设两者存在如下一次关系：
[0076]
d
real，k
＝a
k
d
test，k
+b
k
ꢀꢀꢀ
(4)
[0077]
其中k为像素位置，a
k
一次项，b
k
为截距。
[0078]
步骤3：根据步骤2构建的反向生成模型和步骤1采集的原始raw数据，将反向生成模型中的参数进行标定，得到参数值。
[0079]
如图6所示，itof摄像头反向生成模型的参数标定顺序是首先为b
i，j，k
，其次为a
k
，b
k
，最后为r
i，k
，t
i
，和c
i
。具体实施过程如下：
[0080]
由步骤1中，采集的空旷区或者关闭或遮挡itof摄像头投射器采集的多组原始raw数据求其平均值，可以得到模型中的参数b
i，j，k
。
[0081]
然后将所有的采集到的原始raw数据减去该参数b
i，j，k
，因此以下操作都是基于原始raw数据减去偏移量b
i，j，k
之后的raw数据进行的操作。
[0082]
通过采集的郎伯平面和标定板平面为一组的数据，首先可以通过标定基和各个不同距离标定板的原始raw数据得到各自对应的置信度图，然后通过置信度图通过标定的方法可以得到所有的标定板的真实深度d
real，k
。此时通过每个标定板对应的郎伯平面可以得到原始的raw数据，并以此计算出每个对应的d
test，k
。通过最小二乘法对每个像素进行拟合，最终可以得到不同像素对应的a
k
和b
k
。当采集的拟合数据量不够多时，此时得到的a
k
和b
k
仍然存在一定的误差，其产生的影响为生成的真实深度图的平面凹凸不平。此时通过滤波的方法，将a
k
和b
k
进行平滑滤波，可以进一步减小误差。
[0083]
通过步骤1中采集的不同距离的郎伯平面可以得到所有对应的测量深度值d
test，k
，然后通过公式(4)可以计算出所有对应的d
real，k
，此时将所有的raw数据乘以对应的d
2real，k
，由公式(1)最终可以的到如下对应关系：
[0084][0085]
此时的raw
*i，j，k
为：
[0086][0087]
以深度值d
test，k
为自变量，以d
test，k
所对应的raw
*i，j，k
，为因变量，将每个像素进行最小二乘拟合，最终可以得到所对应的参数r
i，k
，t
i
和当存在过度曝光情况时，则结合公式(2)，标定出参数c
i
。
[0088]
在一个实施例中，itof摄像头有三个调制频率，即i＝0，1，2，每个调制频率有三个调制相位，即j＝1，2，3，其像素总的数量为k＝512
×
424＝217088。首先，根据按照上述过程，我们通过采集遮挡itof摄像头投射器拍摄的原始raw数据并求平均值，得到了raw
i，j，k
，即就得到了b
i，j，k
＝raw
i，j，k
。然后我们通过采集的郎伯平面数据生成了一系列的raw
i，j，k
，并通过raw
i，j，k
我们可以算出了对应的一系列的d
test，k
，通过标定板，我们也可以算出对应的d
real，k
。知道了每个像素对应的d
test，k
和d
real，k
，通过对每个像素进行最小二乘法拟合，得到了a
k
和b
k
。此时，我们可以将所有采集到的郎伯平面的原始raw数据求出全部的d
test，k
和
d
real，k
(即没有标定板对应的郎伯平面)。此时我们将采集到的郎伯平面的一系列raw
i，j，k
与之前得到的b
i，j，k
相减后再与d
2real，k
相乘，得到公式(5)中一系列的raw
*i，j，k
。通过将一系列的raw
*i，j，k
和d
test，k
进行最小二乘法拟合，可以得到r
i，k
，t
i
和在拟合过程中，发现第二个调制频率产生的对应点坐标如图7所示。此时说明该调制频率下的像素存在饱和现象。对该频率对公式(2)进行拟合，得到了该调制频率下对应的c2。而其他频率为正常的正弦波。因此只拟合公式(1)。
[0089]
部分itof相机采用了一些相对特殊的调制相位，此时可以利用这些特殊的调制相位，进行参数标定。在一个实施例中，分别为0，π/2，π，3π/2时，其标定参数的b
i，j，k
和a
k
，b
k
的过程仍保持不变。对于r
i，k
，t
i
和则可以采用如下方法进行标定。其标定过程如图8所示。
[0090]
首先利用三角变换，通过公式：
[0091][0092]
可以得到a
i，k
，其中：
[0093][0094][0095][0096][0097][0098]
其中a
i，0，k
，a
i，1，k
，a
i，2，k
，a
i，3，k
都可以通过原始raw数据减去b
i，j，k
得到。因此可最终得到实际的a
i，k
。
[0099]
通过公式(7)得到的a
i，k
，可将raw
i，j，k
归一化以消除d
real，k
误差产生的影响，得到：
[0100][0101]
其中满足如下条件：
[0102][0103]
此时需要标定的参数不存在像素位置信息，可以将所有的像素通过最小二乘法进行拟合，可进一步提升拟合的数据量，得到t
i
和
[0104]
最后通过公式(8)，对每个像素进行最小二乘法拟合可得到r
i，k
。
[0105]
步骤4：根据步骤3得到代入参数值的反向生成模型，将合成场景通过瞬态渲染后(以飞秒为单位，分析光线的传播过程)，批量生成单次反射或多次反射的原始raw数据。
[0106]
对于已有的合成场景，通过瞬态渲染技术，我们可以得到场景中的光源经过不同次数的反射后，每个像素接收到光源的时间t
k，m
，通过公式：
[0107]
d
test，k.m
＝ct
k，m
ꢀꢀꢀ
(15)
[0108]
可以得到对应的d
real，k，m
。其中m是光反射的次数，c为光速。当m＝1，即只经过一次反射时，为最理想情况。
[0109]
将d
real，k，m
带入公式(4)中，可以得到对应的d
test，k，m
。将d
test，k，m
和d
real，k，m
带入到公式(1)和公式(2)中，可以得到每个场景对应的原始raw数据raw
i，j，k，m
。将所有m情况下的raw
i，j，k，m
进行加和，可以得到实际场景下的raw
i，j，k
。而理想情况下，m＝1。此时可以得到raw
i，j，k，1
。最终可以得到实际情况下的raw数据和对应的理想情况下的raw数据。
[0110]
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。