一种摄像头的人体关键点检测方法及装置与流程

1.本发明涉及嵌入式设备关键点检测技术领域，特别涉及一种摄像头的人体关键点检测方法及装置。


背景技术：

2.随着计算机视觉技术的进一步发展，深度学习神经网络在图像识别和姿态检测任务中都取得了很多成果。在姿态检测中首先对图像进行特征提取，通过确定人体关键点位置，来完成姿态检测。在摄像头上，为人工智能应用提升性能，开始使用神经网络处理器npu，加速处理ai算法中一些特定公式计算。
3.现有技术中，人体关键点检测模型通常模型尺寸较大，推理时间过长，难以在摄像头等低容量低算力的嵌入式设备上部署应用。因此，如何设计并训练一个轻量级的人体关键点检测模型，并进一步在摄像头优化空间利用，调动神经网络处理器的算力，成为需要解决的技术问题。


技术实现要素：

4.本发明要解决的技术问题，在于提供一种摄像头的人体关键点检测方法及装置，通过设计并训练一个轻量级的人体关键点检测模型，并进一步在摄像头优化空间利用，调动神经网络处理器的算力，实现摄像头的人体关键点检测。
5.第一方面，本发明提供了一种摄像头的人体关键点检测方法，包括：
6.步骤10、构建轻量级人体关键点模型，包括输入输出节点、主干网络、上采样模块以及输出节点；
7.步骤20、获取人体关键点图像和标注文件作为训练数据，然后划分为训练集和测试集；
8.步骤30、对训练参数进行配置，然后利用训练集对所述轻量级人体关键点模型进行训练；
9.步骤40、通过测试集进行人体关键点检测模型验证，如果验证结果不达标，则返回步骤20增加训练数据量或返回步骤30调整训练参数；如果验证结果达标，则进入步骤50；
10.步骤50、将训练得到的模型文件和权重数据转换为通用的神经网络模型格式文件，然后设置模型转换预处理和量化方法参数、模型输入节点、模型输入尺寸和模型输出节点，将模型格式文件量化和压缩为摄像头内置的神经网络处理器能利用的模型格式，最后输出转换后的人体关键点检测模型；
11.步骤70、将转换后的人体关键点检测模型部署于摄像头设备中；
12.步骤80、将摄像头采集到的原始图像进行处理得到模型的输入图像，调用神经网络处理器，通过转换后的人体关键点检测模型进行人体关键点检测，将输出的热点图阵信息转换为人体关键点坐标并显示于摄像头原始图像上。
13.进一步地，所述方法还包括：
14.步骤60、对转换后的模型进行准确性、性能和内存评估，当评估结果满足要求时，进入步骤70；当评估结果不满足要求时，返回步骤50优化模型转换参数。
15.进一步地，所述步骤40中，通过网络爬虫抓取人体图像数据增加训练数据量。
16.进一步地，所述步骤50中，模型转换预处理和量化方法参数包括批处理大小、输入均值、输入归一化值、图像通道顺序、水平/垂直合并、量化类型、量化参数优化算法、量化算法迭代次数以及模型优化级数。
17.进一步地，所述步骤80具体包括：
18.步骤81、将摄像头辅流采集的原始图像转换为通用的图像处理格式，使用人体检测功能，得到在原始图像上人体检测框坐标信息；将所述人体检测框坐标信息放大指定倍数，裁剪出人体图像；将裁剪后的人体图像缩放尺寸为模型的指定输入尺寸；
19.步骤82、配置神经网络处理器输入输出属性，调用神经网络处理器接口进行人体关键点检测模型推理，得到人体关键点热点图阵列；
20.步骤83、对于每个人体关键点，在其对应热点图阵列上找到热点值最大的数，将其索引转换为热点图坐标；将热点图坐标转换为裁剪的人体图像上的人体关键点坐标，再将裁剪的人体图像的人体关键点坐标转换为原始图像上的人体关键点坐标，得到原始图像上所有人体关键点坐标信息；
21.步骤84、根据人体关键点坐标信息，在摄像头主流图像上绘制人体关键点。
22.进一步地，所述步骤84具体包括：
23.建立一个队列，在辅流上处理得到的人体关键点坐标信息添加到队列中；在主流处理流程中，从队列上取出人体关键点坐标信息，根据其坐标，在对应的图像像素点位置，以及该位置周围的像素点，改变其像素值来改变该像素的颜色，达到绘制人体关键点的效果。
24.第二方面，本发明提供了一种摄像头的人体关键点检测装置，包括：所述摄像头内置有神经网络处理器，所述装置包括：模型构建模块、数据处理模块、模型训练模块、模型验证模块、模型转换模块、模型部署模块以及关键点输出模块；
25.模型构建模块，用于构建轻量级人体关键点模型，包括输入输出节点、主干网络、上采样模块以及输出节点；
26.数据处理模块，用于获取人体关键点图像和标注文件作为训练数据，然后划分为训练集和测试集；
27.模型训练模块，用于对训练参数进行配置，然后利用训练集对所述轻量级人体关键点模型进行训练；
28.模型验证模块，用于通过测试集进行人体关键点检测模型验证，如果验证结果不达标，则返回数据处理模块增加训练数据量或返回模型训练模块调整训练参数；如果验证结果达标，则进入模型转换模块；
29.模型转换模块，用于将训练得到的模型文件和权重数据转换为通用的神经网络模型格式文件，然后设置模型转换预处理和量化方法参数、模型输入节点、模型输入尺寸和模型输出节点，将模型格式文件量化和压缩为摄像头内置的神经网络处理器能利用的模型格式，最后输出转换后的人体关键点检测模型；
30.模型部署模块、用于将转换后的人体关键点检测模型部署于摄像头设备中；
31.关键点输出模块，用于将摄像头采集到的原始图像进行处理得到模型的输入图像，调用神经网络处理器，通过转换后的人体关键点检测模型进行人体关键点检测，将输出的热点图阵信息转换为人体关键点坐标并显示于摄像头原始图像上。
32.进一步地，所述装置还包括模型评估模块，用于对转换后的模型进行准确性、性能和内存评估，当评估结果满足要求时，进入模型部署模块；当评估结果不满足要求时，返回模型转换模块优化模型转换参数。
33.进一步地，所述关键点输出模块具体包括：
34.输入图像处理模块，用于将摄像头辅流采集的原始图像转换为通用的图像处理格式，使用人体检测功能，得到在原始图像上人体检测框坐标信息；将所述人体检测框坐标信息放大指定倍数，裁剪出人体图像；将裁剪后的人体图像缩放尺寸为模型的指定输入尺寸；
35.调用检测模块，用于配置神经网络处理器输入输出属性，调用神经网络处理器接口进行人体关键点检测模型推理，得到人体关键点热点图阵列；
36.坐标转换模块，用于对于每个人体关键点，在其对应热点图阵列上找到热点值最大的数，将其索引转换为热点图坐标；将热点图坐标转换为裁剪的人体图像上的人体关键点坐标，再将裁剪的人体图像的人体关键点坐标转换为原始图像上的人体关键点坐标，得到原始图像上所有人体关键点坐标信息；
37.关键点绘制模块，用于根据人体关键点坐标信息，在摄像头主流图像上绘制人体关键点。
38.进一步地，所述关键点绘制模块具体用于：
39.建立一个队列，在辅流上处理得到的人体关键点坐标信息添加到队列中；在主流处理流程中，从队列上取出人体关键点坐标信息，根据其坐标，在对应的图像像素点位置，以及该位置周围的像素点，改变其像素值来改变该像素的颜色，达到绘制人体关键点的效果。
40.本发明实施例中提供的技术方案，至少具有如下技术效果或优点：
41.1、通过模型设计，缩减了模型大小，并且提高了模型的推理速度；通过模型转换，在尽量避免精度损失的情况下，节省了摄像头的存储空间；
42.2、更好地利用了神经网络处理器，使其加速处理算法，提高了人体关键点检测模型在摄像头上的表现。
43.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
44.下面参照附图结合实施例对本发明作进一步的说明。
45.图1为本发明实施例人体关键点检测总体流程示意图；
46.图2为本发明实施例上采样神经网络结构示意图；
47.图3为本发明实施例人体关键点检测结果示意图；
48.图4为本发明实施例模型转换流程示意图；
49.图5为本发明实施例一中方法中的流程图；
50.图6为本发明实施例二中装置的结构示意图。
具体实施方式
51.本发明实施例通过提供一种摄像头的人体关键点检测方法及装置，通过设计并训练一个轻量级的人体关键点检测模型，并进一步在摄像头优化空间利用，调动神经网络处理器的算力，实现摄像头的人体关键点检测。
52.本发明的总体思路如下：
53.本发明实施例运用到多个方法，包括轻量级人体关键点检测模型的设计方法，轻量级人体关键点检测模型的训练方法，模型的神经网络处理器对应格式的转换方法，以及摄像头神经网络处理器的利用方法。
54.轻量级人体关键点检测模型的设计方法技术特征为：使用轻量级主干网络来减小模型尺寸，加速模型推理；利用上采样，缩减模型输出大小，进一步加速模型推理。轻量级人体关键点检测模型的训练方法技术特征为：通过网络爬虫获取训练数据，丰富训练集内容。模型的神经网络处理器对应格式的转换方法技术特征为：对模型数据进行量化，在尽量减少模型精度损失的情况下优化模型性能；对模型编码压缩，更节省设备空间。摄像头神经网络处理器的利用方法技术特征为：利用计算机视觉图像处理来改变图像内容属性；使用神经网络处理器为模型推理运算加速。
55.本发明实施例的具体操作过程：
56.步骤1：进行轻量级人体关键点模型设计，使用mxnet作为深度学习框架。设计模型神经网络结构，包括输入输出节点、主干网络以及上采样模块。人体关键点检测总体流程参见图1。具体步骤如下：
57.步骤1.1：模型输入大小设置为高256像素，宽192像素，3通道；
58.步骤1.2：采用mobilenetv2作为主干网络，通过在主干网络后添加一系列神经网络层，包括2维卷积层(conv2d)，数据规范化层 (batchnormalization)，线性整流激活函数(relu)，2维卷积转置 (conv2dtranspose)；
59.步骤1.3：实现上采样模块，通过降低图像分辨率，来缩小最终输出的热点图的尺寸，网络结构参见图2；
60.步骤1.4：将模型输出规范化为包含17个人体关键点，高64像素，宽 48像素的热点图阵列。
61.步骤2：准备人体关键点图像和标注文件作为训练数据。具体步骤如下：
62.步骤2.1：收集coco2017数据集的人体图像；
63.步骤2.2：准备对应的人体关键点标注文件。标注文件所标注的人体关键点位置为鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝、右踝，每个关键点记录了其在图像上的横纵坐标；
64.步骤2.3：如果coco17数据集的数据还不够用，通过网络爬虫抓取人体图像数据，对采集的人体图像进行预处理，排除特征不明显的人体图片，对人体图片进行对齐来适应模型输入，为图像编写相应的标注文件。
65.步骤3：使用步骤2获取的训练数据和步骤1设计的模型进行训练，将数据划分为训练集和测试集。具体步骤如下：
66.步骤3.1：每批次同时训练128张图片，将输入图像的尺寸设置为高256 像素，宽192像素；
67.步骤3.2：根据多次实验得到的经验，对训练参数进行如下设置，初始学习率设置为0.001，训练迭代次数设置为140次，在第90次时，将学习率设置为0.0001，在第120次时，将学习率设置为0.00001，在第140次时，将学习率设置为0.000001；
68.步骤3.3：验证评价指标设置为热点图准确度heatmapaccuracy，损失函数采用最小均方差损失(l2loss)，训练优化器使用自适应矩估计(adam)；
69.步骤3.4：配置完成开始模型训练。
70.步骤4：训练后通过测试集进行人体关键点检测模型验证。检测结果参见图3。具体步骤如下：
71.步骤4.1：如果准确率不够高，可能是训练数据量不够大发生过拟合，在步骤2中用网络爬虫的方法获取更多的数据加入训练集重新训练；
72.步骤4.2：或者调整训练参数，修改学习率，学习变化率和训练迭代次数，反复实验验证训练效果。重复训练验证直到准确率达到要求的指标。
73.步骤5：转换人体关键点检测模型，参见图4。具体步骤如下：
74.步骤5.1：使用步骤3训练得到的模型文件和权重数据，转换得到通用的神经网络模型格式onnx；
75.步骤5.2：将onnx文件转换为更节省空间的，能被神经网络处理器利用的模型格式，首先初始化模型转换环境；
76.步骤5.3：设置转换模型参数，批处理大小100，输入均值123.675,116.28, 103.53，输入归一化值58.82,58.82,58.82，图像通道顺序rgb，设置水平合并，量化类型设置为u8类型的非对称量化，量化参数优化算法使用normal 算法,量化算法迭代次数设置为3，对模型做3级优化；
77.步骤5.4：配置要转换的人体关键点检测onnx模型，设置输入节点、输入尺寸和输出节点；
78.步骤5.5：配置好后构建转换后的模型，对模型进行量化和压缩；
79.步骤5.6：最后输出保存转换后的人体关键点检测模型。
80.步骤6：对转换后的模型进行准确性、性能和内存进行评估，优化模型转换参数。具体步骤如下：
81.步骤6.1：将转换后模型的推理结果和原始框架的推理结果进行比较，用余弦距离评估两个结果的相似性；
82.步骤6.2：对转换后模型量化精度进行分析，保存非量化情况和量化情况每一层的中间结果，用余弦距离评估它们的相似性，观察每一层相似度变化情况，定位哪些算子对量化不友好；
83.步骤6.3：对转换后模型进行性能评估，评估模型运行时每一层的耗时信息，并计算模型整体的耗时；
84.步骤6.4：对转换后模型进行内存评估，检查在开发板上模型推理时的内存使用情况；
85.步骤6.5：评估完成后，将转换后的模型添加到到摄像头的烧片文件中，烧片后摄
像头能利用人体关键点检测模型。
86.步骤7：为了能在摄像头上使用人体关键点检测模型，首先在摄像头上准备好模型的输入，具体步骤如下：
87.步骤7.1：将摄像头辅流采集的nv12原始图像，转换为rgb24的格式，使用人体检测功能，得到在原始图像上人体的检测框坐标信息；
88.步骤7.2：利用原始图像上人体的检测框坐标信息，将其放大1.25倍，裁剪该人体图像；
89.步骤7.3：将裁剪后的人体图像缩放尺寸为模型的输入尺寸，高256像素，宽192像素，模型输入就准备完成。
90.步骤8：准备好模型输入图像后，调用神经网络处理器进行推理，具体步骤如下：
91.步骤8.1：首先配置神经网络处理器输入输出属性，节点量化类型为 uint8，节点格式顺序为高度-宽度-通道；
92.步骤8.2：设置好神经网络处理器属性后，就可以调用神经网络处理器 api进行人体关键点检测模型推理。
93.步骤9：人体关键点检测模型推理后，对得到的模型输出进行后处理，具体步骤如下：
94.步骤9.1：17个人体关键点对应了17个热点图阵列信息，对于每个人体关键点，在其对应热点图阵列上找到热点值最大的数，将其索引转换为热点图坐标；
95.步骤9.2：将热点图坐标转换为裁剪的人体图像上的人体关键点坐标，再将裁剪的人体图像的人体关键点坐标转换为原始图像上的人体关键点坐标；
96.步骤9.3：将17个人体关键点坐标全部转换完成，得到原始图像上所有人体关键点坐标信息。
97.步骤10：经过步骤7、步骤8、步骤9，摄像头辅流的图像通过人体关键点检测模型处理，得到了图像上人体关键点坐标信息，现在根据人体关键点坐标信息，在摄像头主流上绘制人体关键点，具体步骤如下：
98.步骤10.1：建立一个队列，在辅流上处理得到的人体关键点坐标信息添加到队列中；
99.步骤10.2：在主流处理流程中，从队列上取出人体关键点坐标信息，根据其坐标，在对应的图像像素点位置，以及该位置周围的像素点，改变其像素值来改变该像素的颜色，达到绘制人体关键点的效果；
100.步骤10.3：经过绘制后，摄像头主流的图像上就有了人体关键点的标识。
101.将人体关键点检测模型应用到摄像头后进行实例验证，步骤如下：
102.1、摄像头开机，完成初始化；
103.2、在计算机设备上，在媒体播放器上使用rtsp协议获取摄像头主流的流媒体，将摄像头画面播放出来；
104.3、使摄像头镜头捕获到人体；
105.4、此时在媒体播放器上显示的摄像头画面，会标识出人体的17个关键点。
106.实施例一
107.本实施例提供一种摄像头的人体关键点检测方法，所述摄像头内置有神经网络处
理器，如图5所示，所述方法包括：
108.步骤10、构建轻量级人体关键点模型，包括输入输出节点、主干网络、上采样模块以及输出节点；
109.步骤20、获取人体关键点图像和标注文件作为训练数据，然后划分为训练集和测试集；
110.步骤30、对训练参数进行配置，然后利用训练集对所述轻量级人体关键点模型进行训练；
111.步骤40、通过测试集进行人体关键点检测模型验证，如果验证结果不达标，则返回步骤20增加训练数据量(比如，通过网络爬虫抓取人体图像数据)或返回步骤30调整训练参数；如果验证结果达标，则进入步骤50；
112.步骤50、将训练得到的模型文件和权重数据转换为通用的神经网络模型格式文件，然后设置模型转换预处理和量化方法参数、模型输入节点、模型输入尺寸和模型输出节点，将模型格式文件量化和压缩为摄像头内置的神经网络处理器能利用的模型格式，最后输出转换后的人体关键点检测模型；
113.步骤70、将转换后的人体关键点检测模型部署于摄像头设备中；
114.步骤80、将摄像头采集到的原始图像进行处理得到模型的输入图像，调用神经网络处理器，通过转换后的人体关键点检测模型进行人体关键点检测，将输出的热点图阵信息转换为人体关键点坐标并显示于摄像头原始图像上。
115.在一种可能的实施方式中，所述方法还包括：
116.步骤60、对转换后的模型进行准确性、性能和内存评估，当评估结果满足要求时，进入步骤70；当评估结果不满足要求时，返回步骤50优化模型转换参数。
117.在将模型部署到摄像头之前，先通过对转换后的模型进行准确性、性能和内存评估，可以确保转换后的模型满足应用要求，
118.在一种可能的实施方式中，所述步骤50中，模型转换预处理和量化方法参数包括批处理大小、输入均值、输入归一化值、图像通道顺序、水平/ 垂直合并、量化类型、量化参数优化算法、量化算法迭代次数以及模型优化级数。
119.在一种可能的实施方式中，所述步骤80具体包括：
120.步骤81、将摄像头辅流采集的原始图像转换为通用的图像处理格式，使用人体检测功能，得到在原始图像上人体检测框坐标信息；将所述人体检测框坐标信息放大指定倍数，裁剪出人体图像；将裁剪后的人体图像缩放尺寸为模型的指定输入尺寸；
121.步骤82、配置神经网络处理器输入输出属性，调用神经网络处理器接口进行人体关键点检测模型推理，得到人体关键点热点图阵列；
122.步骤83、对于每个人体关键点，在其对应热点图阵列上找到热点值最大的数，将其索引转换为热点图坐标；将热点图坐标转换为裁剪的人体图像上的人体关键点坐标，再将裁剪的人体图像的人体关键点坐标转换为原始图像上的人体关键点坐标，得到原始图像上所有人体关键点坐标信息；
123.步骤84、根据人体关键点坐标信息，在摄像头主流图像上绘制人体关键点：
124.建立一个队列，在辅流上处理得到的人体关键点坐标信息添加到队列中；在主流处理流程中，从队列上取出人体关键点坐标信息，根据其坐标，在对应的图像像素点位置，
以及该位置周围的像素点，改变其像素值来改变该像素的颜色，达到绘制人体关键点的效果。
125.基于同一发明构思，本技术还提供了与实施例一中的方法对应的装置，详见实施例二。
126.实施例二
127.在本实施例中提供了一种摄像头的人体关键点检测装置，所述摄像头内置有神经网络处理器，如图6所示，所述装置包括：模型构建模块、数据处理模块、模型训练模块、模型验证模块、模型转换模块、模型部署模块以及关键点输出模块；
128.模型构建模块，用于构建轻量级人体关键点模型，包括输入输出节点、主干网络、上采样模块以及输出节点；
129.数据处理模块，用于获取人体关键点图像和标注文件作为训练数据，然后划分为训练集和测试集；
130.模型训练模块，用于对训练参数进行配置，然后利用训练集对所述轻量级人体关键点模型进行训练；
131.模型验证模块，用于通过测试集进行人体关键点检测模型验证，如果验证结果不达标，则返回数据处理模块增加训练数据量或返回模型训练模块调整训练参数；如果验证结果达标，则进入模型转换模块；
132.模型转换模块，用于将训练得到的模型文件和权重数据转换为通用的神经网络模型格式文件，然后设置模型转换预处理和量化方法参数、模型输入节点、模型输入尺寸和模型输出节点，将模型格式文件量化和压缩为摄像头内置的神经网络处理器能利用的模型格式，最后输出转换后的人体关键点检测模型；
133.模型部署模块、用于将转换后的人体关键点检测模型部署于摄像头设备中；
134.关键点输出模块，用于将摄像头采集到的原始图像进行处理得到模型的输入图像，调用神经网络处理器，通过转换后的人体关键点检测模型进行人体关键点检测，将输出的热点图阵信息转换为人体关键点坐标并显示于摄像头原始图像上。
135.进一步地，所述装置还包括模型评估模块，用于对转换后的模型进行准确性、性能和内存评估，当评估结果满足要求时，进入模型部署模块；当评估结果不满足要求时，返回模型转换模块优化模型转换参数。
136.进一步地，所述关键点输出模块具体包括：
137.输入图像处理模块，用于将摄像头辅流采集的原始图像转换为通用的图像处理格式，使用人体检测功能，得到在原始图像上人体检测框坐标信息；将所述人体检测框坐标信息放大指定倍数，裁剪出人体图像；将裁剪后的人体图像缩放尺寸为模型的指定输入尺寸；
138.调用检测模块，用于配置神经网络处理器输入输出属性，调用神经网络处理器接口进行人体关键点检测模型推理，得到人体关键点热点图阵列；
139.坐标转换模块，用于对于每个人体关键点，在其对应热点图阵列上找到热点值最大的数，将其索引转换为热点图坐标；将热点图坐标转换为裁剪的人体图像上的人体关键点坐标，再将裁剪的人体图像的人体关键点坐标转换为原始图像上的人体关键点坐标，得到原始图像上所有人体关键点坐标信息；
140.关键点绘制模块，用于根据人体关键点坐标信息，在摄像头主流图像上绘制人体
关键点。
141.进一步地，所述关键点绘制模块具体用于：
142.建立一个队列，在辅流上处理得到的人体关键点坐标信息添加到队列中；在主流处理流程中，从队列上取出人体关键点坐标信息，根据其坐标，在对应的图像像素点位置，以及该位置周围的像素点，改变其像素值来改变该像素的颜色，达到绘制人体关键点的效果。
143.由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
144.本发明通过模型设计，缩减了模型大小，并且提高了模型的推理速度；通过模型转换，在尽量避免精度损失的情况下，节省了摄像头的存储空间；更好地利用了神经网络处理器，使其加速处理算法，提高了人体关键点检测模型在摄像头上的表现。
145.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
146.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
147.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
148.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
149.虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。