图像特征提取匹配的方法、装置和电子设备与流程

1.本发明涉及图像处理的技术领域，尤其是涉及一种图像特征提取匹配的方法、装置和电子设备。


背景技术：

2.特征提取是计算机视觉和图像处理中的一个概念，指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或连续的区域。特征的好坏对泛化性能存在至关重要的影响。
3.传统的特征提取匹配算法的过程主要是先将rgb图像转化为灰度图像，然后利用sift或者orb算法确定灰度图像的特征点和特征点所对应的特征向量，进而再根据特征向量进行特征点的匹配。
4.上述特征提取匹配的过程在图像拼接或同步定位与地图构建的应用场景中，都需要先将相机采集到的两张连续的raw图像分别经过协同isp(图像信号处理)处理，得到两张连续的rgb图像，然后，再采用sift或者orb算法对两张连续的rgb图像进行特征提取匹配，进而根据匹配的特征点确定单应性矩阵，最后，根据单应性矩阵进行两张连续的rgb图像的拼接，完成图像的拼接后需要再对拼接后的rgb图像进行颜色矫正，或者，最后根据匹配的特征点实现3d定位。在图像拼接的应用场景中或在同步定位与地图构建的应用场景中，需要对两张连续的raw图像分别进行协同isp处理，过程复杂，另外，对于一些边缘光滑的目标，在采用sift或者orb算法对rgb图像进行特征提取时，提取的特征点数量少，导致后续的特征匹配准确性差。
5.综上，现有的图像特征提取匹配的方法在图像拼接的场景中或在同步定位与地图构建的场景中应用时，过程复杂，在一些极端的场景中，提取的特征点的数量少，导致特征匹配的准确性差。


技术实现要素：

6.有鉴于此，本发明的目的在于提供一种图像特征提取匹配的方法、装置和电子设备，以缓解现有的图像特征提取匹配的方法在图像拼接的场景中或在同步定位与地图构建的场景中应用时，过程复杂，在一些极端的场景中，提取的特征点的数量少，导致特征匹配的准确性差的技术问题。
7.第一方面，本发明实施例提供了一种图像特征提取匹配的方法，包括：获取图像传感器采集的连续的raw图像，并对所述raw图像进行取值范围变更，得到变更取值范围后的raw图像；采用特征提取模型对各变更取值范围后的raw图像进行特征提取，得到特征点和与所述特征点对应的特征向量；根据连续的所述raw图像的特征向量确定连续的所述raw图像的特征点的匹配关系。
8.进一步的，对所述raw图像进行取值范围变更，包括：将所述raw图像对应的矩阵中
的每个元素比例变换，得到变更取值范围后的矩阵，进而得到与所述变更取值范围后的矩阵对应的变更取值范围后的raw图像。
9.进一步的，采用特征提取模型对各变更取值范围后的raw图像进行特征提取，包括：将所述各变更取值范围后的raw图像输入至所述特征提取模型，输出得到各raw图像的特征点和与所述特征点对应的特征向量。
10.进一步的，根据连续的所述raw图像的特征向量确定连续的所述raw图像的特征点的匹配关系，包括：计算连续的所述raw图像的各特征向量之间的距离；根据所述距离确定连续的所述raw图像的特征点的匹配关系。
11.进一步的，根据所述距离确定连续的所述raw图像的特征点的匹配关系，包括：若所述距离小于预设距离阈值，则确定所述距离对应的两个特征向量匹配，且匹配的两个特征向量所对应的特征点之间匹配。
12.进一步的，所述方法还包括：根据匹配的特性点对和匹配的特征向量对确定图像拼接的单应性矩阵；根据所述单应性矩阵对连续的所述raw图像进行拼接，得到拼接后的raw图像；对所述拼接后的raw图像进行图像信号处理，得到处理后的rgb图像。
13.进一步的，所述方法还包括：根据匹配的特性点对对所述图像传感器进行定位。
14.第二方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
15.第三方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面任一项所述的方法的步骤。
16.第四方面，本发明实施例提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行上述第一方面任一项所述的方法。
17.在本发明实施例中，首先，获取图像传感器采集的连续的raw图像，并对raw图像进行取值范围变更，得到变更取值范围后的raw图像；然后，采用特征提取模型对各变更取值范围后的raw图像进行特征提取，得到特征点和与特征点对应的特征向量；最后，根据连续的raw图像的特征向量确定连续的raw图像的特征点的匹配关系。通过上述描述可知，本发明的图像特征提取匹配的方法在进行特征提取时，直接对变更取值范围后的raw图像进行特征提取，无需再对两张连续的raw图像分别进行协同isp处理，简化了图像特征提取的复杂度，另外，raw图像所包含的图像信息更丰富，采用特征提取模型对其进行特征提取时，在各种极端的场景中都能提取得到丰富的特征点，使得后续特征匹配的准确性好，缓解了现有的图像特征提取匹配的方法在图像拼接的场景中或在同步定位与地图构建的场景中应用时，过程复杂，在一些极端的场景中，提取的特征点的数量少，导致特征匹配的准确性差的技术问题。
附图说明
18.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例提供的一种电子设备的示意图；
20.图2为本发明实施例提供的一种图像特征提取匹配的方法的流程图；
21.图3为本发明实施例提供的根据连续的raw图像的特征向量确定连续的raw图像的特征点的匹配关系的流程图；
22.图4为本发明实施例提供的图像拼接的方法流程图；
23.图5为本发明实施例提供的一种图像特征提取匹配的装置的示意图。
具体实施方式
24.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
26.实施例1：
27.首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像特征提取匹配的方法。
28.如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
29.所述处理器102可以采用数字信号处理器(dsp，digital signal processing)、现场可编程门阵列(fpga，field－programmable gate array)、可编程逻辑阵列(pla，programmable logic array)和asic(application specific integrated circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(cpu，central processing unit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
30.所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以
包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
31.所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
32.所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
33.所述摄像机110中的图像传感器用于进行raw图像的采集，其中，摄像机中的图像传感器所采集的raw图像经过所述图像特征提取匹配的方法进行处理之后得到连续的raw图像的特征点的匹配关系，例如，图像传感器可以采集用户期望的raw图像，然后，将该raw图像经过所述图像特征提取匹配的方法进行处理之后得到连续的raw图像的特征点的匹配关系，图像传感器还可以将所采集的raw图像存储在所述存储器104中以供其它组件使用。
34.示例性地，用于实现根据本发明实施例的图像特征提取匹配的方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端。
35.实施例2：
36.根据本发明实施例，提供了一种图像特征提取匹配的方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
37.图2是根据本发明实施例的一种图像特征提取匹配的方法的流程图，如图2所示，该方法包括如下步骤：
38.步骤s202，获取图像传感器采集的连续的raw图像，并对raw图像进行取值范围变更，得到变更取值范围后的raw图像；
39.相比于rgb图像，raw图像可以确保最高的画质以及细节。raw图像拥有更广阔的动态范围，更丰富的图像格式和色域，而且保留了大部分拍摄的图像信息。raw格式文件的目的是把储存信息的损失降到最低，从图像传感器(即信号传感器，或者，sensor)获得的数据以及周围捕获的图像，都能原原本本的记录相机拍摄到的信息。而更常见的jpg则相反，相机在获取raw数据后，便会根据相机内置的算法来调整曝光、颜色和对比等，加上一定程度的压缩，导致jpeg格式文件在后期时有更大的限制。raw格式文件所储存的动态范围不论是在12bit模式还是14bit模式，都比jpeg格式多百倍以上(raw的16384级对比jpeg格式的256级)。在颜色上，jpeg格式包含1600万的色调，但raw格式包含的色调多达680亿，因为raw格式拥有更庞大的色彩空间，图像在色调连续大的上更显流畅，有更大的后期空间。
40.上述raw图像可以为bayer格式，也可以是rggb格式，得到连续的raw图像后，对raw图像进行取值范围变更，得到变更取值范围后的raw图像以对变更取值范围后的raw图像进行特征提取。
41.步骤s204，采用特征提取模型对各变更取值范围后的raw图像进行特征提取，得到特征点和与特征点对应的特征向量；
42.本技术采用特征提取模型(神经网络)进行特征提取，算法的准确度高，速度快，特征提取模型自行选取特征点，减少了错误的特征点计算图像拼接的单应性矩阵的误差。可以通过学习强化模型对于模糊情况、边缘光滑情况的特征提取，模型具有自学功能，可以通过大量的数据学习到有效的信息，并且处理类似的问题，模型同时还具有高速寻求最优化解的能力，在各种极端的场景中都能提取得到丰富的特征点，使得后续特征匹配的准确性好。
43.步骤s206，根据连续的raw图像的特征向量确定连续的raw图像的特征点的匹配关系。
44.在本发明实施例中，首先，获取图像传感器采集的连续的raw图像，并对raw图像进行取值范围变更，得到变更取值范围后的raw图像；然后，采用特征提取模型对各变更取值范围后的raw图像进行特征提取，得到特征点和与特征点对应的特征向量；最后，根据连续的raw图像的特征向量确定连续的raw图像的特征点的匹配关系。通过上述描述可知，本发明的图像特征提取匹配的方法在进行特征提取时，直接对变更取值范围后的raw图像进行特征提取，无需再对两张连续的raw图像分别进行协同isp处理，简化了图像特征提取的复杂度，另外，raw图像所包含的图像信息更丰富，采用特征提取模型对其进行特征提取时，在各种极端的场景中都能提取得到丰富的特征点，使得后续特征匹配的准确性好，缓解了现有的图像特征提取匹配的方法在图像拼接的场景中或在同步定位与地图构建的场景中应用时，过程复杂，在一些极端的场景中，提取的特征点的数量少，导致特征匹配的准确性差的技术问题。
45.上述内容对本发明的图像特征提取匹配的方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。
46.在本发明的一个可选实施例中，上述步骤s102，对raw图像进行取值范围变更，具体包括：
47.将raw图像对应的矩阵中的每个元素比例变换，得到变更取值范围后的矩阵，进而得到与变更取值范围后的矩阵对应的变更取值范围后的raw图像。
48.具体的，raw图像实际为一个矩阵，将raw图像对应的矩阵中的每个元素比例变换可以为将矩阵中的每个元素都除以目标值(可以为257，本发明实施例对该目标值不进行具体限制)，还可以为将矩阵中的每个元素都乘以另一目标值(例如1/257)，得到变更取值范围后的矩阵，进而得到与变更取值范围后的矩阵对应的变更取值范围后的raw图像。
49.在本发明的一个可选实施例中，上述步骤s104，采用特征提取模型对各变更取值范围后的raw图像进行特征提取，具体包括：
50.将各变更取值范围后的raw图像输入至特征提取模型，输出得到各raw图像的特征点和与特征点对应的特征向量。
51.上述特征提取模型为预先训练的模型，在进行模型的训练时，获取训练数据集，对训练数据集中的图像进行特征点的标注，并确定各特征点对应的特征向量，然后通过训练数据集、标注的特征点和对应的特征向量对原始特征提取模型进行训练，从而经过监督训练后得到特征提取模型。
52.在本发明的一个可选实施例中，参考图3，上述步骤s106，根据连续的raw图像的特征向量确定连续的raw图像的特征点的匹配关系，具体包括：
53.步骤s301，计算连续的raw图像的各特征向量之间的距离；
54.上述距离可以为欧式距离、马氏距离、余弦距离中的一种。
55.步骤s302，若距离小于预设距离阈值，则确定距离对应的两个特征向量匹配，且匹配的两个特征向量所对应的特征点之间匹配；
56.步骤s303，若距离不小于预设距离阈值，则确定距离对应的两个特征向量不匹配，且不匹配的两个特征向量所对应的特征点之间不匹配。
57.在本发明的一个可选实施例中，在得到匹配的特征点对和匹配的特征向量对之后，参考图4，该方法还包括：
58.步骤s401，根据匹配的特性点对和匹配的特征向量对确定图像拼接的单应性矩阵；
59.步骤s402，根据单应性矩阵对连续的raw图像进行拼接，得到拼接后的raw图像；
60.步骤s403，对拼接后的raw图像进行图像信号处理，得到处理后的rgb图像。
61.在本发明的一个可选实施例中，在得到匹配的特征点对和匹配的特征向量对之后，该方法还包括：根据匹配的特性点对对图像传感器进行定位。
62.本发明的图像特征提取匹配的方法使用神经网络的算法对raw域图像进行特征提取匹配，可以获得更加准确的特征点和特征向量，可以提高匹配的准确性，图像拼接时，只需对一张拼接后的raw图像进行图像信号处理，无需再对两张连续的raw图像进行图像信号处理，简化了处理过程，且模型可以利用gpu加速，多出并行计算，加快了运算速度，图像特征的提取匹配为后期的图像拼接算法提供了有效的信息；在raw域上直接提取特征进行匹配，可以得到连续两张raw域图像的对应关系，方便后期继续在raw域上处理图像，保持图像的最高质量；在raw域实现特征点的匹配意味着图像拼接可以在图像信号处理(isp)之前完成，得到的拼接后的raw图像再做isp处理，相当于协同isp的效果，其不再需要额外的颜色矫正，而传统的图像拼接在完成rgb图像的拼接后，还需要再对拼接后的rgb图像进行颜色矫正，过程复杂，另外，对于连续的raw图像，当其中一张图像出现传感器坏点时，在完成特征点的匹配后，对于两张图像重叠区域的坏点可以用另外的一张图像对应的点进行补偿，而传统的图像信号处理的过程中，由于是对每张raw图分别进行的图像信号处理，所以当一张图像中出现传感器坏点时，只能通过该点周围的点进行补偿，显然准确性不好；特征提取模型在进行特征提取时，提取的特征点更加灵活，不局限于某一类点，只需要在训练时规定一类点作为特征点，这类点在后续的测试中就都可以被提取得到；此外，在图像信号处理(isp)之前实现图像拼接，后续的isp处理相当于具有了协同的效果，比采用多张图像进行协同isp的效果好。
63.实施例3：
64.本发明实施例还提供了一种图像特征提取匹配的装置，该图像特征提取匹配的装置主要用于执行本发明实施例上述内容所提供的图像特征提取匹配的方法，以下对本发明实施例提供的图像特征提取匹配的装置做具体介绍。
65.图5是根据本发明实施例的一种图像特征提取匹配的装置的示意图，如图5所示，该图像特征提取匹配的装置主要包括：获取并变更单元10、特征提取单元20和确定单元30，
其中：
66.获取并变更单元，用于获取图像传感器采集的连续的raw图像，并对raw图像进行取值范围变更，得到变更取值范围后的raw图像；
67.特征提取单元，用于采用特征提取模型对各变更取值范围后的raw图像进行特征提取，得到特征点和与特征点对应的特征向量；
68.确定单元，用于根据连续的raw图像的特征向量确定连续的raw图像的特征点的匹配关系。
69.在本发明实施例中，首先，获取图像传感器采集的连续的raw图像，并对raw图像进行取值范围变更，得到变更取值范围后的raw图像；然后，采用特征提取模型对各变更取值范围后的raw图像进行特征提取，得到特征点和与特征点对应的特征向量；最后，根据连续的raw图像的特征向量确定连续的raw图像的特征点的匹配关系。通过上述描述可知，本发明的图像特征提取匹配的装置在进行特征提取时，直接对变更取值范围后的raw图像进行特征提取，无需再对两张连续的raw图像分别进行协同isp处理，简化了图像特征提取的复杂度，另外，raw图像所包含的图像信息更丰富，采用特征提取模型对其进行特征提取时，在各种极端的场景中都能提取得到丰富的特征点，使得后续特征匹配的准确性好，缓解了现有的图像特征提取匹配的方法在图像拼接的场景中或在同步定位与地图构建的场景中应用时，过程复杂，在一些极端的场景中，提取的特征点的数量少，导致特征匹配的准确性差的技术问题。
70.可选地，获取并变更单元还用于：将raw图像对应的矩阵中的每个元素比例变换，得到变更取值范围后的矩阵，进而得到与变更取值范围后的矩阵对应的变更取值范围后的raw图像。
71.可选地，特征提取单元还用于：将各变更取值范围后的raw图像输入至特征提取模型，输出得到各raw图像的特征点和与特征点对应的特征向量。
72.可选地，确定单元还用于：计算连续的raw图像的各特征向量之间的距离；根据距离确定连续的raw图像的特征点的匹配关系。
73.可选地，确定单元还用于：若距离小于预设距离阈值，则确定距离对应的两个特征向量匹配，且匹配的两个特征向量所对应的特征点之间匹配；若距离不小于预设距离阈值，则确定距离对应的两个特征向量不匹配，且不匹配的两个特征向量所对应的特征点之间不匹配。
74.可选地，该装置还用于：根据匹配的特性点对和匹配的特征向量对确定图像拼接的单应性矩阵；根据单应性矩阵对连续的raw图像进行拼接，得到拼接后的raw图像；对拼接后的raw图像进行图像信号处理，得到处理后的rgb图像。
75.可选地，该装置还用于：根据匹配的特性点对对图像传感器进行定位。
76.本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
77.在本发明的另一个实施例中，还提供了一种计算机存储介质，其上存储有计算机程序，计算机运行计算机程序时执行上述方法实施例的方法的步骤。
78.在本发明的另一个实施例中，还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实
施例的所述方法的相应步骤，并且用于实现根据本发明实施例的皮肤颜色的识别装置中的相应模块。
79.另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
80.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
81.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
82.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
83.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
84.另外，在本发明各个实施例中的各功能单元可以集成在一个分析单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
85.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个分析器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
86.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使
相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。