基于注意力机制的NERF优化的方法、装置、设备及可读介质与流程

基于注意力机制的nerf优化的方法、装置、设备及可读介质
技术领域
1.本发明涉及计算机领域，并且更具体地涉及一种基于注意力机制的nerf优化的方法、装置、设备及可读介质。


背景技术：

2.计算机图形学中的渲染是指用计算机模拟现实物理世界中拍照的光学过程。通常在研究渲染技术时，还包括3d场景建模及表示，只有在计算机中实现了3d场景，渲染才能基于此来完成。目前广泛应用的渲染技术是基于计算机图形学的相关方法实现的，比如光栅化、光线投射、光线/路径追踪，上述方法在完成3d建模之后模拟光线的运动过程，将运动中产生的颜色在屏幕中显示。随着对画质的要求提高，比如游戏、电影等行业，光线/路径追踪等算法不断精确，业界也基于gpu等硬件进行计算加速，但是精度与效率之间的问题仍然困扰着众多应用。
3.近些年，基于深度学习的计算机视觉技术取得了长足的发展，如目标跟踪/图像分割等场景。2019-2020年，计算机图形与深度学习(神经网络)迎来了众多优秀的工作，很大一部分工作致力于3d场景的重构及其渲染，比如2019年的occupancy field以及deepsdf，2020年出现的nerf等。
4.nerf(神经辐射场)是其中对目前影响力最大的，众多基于nerf的改进在这两年呈爆发式增长。nerf实现了对3d场景的隐式重建以及多角度渲染，有潜力使用在数字孪生场景中的3d建模渲染及可视化，数字人脸部及姿态重建及动画等元宇宙数字场景。nerf的基本思想是用神经网络作为一个3d场景的隐式表达，代替传统的点云、网格、体素、tsdf等方式，同时通过这样的网络可以直接渲染任意角度任意位置的投影图像。其主要的工作包括：1)提出一种用5d神经辐射场(neural radiance field)来表达复杂的几何+材质连续场景的方法，该辐射场使用mlp网络进行参数化；2)提出一种基于经典体素渲染(volume rendering)改进的可微渲染方法，能够通过可微渲染得到rgb图像，并将此作为优化的目标。该部分包含采用分层采样的加速策略，来将mlp的容量分配到可见的内容区域。其主要的训练和推理流程：1、创建nerf模型(mlp模型初始化)。2、获取光束及预处理，光束的维度为(n,ro+rd,h,w,3)，其中n代表数据集样本的总数量，hw代表分辨率，ro代表光束起点，rd代表光束方向，3代表3d坐标；在光束维度上，增加每一条光束对应的rgb颜色，即维度更改为(n,ro+rd+rgb,h,w,3)。3、选batch条光束信息，并在光束上进行均匀采样，使用前述定义的mlp计算各个采样点的rgb及不透明度a，对这些光束点进行体渲染合成颜色；根据采样点所带表的不透明度的权重重新精细采样，仍然使用mlp计算rgb和不透明度a，对新采样的光束点进行体渲染合成颜色。上述即为前向推理，反向传播使用的loss为光束中添加的rgb图像信息为gt，与计算得到的rgb做比对，求取loss并反向传播实现即可。注意力机制在计算机视觉和nlp领域有众多应用，它的核心思想是关注重点，建立更密切的相关量之间的联系。注意力机制是人类大脑的一种天生的能力。当我们看到一幅图片时，先是快速扫过图片，然后锁定需要重点关注的目标区域。注意力机制的输入是多个相关量，输出是相关量对
整体贡献的概率。
5.现有技术中以fasenerf为代表的，用存储换取计算的方式来加速nerf的推理过程，用存储换计算在不改变算法的基础上是最有效的手段，但是如今的神经网络大部分基于gpu做推理，将数据存入显存是不够经济现实的，存入内存通信开销比较大。fastnerf的基本思路是预先保存所有nerf表征函数的输出值，这样渲染时无需深度模型计算，查表即可。但原始nerf是5d坐标输入，即使每维1024分辨率，也需要保存1024t的体素特征。为了使得需要保存的值减少到现代显卡可处理的规模，fastnerf提出利用场景渲染的特性将nerf模型分解为体素3d位置和投影2d视角两个表征网络分别计算，再组合形成体素色彩特征。
6.现有技术中以autoint为代表的用神经网络代替求数值积分的过程，即用反向传播的过程代替正向传播的网络输入端值进行求解，仍然无法摆脱众多光线逐条计算的问题，以一幅1080p图像为例(1920*1080)，需要计算200万条光线；autoint将容积渲染中一条射线的投影看作是定积分，并定义对应的神经网络g代表积分过程，然后对该神经网络g求导得到对应的导数网络d。显然，神经网络g,d具有共同的网络参数。autoint首先训练导数网络d，然后将优化的参数代入积分函数网络g。给定投影线的起始点，容积投影可通过计算神经网络函数g在两点的差值来计算，即两次对g的前向计算就确定了投影值。


技术实现要素：

7.有鉴于此，本发明实施例的目的在于提出一种基于注意力机制的nerf优化的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够加快模型训练和推理的速度，可以提高模型的渲染效果。
8.基于上述目的，根据本发明的一个方面，提供了一种基于注意力机制的nerf优化的方法，包括以下步骤：
9.获取3d场景中不同位置拍摄的若干数量的图片和图片的信息，并设定将图片的中的像素以像素patch为单位进行处理的参数；
10.将光束的坐标维度按照参数进行处理，并使用注意力机制将1个patch中的所有像素点的坐标信息进行一次编码；
11.在光束中均匀采样若干个采样点，根据光束的坐标维度的信息得到若干个采样点中每个采样点的rgb值；
12.对若干个采样点进行体渲染合成颜色rgb，并基于每个点对光束颜色贡献的概率选取出精细采样点，并对精细采样点进行体渲染合成以得到颜色rgb的值。
13.根据本发明的一个实施例，设定将图片的中的像素以像素patch为单位进行处理的参数包括：
14.将像素patch的参数设定为5*5，其中5*5表示将图片中横向5个像素乘以纵向5个像素共25个像素作为一个像素patch进行处理。
15.根据本发明的一个实施例，在光束中均匀采样若干个采样点，根据光束的坐标维度的信息得到若干个采样点中每个采样点的rgb值包括：
16.在mlp模型处理的光束上均匀采样64个采样点；
17.将光束的坐标维度中的3d坐标放入mlp模型中得到输出的透明度和表征向量，将表征向量拼接注意力机制中得到的方向信息放入mlp模型得到一个采样点的rgb的值，重复
该步骤，直到获得64个采样点的rgb的值。
18.根据本发明的一个实施例，对若干个采样点进行体渲染合成颜色rgb，并基于每个点对光束颜色贡献的概率选取出精细采样点，并对精细采样点进行体渲染合成以得到颜色rgb的值包括：
19.对光束上64个采样点进行体渲染合成颜色rgb，并利用注意力机制计算64个采样点中的每一个对光束颜色贡献的概率值；
20.将计算得到的概率值进行排序，选择概率值最高的16个采样点；
21.以16个采样点为中心各自再获取8个采样点以得到128个精细采样点；
22.获取128个精细采样点的rgb的值，并对精细采样点进行体渲染合成以得到颜色rgb的值。
23.根据本发明的另一个方面，还提供了一种基于注意力机制的nerf优化的装置，装置包括：
24.设定模块，设定模块配置为获取3d场景中不同位置拍摄的若干数量的图片和图片的信息，并设定将图片的中的像素以像素patch为单位进行处理的参数；
25.处理模块，处理模块配置为将光束的坐标维度按照参数进行处理，并使用注意力机制将1个patch中的所有像素点的坐标信息进行一次编码；
26.计算模块，计算模块配置为在光束中均匀采样若干个采样点，根据光束的坐标维度的信息得到若干个采样点中每个采样点的rgb值；
27.合成模块，合成模块配置为对若干个采样点进行体渲染合成颜色rgb，并基于每个点对光束颜色贡献的概率选取出精细采样点，并对精细采样点进行体渲染合成以得到颜色rgb的值。
28.根据本发明的一个实施例，设定模块还配置为：
29.将像素patch的参数设定为5*5，其中5*5表示将图片中横向5个像素乘以纵向5个像素共25个像素作为一个像素patch进行处理。
30.根据本发明的一个实施例，计算模块还配置为：
31.在mlp模型处理的光束上均匀采样64个采样点；
32.将光束的坐标维度中的3d坐标放入mlp模型中得到输出的透明度和表征向量，将表征向量拼接注意力机制中得到的方向信息放入mlp模型得到一个采样点的rgb的值，重复该步骤，直到获得64个采样点的rgb的值。
33.根据本发明的一个实施例，合成模块还配置为：
34.对光束上64个采样点进行体渲染合成颜色rgb，并利用注意力机制计算64个采样点中的每一个对光束颜色贡献的概率值；
35.将计算得到的概率值进行排序，选择概率值最高的16个采样点；
36.以16个采样点为中心各自再获取8个采样点以得到128个精细采样点；
37.获取128个精细采样点的rgb的值，并对精细采样点进行体渲染合成以得到颜色rgb的值。
38.本发明的实施例的另一个方面，还提供了一种计算机设备，该计算机设备包括：
39.至少一个处理器；以及
40.存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实
现上述任意一项方法的步骤。
41.本发明的实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意一项方法的步骤。
42.本发明具有以下有益技术效果：本发明实施例提供的基于注意力机制的nerf优化的方法，通过获取3d场景中不同位置拍摄的若干数量的图片和图片的信息，并设定将图片的中的像素以像素patch为单位进行处理的参数；将光束的坐标维度按照参数进行处理，并使用注意力机制将1个patch中的所有像素点的坐标信息进行一次编码；在光束中均匀采样若干个采样点，根据光束的坐标维度的信息得到若干个采样点中每个采样点的rgb值；对若干个采样点进行体渲染合成颜色rgb，并基于每个点对光束颜色贡献的概率选取出精细采样点，并对精细采样点进行体渲染合成以得到颜色rgb的值的技术方案，能够加快模型训练和推理的速度，可以提高模型的渲染效果。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
44.图1为根据本发明一个实施例的基于注意力机制的nerf优化的方法的示意性流程图；
45.图2为根据本发明一个实施例的基于注意力机制的nerf优化的装置的示意图；
46.图3为根据本发明一个实施例的计算机设备的示意图；
47.图4为根据本发明一个实施例的计算机可读存储介质的示意图。
具体实施方式
48.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
49.基于上述目的，本发明的实施例的第一个方面，提出了一种基于注意力机制的nerf优化的方法的一个实施例。图1示出的是该方法的示意性流程图。
50.如图1中所示，该方法可以包括以下步骤：
51.s1获取3d场景中不同位置拍摄的若干数量的图片和图片的信息，并设定将图片的中的像素以像素patch为单位进行处理的参数。
52.首先获取3d场景中不同拍照位置拍摄的100副图片及相应的相机位姿信息。初始化nerf模型，即mlp(全连接神经网络)模型，进行光束处理，初始光束的条数仍然是(n,ro+rd,h,w,3)，这样方便获得每个像素点上的方向和坐标信息，为了减少3d场景中投射光线数量，提出使用像素patch的策略，比如将5*5个像素点看作一个patch，中5*5表示将图片中横向5个像素乘以纵向5个像素共25个像素作为一个像素patch进行处理，使用patch中每个坐标点与光源投射点确定光线投射的方向即roi，rdi。
53.s2将光束的坐标维度按照参数进行处理，并使用注意力机制将1个patch中的所有像素点的坐标信息进行一次编码。
54.再将上述坐标维度调整为(n，ro+rd，25，h/5，w/5，3)的维度，其中25表示一个patch的像素的个数，该数据也可以根据需求进行设定，然后拼batch给后续的网络训练来使用，此时以n*h/5*w/5为所有光线束的数量，拼batch如4096(条光束)*(ro+rd)*25*3，使用注意力机制(两层全连接)将25个像素点的坐标信息进行一次编码，然后将编码后的向量替代之前的单点坐标信息，一个batch的数据输出为4096*(ro+rd)*1*3(即用一个patch点的信息代表25个像素点的信息)。
55.s3在光束中均匀采样若干个采样点，根据光束的坐标维度的信息得到若干个采样点中每个采样点的rgb值。
56.在mlp模型处理的光束上均匀采样64个采样点，注意此时的光束并不是一条实际的光束，它所融合的是patch内所有像素点的方向和坐标信息，我们仍然按照均匀采样得到各采样点64，然后输入到mlp网络得到每个采样点上patch个4维坐标(透明度和rgb)的输出，即将注意力机制得到的输出仍然按照nerf的输入处理情况，先将3d坐标放入全连接神经网络得到patch个(25)输出的透明度a+一个表征向量，然后再将表征向量拼接注意力机制中得到的方向信息，放入全连接得到patch个(25)个输出的rgb的值，重复该步骤64次，即获得64个采样点的rgb的值，其中每个采样点有25个像素。
57.s4对若干个采样点进行体渲染合成颜色rgb，并基于每个点对光束颜色贡献的概率选取出精细采样点，并对精细采样点进行体渲染合成以得到颜色rgb的值。
58.对该光束上的64个采样点进行体渲染合成颜色rgb，利用注意力机制对该条射线上粗采样的点确定每一点的一个概率值，该注意力的输入是patch内像素点的透明度值，输出是一个概率。然后按照概率形成更加精细的投射光线上的采样，具体的渲染16个高概率的采样点，并以其为中心各采样8个采样点，共128个采样。获取128个精细采样点的rgb的值，并对精细采样点进行体渲染合成以得到颜色rgb的值。实验证明该方法在不损失精度的前提下，可以提高训练和推理速度20倍左右。
59.本发明的技术方案主要为了减少3d场景中投射光线的数量，基于物理材质的连续性这一理论，形成像素patch，使用attention(注意力)机制，完成所有像素点渲染，单条投射光线在粗采样阶段完成后使用attention(注意力)机制，评估对颜色的贡献率，据此再进行精细采样完成单点颜色计算。
60.通过本发明的技术方案，能够加快模型训练和推理的速度，可以提高模型的渲染效果。
61.本发明的技术方案减少了3d场景中投射光线数量，提出使用像素patch的策略，比如将5*5像素点看作一个patch，使用patch中每个坐标点与光源投射点确定光线投射的方向即roi，rdi；并使用注意力机制对坐标和方向进行编码，然后将编码后的向量替代之前的单点坐标信息，此时mlp网络的输入已经确定，经过全连接得到a透明度和补充向量，此时的透明度是一个透明度向量代表了patch范围内的像素点的透明度信息；补充向量再融入注意力机制编码的方向信息得到rgb向量；此时的rgb信息也代表了patch范围内的像素点的rgb信息。按照这样的方式，使用注意力机制对坐标和方向进行patch内每个像素的融合编码即得到了相关位置和方向上的信息，然后利用mlp的拟合能力一次性推断出连续材质patch范围内的像素点的rgb和透明度信息。
62.其次是单条光线单条投射光线在粗采样阶段完成后使用attention(注意力)机
制，评估对颜色的贡献率，据此再进行精细采样完成单点颜色计算；利用mlp完成一次推断后得到了该patch内所有点的rgb和透明度信息；利用粗采样可以得到64个采样patch上所有点的信息，接下来利用注意力机制对该条射线上粗采样的点确定每一点的一个概率值，该注意力的输入是patch内像素点的透明度值，输出是一个概率。然后按照概率更精细的进行投射光线上的采样，最终利用nerf中的体渲染方法计算得到每个像素点上颜色值。
63.使用本发明所提出的注意力机制方法，可以在保持精度不变的前提下大幅降低投射光线的数量进而降低训练和推理所需要的时间，使用注意力机制，也能符合3d空间中相邻材质有更大概率具有相同的颜色表现和颜色相关性。
64.在本发明的一个优选实施例中，设定将图片的中的像素以像素patch为单位进行处理的参数包括：
65.将像素patch的参数设定为5*5，其中5*5表示将图片中横向5个像素乘以纵向5个像素共25个像素作为一个像素patch进行处理。
66.在本发明的一个优选实施例中，在光束中均匀采样若干个采样点，根据光束的坐标维度的信息得到若干个采样点中每个采样点的rgb值包括：
67.在mlp模型处理的光束上均匀采样64个采样点；
68.将光束的坐标维度中的3d坐标放入mlp模型中得到输出的透明度和表征向量，将表征向量拼接注意力机制中得到的方向信息放入mlp模型得到一个采样点的rgb的值，重复该步骤，直到获得64个采样点的rgb的值。
69.在本发明的一个优选实施例中，对若干个采样点进行体渲染合成颜色rgb，并基于每个点对光束颜色贡献的概率选取出精细采样点，并对精细采样点进行体渲染合成以得到颜色rgb的值包括：
70.对光束上64个采样点进行体渲染合成颜色rgb，并利用注意力机制计算64个采样点中的每一个对光束颜色贡献的概率值；
71.将计算得到的概率值进行排序，选择概率值最高的16个采样点；
72.以16个采样点为中心各自再获取8个采样点以得到128个精细采样点；
73.获取128个精细采样点的rgb的值，并对精细采样点进行体渲染合成以得到颜色rgb的值。
74.本发明充分利用了注意力机制，以及物理材质在空间连续的特性，将之前mlp网络编码一个位置信息形成其rgb和透明值a的过程，变为多个位置同时计算rgb和透明值a，该方法能够加快训练和推理的速度，在进行投射光线上的精细采样时，利用注意力机制得到某点颜色的贡献概率并精细化采样，可以提高模型的渲染效果。
75.需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，上述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中存储介质可为磁碟、光盘、只读存储器(read-only memory，rom)或随机存取存储器(random access memory，ram)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
76.此外，根据本发明实施例公开的方法还可以被实现为由cpu执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被cpu执行时，执行本发明
实施例公开的方法中限定的上述功能。
77.基于上述目的，本发明的实施例的第二个方面，提出了一种基于注意力机制的nerf优化的装置，如图2所示，装置200包括：
78.设定模块，设定模块配置为获取3d场景中不同位置拍摄的若干数量的图片和图片的信息，并设定将图片的中的像素以像素patch为单位进行处理的参数；
79.处理模块，处理模块配置为将光束的坐标维度按照参数进行处理，并使用注意力机制将1个patch中的所有像素点的坐标信息进行一次编码；
80.计算模块，计算模块配置为在光束中均匀采样若干个采样点，根据光束的坐标维度的信息得到若干个采样点中每个采样点的rgb值；
81.合成模块，合成模块配置为对若干个采样点进行体渲染合成颜色rgb，并基于每个点对光束颜色贡献的概率选取出精细采样点，并对精细采样点进行体渲染合成以得到颜色rgb的值。
82.在本发明的一个优选实施例中，设定模块还配置为：
83.将像素patch的参数设定为5*5，其中5*5表示将图片中横向5个像素乘以纵向5个像素共25个像素作为一个像素patch进行处理。
84.在本发明的一个优选实施例中，计算模块还配置为：
85.在mlp模型处理的光束上均匀采样64个采样点；
86.将光束的坐标维度中的3d坐标放入mlp模型中得到输出的透明度和表征向量，将表征向量拼接注意力机制中得到的方向信息放入mlp模型得到一个采样点的rgb的值，重复该步骤，直到获得64个采样点的rgb的值。
87.在本发明的一个优选实施例中，合成模块还配置为：
88.对光束上64个采样点进行体渲染合成颜色rgb，并利用注意力机制计算64个采样点中的每一个对光束颜色贡献的概率值；
89.将计算得到的概率值进行排序，选择概率值最高的16个采样点；
90.以16个采样点为中心各自再获取8个采样点以得到128个精细采样点；
91.获取128个精细采样点的rgb的值，并对精细采样点进行体渲染合成以得到颜色rgb的值。
92.基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备。图3示出的是本发明提供的计算机设备的实施例的示意图。如图3所示，本发明实施例包括如下装置：至少一个处理器s21；以及存储器s22，存储器s22存储有可在处理器上运行的计算机指令s23，指令由处理器执行时实现以下方法：
93.获取3d场景中不同位置拍摄的若干数量的图片和图片的信息，并设定将图片的中的像素以像素patch为单位进行处理的参数；
94.将光束的坐标维度按照参数进行处理，并使用注意力机制将1个patch中的所有像素点的坐标信息进行一次编码；
95.在光束中均匀采样若干个采样点，根据光束的坐标维度的信息得到若干个采样点中每个采样点的rgb值；
96.对若干个采样点进行体渲染合成颜色rgb，并基于每个点对光束颜色贡献的概率选取出精细采样点，并对精细采样点进行体渲染合成以得到颜色rgb的值。
97.在本发明的一个优选实施例中，设定将图片的中的像素以像素patch为单位进行处理的参数包括：
98.将像素patch的参数设定为5*5，其中5*5表示将图片中横向5个像素乘以纵向5个像素共25个像素作为一个像素patch进行处理。
99.在本发明的一个优选实施例中，在光束中均匀采样若干个采样点，根据光束的坐标维度的信息得到若干个采样点中每个采样点的rgb值包括：
100.在mlp模型处理的光束上均匀采样64个采样点；
101.将光束的坐标维度中的3d坐标放入mlp模型中得到输出的透明度和表征向量，将表征向量拼接注意力机制中得到的方向信息放入mlp模型得到一个采样点的rgb的值，重复该步骤，直到获得64个采样点的rgb的值。
102.在本发明的一个优选实施例中，对若干个采样点进行体渲染合成颜色rgb，并基于每个点对光束颜色贡献的概率选取出精细采样点，并对精细采样点进行体渲染合成以得到颜色rgb的值包括：
103.对光束上64个采样点进行体渲染合成颜色rgb，并利用注意力机制计算64个采样点中的每一个对光束颜色贡献的概率值；
104.将计算得到的概率值进行排序，选择概率值最高的16个采样点；
105.以16个采样点为中心各自再获取8个采样点以得到128个精细采样点；
106.获取128个精细采样点的rgb的值，并对精细采样点进行体渲染合成以得到颜色rgb的值。
107.基于上述目的，本发明实施例的第四个方面，提出了一种计算机可读存储介质。图4示出的是本发明提供的计算机可读存储介质的实施例的示意图。如图4所示，计算机可读存储介质s31存储有被处理器执行时执行如上方法的计算机程序s32。
108.此外，根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时，执行本发明实施例公开的方法中限定的上述功能。
109.此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
110.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
111.在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括ram、rom、eeprom、cd-rom或其它光盘存储设备、磁盘存储设备或其它磁性存储设
备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(dsl)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、dsl或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(cd)、激光盘、光盘、数字多功能盘(dvd)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
112.以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
113.应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
114.上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
115.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
116.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。