汽车相机仿真模拟方法、电子设备和存储介质与流程

1.本发明实施例涉及汽车仿真领域，尤其涉及一种汽车相机仿真模拟方法、电子设备和存储介质。


背景技术：

2.智能汽车的车辆运行过程可以大致的概括为：感知、决策和控制三个过程，其中，决策和控制两个过程的仿真模拟已经得到了十足的重视，而感知环节的仿真模拟还需要进一步研究。
3.智能汽车感知环节仿真模拟的主要目的是：模拟用于智能汽车的真实感知结果。现有技术中，智能汽车仿真软件对于感知环节的仿真都是使用完美传感器方案，即从仿真软件的环境数据中提取环境真值直接作为传感器的测量结果输出，无法模拟出实际传感器的各种真实特性。


技术实现要素：

4.本发明实施例提供一种汽车相机仿真模拟方法、电子设备和存储介质，模拟了相机传感器的作用机理和误差，提高了仿真精度。
5.第一方面，本发明实施例提供了一种汽车相机仿真模拟方法，包括：获取汽车所处交通空间内的光源模型和反射物模型；确定所述光源模型发出的、漫反射前的光线在所述反射物模型表面发生首次漫反射后，所述反射物模型表面每个位置的颜色；根据所述颜色，模拟漫反射后的光线投射在相机感光板上的、无畸变的第一图像数据；根据所述相机的畸变参数，模拟所述第一图像经过相机畸变后的第二图像数据；其中，所述第一图像数据的模拟过程包括：构建空白的第一图像，对所述第一图像的每个像素进行如下操作：根据所述相机的内部参数和外部参数，确定投射在所述第一图像任一像素处的、漫反射后的光线的出射位置，并将所述出射位置的颜色作为所述任一像素的颜色。
6.第二方面，本发明实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法。
7.第三方面，本发明实施例提供了一种计算机可读存储介质，所述存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述方法。
8.本发明实施例根据光的传播特点，将光线从发出到被相机接收成像的过程划分为首次漫反射前和首次漫反射后两个阶段；第一阶段采用正向模拟，计算光线在反射物表面发生首次漫反射后射出的颜色；第二阶段采用逆向模拟，由感光板内的像素反推对应的漫反射光线的出射位置，将出射位置的颜色作为像素的颜色。由此实现了对相机传感知光线
并成像的实际物理过程的仿真，既保证了仿真精度，也简化了计算过程；同时特别考虑了相机畸变过程的模拟，能够有效地反映出传感器误差，克服现有方法中对相机传感器作用机理以及误差考虑不足、导致仿真精度差的问题。
附图说明
9.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
10.图1是本发明实施例提供的一种汽车相机仿真模拟方法的流程图。
11.图2是本发明实施例提供的一种第一图像的示意图。
12.图3是本发明实施例提供的一种相机成像系统的坐标系转换过程示意图。
13.图4是本发明实施例提供的一种标定图片的示意图。
14.图5是本发明实施例提供的一种确定漫反射后的光线真正出射位置的示意图。
15.图6是本发明实施例提供的一种确定原始位置周围四个像素的示意图。
16.图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
18.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
19.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
20.本发明实施例提供的一种汽车相机仿真模拟方法，对相机传感器感知交通环境中的光线到输出图像数据的过程进行模拟。下面优先介绍从光线发出到相机输出图像数据的全物理过程：光源发出光线，照射在反射物表面，反射物表面的不同材料对光线发生吸收、反射、折射等行为；经过一系列吸收、反射和折射后，光线最终射入相机镜头投射在感光板；感光板内接收到的光线信息即为对应的图像数据被输出。
21.基于以上全物理过程，图1是本发明实施例提供的一种汽车相机仿真模拟方法的流程图。该方法适用于对汽车相机的环境感知功能进行仿真的情况，由电子设备执行。如图
1所示，该方法具体包括：s110、获取汽车所处交通空间内的光源模型和反射物模型。
22.所述光源模型和反射物模型用于模拟汽车所处的交通空间中的真实光源和反射物。光源通常包括太阳、路灯等，光源模型中需要定义光源所发出的光线色彩（波长）、方向、光强等物理量。反射物包括交通环境中的建筑物、植物等物体，反射物模型中需要定义各物体的光学属性，如材料反射率、吸收率等。
23.s120、确定所述光源模型发出的、漫反射前的光线在所述反射物模型表面发生首次漫反射后，所述反射物模型表面每个位置的颜色。
24.根据光的传播原理，光线发出后已经过多次漫反射，但二次漫反射后的光线强度非常微弱，对反射物颜色的影响远小于首次漫反射。同时，由于首次漫反射后方向不唯一，继续仿真所消耗的计算资源却远大于对首次漫反射的仿真。基于以上原因，本实施例仅对光源发出光线到首次发生漫反射的过程进行模拟，忽略后续多次反射过程。因此，光线从光源出发到相机接收成像的过程可以划分为两个阶段：首次漫反射前和首次漫反射后。
25.本步骤对第一阶段进行正向模拟，首先，模拟所述光源模型发出的、漫反射前的光线。具体来说，太阳、路灯等实际交通环境中所能遇到的光源通常为复合光发射器，发出的光线为复合光，由多种有色光混合而成。本实施例通过rgb色彩空间模型表示复合光，采用3种波长的不同强度的可见光（红光、蓝光和绿光）模拟漫反射前的光线。
26.然后，根据光的传播原理，模拟所述漫反射前的光线到达所述反射物表面任一位置发生首次漫反射后，由所述任一位置射出的漫反射后的光线。具体的，根据光的传播原理，计算每种波长的光线从光源出发沿直线传播，经过衰减等到达反射物表面任一位置发生吸收和透射后，即将漫反射射出的光线强度。
27.最后，根据所述漫反射后的光线，确定所述任一位置的颜色。具体的，根据即将漫反射射出的每种波长的光线强度，对三种波长的光线进行合成，得到复合光的颜色。本实施例从众多波长的光线中选取红、蓝和绿3种原色的可见光，既能完全表示颜色信息，又能够简化计算、提高仿真的实时性。需要说明的是，当交通环境中存在多个光源时，分别计算单个光源发出的每种波长的光线在反射物模型表面漫反射后的强度，然后将所述多个光源对应的每种波长的光线强度线性叠加，得到每种波长的光线总强度，从而得到对应位置的颜色。
28.s130、根据所述颜色，模拟漫反射后的光线投射在相机感光板上的、无畸变的第一图像数据。其中，所述第一图像数据的模拟过程包括：构建空白的第一图像，对所述第一图像的每个像素进行如下操作：根据所述相机的内部参数和外部参数，确定投射在所述第一图像任一像素处的、漫反射后的光线的出射位置，并将所述出射位置的颜色作为所述任一像素的颜色。
29.本实施例对上述第二阶段进行逆向模拟。首先，根据所述相机的fov（field of view，视场角），在所述相机的焦点处构建空白的第一图像；并根据所述相机的分辨率，确定所述第一图像中像素分布。如图2所示，f表示焦点，在f处构建了的空白的第一图像，x和y分别表示第一图像中的像素在像素坐标系下的坐标。相机分辨率越高，第一图像中的像素越多。
30.构建空白图像后，从第一图像的任一像素出发，反推投射在所述像素处的、漫反射
后的光线的出射位置。具体的，由所述相机的内部参数和外部参数，组成内参矩阵和外参矩阵；根据所述第一图像中任一像素在像素坐标系下的第一坐标，计算经过所述内参矩阵和所述外参矩阵后变换为所述第一坐标的、世界坐标系中的第二坐标；根据所述第二坐标，确定投射在所述像素处的、漫反射后的光线的出射位置。更多细节将在后续实施例中说明。
31.确定出射位置后，读取该出射位置的光线颜色，直接作为第一图像中该像素的颜色。通过对每个像素进行上述操作，即可填满空白的第一图像，得到了一组无畸变的仿真图像数据。
32.s140、根据所述相机的畸变参数，模拟所述第一图像经过相机畸变后的第二图像数据。
33.相机畸变是指光学系统对物体所成的图像相对于物体本身的失真程度，是光学透镜的固有特性，其直接原因是因为透镜的边缘部分和中心部分的放大倍率不一样，导致图像发生畸变。上述无畸变的仿真图像数据已包含了相机的所有有用信息，但在精度要求较高的仿真模型中，不能够忽略由于相机畸变产生的影响。本步骤根据畸变参数模拟光经过镜头等物件所产生的畸变过程，使得到的第二数据图像数据与真实相机输出的数据完全一致。
34.本实施例根据光的传播特点，将光线从发出到被相机接收成像的过程划分为首次漫反射前和首次漫反射后两个阶段；第一阶段采用正向模拟，计算光线在反射物表面发生首次漫反射后射出的颜色；第二阶段采用逆向模拟，由感光板内的像素反推对应的漫反射光线的出射位置，将出射位置的颜色作为像素的颜色。由此实现了对相机传感知光线并成像的实际物理过程的仿真，既保证了仿真精度，也简化了计算过程；同时特别考虑了相机畸变过程的模拟，能够有效地反映出传感器误差，克服现有方法中对相机传感器作用机理以及误差考虑不足、导致仿真精度差的问题。本实施例提供的方法适用于各种类型的相机，包括普通相机、广角相机、鱼眼相机等，且能够应用于各种类型的交通环境、交通工况中，具有极高的可行性和普适性。
35.在上述实施例和下述实施例的基础上，本实施例对所述第一图像的模拟过程进行细化。为了利用相机的内部参数和外部参数实现上述第二阶段的逆向模拟，优先介绍内部参数和外部参数在相机成像的正向过程中的应用。在图像测量以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在相机成像的正向过程，相机成像系统的坐标系转换过程如图3所示，坐标转换公式如下：（1）其中，z表示尺度因子，表示空间一点在世界坐标系下的第二坐标；表示该点射出的漫反射光线进入相机成像系统后，投射在第一图像中的位置，在像素坐标系下的
坐标。将定义为相机的内参矩阵，记录了相机的仿射变换和透视变换两个过程，其中f表示像距，dx、dy分别表示x、y方向上的一个像素在相机感光板上的物理长度，别表示相机感光板中心（无误差情况下即为焦点f）在第一图像的像素坐标系下的坐标，θ表示感光板的横边和纵边之间的角度，无误差情况下为90
°
。将定义为相机的外参矩阵，外参矩阵取决于相机坐标系和世界坐标系的相对位置，其中r表示旋转矩阵，t表示平移矢量。
36.基于以上原理，可选的，构建空白的第一图像并确定像素分布后，首先，根据所述第一图像中任一像素在像素坐标系下的第一坐标，计算经过所述内参矩阵和所述外参矩阵后变换为所述第一坐标的、世界坐标系中的第二坐标。具体的，本步骤已知每个像素的在像素坐标系中的第一坐标，通过内参矩阵和外参矩阵的逆运算，求解出每个像素对应的空间位置在世界坐标系下的第二坐标。其中，内参矩阵和外参矩阵可以通过相机标定获取。相机标定实验的一般方法可以概括为：制作标定图片（如图4所示）；提取图片中的角点信息，根据角点信息求解内参矩阵和外参矩阵，求解畸变参数、去畸变与反误差投影。具体过程为现有技术，本技术不再赘述。
37.得到每个像素对应的第二坐标后，绘制从所述相机的焦点到所述第二坐标代表的空间位置的射线，根据所述射线确定投射在所述像素处的、漫反射后的光线的出射位置，并将所述出射位置的颜色作为所述像素位置的颜色。具体来说，经过上述实施例的计算，反射物模型表面的颜色数据是已知的，其余空间位置的颜色数据为空。但由于交通环境的变化以及计算误差的存在，经过内参矩阵和外参矩阵反推得到的空间位置不一定位于反射物模型表面，因此绘制上述射线来近似模拟经过所述空间位置的漫反射后的光线，来寻找该光线真正的出射位置。
38.进一步的，根据所述射线与反射物模型的位置关系，本步骤包括以下几种实施方式。
39.第一种实施方式，如果所述射线与所述反射物模型表面不存在交点，如图5中从焦点f到空间位置a1的射线l1，则确定投射在所述像素处的、漫反射后的光线的出射位置为：无穷远。即所述漫反射后的光线来自天空。这时，将预设的天空颜色作为无穷远的颜色并读取，作为a1对应的像素的颜色。
40.第二种实施方式，如果所述射线与所述反射物模型表存在至少一个交点，则确定投射在所述像素处的、漫反射后的光线的出射位置为：距离所述焦点最近的交点。这时读取所述交点的颜色，作为所述像素的颜色。如图5中从焦点f到空间位置a2的射线l2，对应的出射位置为b2，读取b2的颜色作为a2对应的像素的颜色；从焦点f到空间位置a3的射线l3，对应的出射位置为b3，读取b3的颜色作为a3对应的像素的颜色。
41.确定第一图像中每个像素的颜色后，即完成了第一图像模拟过程。
42.本实施例利用相机的内部参数和外部参数，完成了从第一图像的像素到交通环境
中的空间位置的逆向反推，并根据空间位置和反射物表面的位置关系，寻找投射到像素处的漫反射后光线真正的出射位置，从而实现了无畸变图像数据的模拟。
43.在上述实施例和下述实施例的基础上，本实施例对第二图像的模拟过程进行细化。该阶段实现对相机畸变的模拟，因此优先介绍相机畸变的原理。相机畸变一般由径向畸变、切向畸变和薄棱镜畸变三部分组成。三者之和构成了整个相机的畸变，可以由畸变参数表示。第一图像中任一像素的颜色经过相机畸变后，显示在第二图像中与所述像素不同的另一位置处，所述像素和所述另一位置之间的映射关系表示如下：（2）其中(x,y)表示所述第一图像中任一像素在像素坐标系下的坐标，(x0,y0)表示所述第二图像中的另一位置在像素坐标系下的坐标。映射m表示畸变公式，具体如下：（3）其中，分别表示x方向上的径向畸变、切向畸变、薄棱镜畸变；分别表示y方向上的径向畸变、切向畸变、薄棱镜畸变。畸变参数同样通过相机标定获取。以三阶畸变公式为例，径向畸变公式可以表示为：（4）（5）切向畸变公式可以表示为：（6）（7）薄棱镜畸变公式可以表示为：（8）（9）其中，r表示第一图像中任一像素到图像中心的距离，即；则分别表示所需的径向畸变参数、切向畸变参数和薄棱镜畸变参数。可选的，在相机标定中采用回归曲线法求解各畸变参数，具体包括：根据标定图片的角点信息和相机的内参矩阵、外参矩阵，求解第一图像（去畸变照片）中角点像素的坐标，将其与第二图像（实际畸变照片）中角点像素的坐标求差值，得到角点像素的总畸变值；将所述畸变值带入上述畸变公式进行曲线拟合则，得出各畸变参数的值。
44.畸变参数后，可选的，所述根据所述相机的畸变参数，模拟所述第一图像经过相机畸变后的第二图像数据，具体包括如下步骤：步骤一、构建空白的第二图像，其中，所述第二图像的像素分布与所述第一图像相同。第二图像中每个像素的颜色均是未知的，下面将逐一确定每个像素的颜色。
45.步骤二、对所述第二图像的每个像素进行如下操作：根据所述相机的畸变参数，确定所述第二图像中任一像素发生相机畸变前在所述第一图像中的的原始位置；根据所述第
一图像中与所述原始位置相邻的四个像素的颜色，得到所述任一像素的颜色。本步骤对相机畸变进行逆向模拟，由第二图像中的像素反推其在第一图像中的颜色。
46.在一具体实施方式中，首先，确定所述第一图像中每个像素与第二图像中对应位置的映射关系，即公式（3）所示的映射关系；并求解所述映射关系的逆映射。在公式（3）中，第一图像中的像素(x,y)的每个坐标均为整数，经过m后映射到第二图像中的位置(x0,y0)的每个坐标显然是一个小数。因此，本步骤对求解m的逆映射，得到第二图像中的像素到第一图像中的原始位置的映射。通过逆映射，可以保证相机实际输出的像素坐标均为整数然后，将第二图像中每个像素在像素坐标系下的坐标代入所述逆映射，得到每个像素对应的第一图像中的原始位置在像素坐标系下的坐标。需要说明的是，由于畸变是相机的固有特性，对于一个或一种相机，其畸变系数在任何时候不会改变。因此该逆映射构建好后，可以在多次仿真模拟中重复使用。
47.最后，根据所述第一图像中与所述原始位置相邻的四个像素的颜色，得到所述任一像素的颜色。经过逆映射后，原始位置的像素坐标虽然是小数，但是可以采取空间插值的方法，通过周围（左上、左下、右上、右下4个方向上距离最短的4个像素）计算出该原始位置的r、g、b值，周围像素的取点方法如图6所示。
48.可选的，空间插值可采用反距离加权法插值、趋势面法、样条函数法等实现。以反距离加权法插值，具体包括如下步骤：步骤一、计算任一原始位置相邻的4个像素到所述原始位置的距离d1~d4，如图6所示。
49.步骤二、根据所述距离，计算每个像素的权重，公式如下：（10）步骤三、根据所述权重，计算所述原始位置的r、g、b加权值，公式如下：（11）由于透镜的边缘部分和中心部分的放大倍率不一样，由于畸变之后第二图像中四个角的区域是空白的，现有技术中采用最外侧像素的颜色进行填充，显示的并不是环境中的真实颜色。本实施例从畸变之后的像素出发，反推第二图像中的像素在世界坐标中的空间位置，能够保证畸变之后第二图像中无空白像素，且像素颜色均来自于环境的真实颜色，而不是最外侧像素的颜色。对第一图像中的像素进行线性插值，而不是对第二图像中的像素进行线性插值，是因为：畸变之前的第一图像相对于环境图像是呈比例缩放的，用线性插值得到的结果与真实环境基本相符；而在畸变之后的第二图像中，环境图像是从中心到四周呈圆弧状压缩畸变的，需要利用圆弧状的压缩规律插值才能保持精度，较难实现。
50.在上述实施例和下述实施例的基础上，本实施例对图像数据后处理过程进行细化。通常情况下，相机在经过感光、数模转换处理后得到的图像数据是rawrgb信息，相机需要对该图像数据进行图像信号处理才能生成统一标准的文件，使得传感器所感受到的信息能够被智能汽车后续的规划决策、控制等环节使用。可选的，得到第二图像数据后，还包括如下图像信号处理过程。
51.首先，对第二图像数据进行可视化处理。相机传感器的输出大多都采取图片或视频流的格式进行输出，而第二图像数据只是包含图像信息的像素色彩数据，需要对其进行可视化处理。具体的，可以直接使用opencv函数库等rgb信息生成图片的可视化处理程序，根据后续输出的要求，处理为图片（*.png、*.jpg等）或视频（*.mp4、*.avi等）格式。
52.然后，根据相机配置，对可视化结果进行个性化图像处理。该步骤对于绝大多数智能车用相机传感器为空，但有的相机也会配置如防抖功能、智能ai降噪等数据后处理过程，本步骤正是实现对类似个性化图像处理功能的模拟。具体的处理程序无需自行开发，直接将可视化结果输入到相机自带的个性化图像处理程序中即可实现。
53.最后，根据标准化的输入输出接口，将处理结果输出位适配的数据形式。本步骤根据io接口的通信协议等设置不同的接口。通常情况下，相机通过网线总线或can总线与车辆的其他硬件设施通信。相应地，得到个性化图像处理结果后，需要根据io接口协议转换为适配的数据形式，以保证相机模型与后续环节的仿真模型进行联合仿真时，通信协议统一，通信内容正确。
54.本实施例对第二图像数据的后处理过程进行了模拟。需要说明的是，其中个性化图像处理的过程根据相机配置选择性进行的，如果相机没有配置个性化的图像处理功能，即跳过该步骤，直接进入输入输出接口的适配过程。
55.图7为本发明实施例提供的一种电子设备的结构示意图，如图7所示，该设备包括处理器60、存储器61、输入装置62和输出装置63；设备中处理器60的数量可以是一个或多个，图7中以一个处理器60为例；设备中的处理器60、存储器61、输入装置62和输出装置63可以通过总线或其他方式连接，图7中以通过总线连接为例。
56.存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的汽车相机仿真模拟方法对应的程序指令/模块。处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的汽车相机仿真模拟方法。
57.存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
58.输入装置62可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置63可包括显示屏等显示设备。
59.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例的汽车相机仿真模拟方法。
60.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（ram）、只读存储器(rom)、可
擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
61.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
62.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
63.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
64.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。