火苗的检测方法、系统、设备和存储介质与流程

1.本发明涉及环境监测技术领域，尤其涉及一种火苗的检测方法、系统、设备和存储介质。


背景技术：

2.火灾一直以来都是人类生命财产安全的重大威胁，故尽早预防和避免火灾的发生也越来越重要。仓库、大型存储、集散中心这些场合的规模都很大，而且很空旷，同时单位面积上囤积货物比例很高，采用视频烟火检测系统可以在火灾发生的倪端即可产生报警，避免大的损失。
3.但是，现有基于视频分析的烟火自动检测预警系统是针对单帧静态图像进行火苗检测，虽然能够准确识别出图像中存在的火苗影像，然而在实际场景中，仅对单帧静态图像进行检测容易将一些背景中存在的静态火苗图像误检为真实火苗，从而产生误报警。


技术实现要素：

4.本发明要解决的技术问题是为了克服现有技术中仅对单帧静态图像进行检测容易将一些背景中存在的静态火苗图像误检为真实火苗，从而产生误报警的缺陷，提供一种火苗的检测方法、系统、设备和存储介质。
5.本发明是通过下述技术方案来解决上述技术问题：
6.本发明提供一种火苗的检测方法，包括：
7.获取监控视频的帧图像；
8.将所述帧图像输入火苗检测模型，以由所述火苗检测模型对所述帧图像进行火苗检测并在检出火苗时输出目标帧图像；
9.获取所述监控视频中在所述目标帧图像之前拍摄的帧图像，以作为参考帧图像；
10.计算得到所述目标帧图像和所述参考帧图像之间的相似性；
11.比较所述相似性和相似性阈值，若所述相似性不小于所述相似性阈值，则所述目标帧图像上的火苗为虚假火苗；若所述相似性小于所述相似性阈值，则所述目标帧图像上的火苗为真实火苗。
12.较佳地，所述火苗检测模型由若干标识有火苗信息的样本图像对retinanet(一种one-stage检测模型)模型训练得到；
13.所述retinanet模型包括依次连接的卷积神经网络、特征金字塔网络和分类回归网络。
14.较佳地，所述火苗检测模型在检出火苗时还输出火苗信息，所述火苗信息包括所述帧图像中每个位置的各个锚点的火苗类别概率以及各个所述锚点与正确的数据之间的偏离量；
15.所述分类回归网络包括分类分支和回归分支；
16.所述特征金字塔网络的输出分别与所述分类分支和所述回归分支连接，所述分类
分支输出所述火苗类别概率，所述回归分支输出所述偏离量。
17.较佳地，在所述火苗检测模型的训练过程中，所述分类分支的损失函数采用focal loss，和/或，所述回归分支的损失函数采用l1 loss。
18.较佳地，在所述计算得到所述目标帧图像和所述参考帧图像之间的相似性的步骤之前，所述检测方法还包括：
19.缩小所述目标帧图像和所述参考帧图像的尺寸；
20.对缩小后的所述目标帧图像和所述参考帧图像进行简化色彩。
21.较佳地，所述计算得到所述目标帧图像和所述参考帧图像之间的相似性，包括：
22.对所述目标帧图像和所述参考帧图像进行离散余弦变换，以呈现图像的频率信息；
23.对于变换后的所述目标帧图像和所述参考帧图像，分别计算得到对应的目标哈希值和参考哈希值；
24.基于所述哈希值，计算所述目标帧图像和所述参考帧图像的汉明距离；其中，所述汉明距离衡量所述目标哈希值和所述参考哈希值的相似性，所述汉明距离与所述相似性负相关。
25.较佳地，所述比较所述相似性和所述相似性阈值，若所述相似性不小于所述相似性阈值，则所述目标帧图像上的火苗为虚假火苗；若所述相似性小于所述相似性阈值，则所述目标帧图像上的火苗为真实火苗，包括：
26.比较所述汉明距离和所述相似性阈值，若所述汉明距离不大于所述相似性阈值，则所述目标帧图像上的火苗为虚假火苗；若所述汉明距离大于所述相似性阈值，则所述目标帧图像上的火苗为真实火苗。
27.本发明还提供一种火苗的检测系统，包括：获取模块、检测模块、计算模块和比较模块；
28.所述获取模块用于获取监控视频的帧图像；
29.所述检测模块用于将所述帧图像输入火苗检测模型，以由所述火苗检测模型对所述帧图像进行火苗检测并在检出火苗时输出目标帧图像；
30.所述获取模块还用于获取所述监控视频中在所述目标帧图像之前拍摄的帧图像，以作为参考帧图像；
31.所述计算模块用于计算得到所述目标帧图像和所述参考帧图像之间的相似性；
32.所述比较模块用于比较所述相似性和相似性阈值，若所述相似性不小于所述相似性阈值，则所述目标帧图像上的火苗为虚假火苗；若所述相似性小于所述相似性阈值，则所述目标帧图像上的火苗为真实火苗。
33.较佳地，所述火苗检测模型由若干标识有火苗信息的样本图像对retinanet模型训练得到；
34.所述retinanet模型包括依次连接的卷积神经网络、特征金字塔网络和分类回归网络。
35.较佳地，所述火苗检测模型在检出火苗时还输出火苗信息，所述火苗信息包括所述帧图像中每个位置的各个锚点的火苗类别概率以及各个所述锚点与正确的数据之间的偏离量；
36.所述分类回归网络包括分类分支和回归分支；
37.所述特征金字塔网络的输出分别与所述分类分支和所述回归分支连接，所述分类分支输出所述火苗类别概率，所述回归分支输出所述偏离量。
38.较佳地，在所述火苗检测模型的训练过程中，所述分类分支的损失函数采用focal loss，和/或，所述回归分支的损失函数采用l1 loss。
39.较佳地，所述检测系统还包括：缩小模块和简化色彩模块；
40.所述缩小模块用于缩小所述目标帧图像和所述参考帧图像的尺寸；
41.所述简化色彩模块用于对缩小后的所述目标帧图像和所述参考帧图像进行简化色彩。
42.较佳地，所述计算模块包括：离散余弦变换单元、哈希值单元和汉明距离单元；
43.所述离散余弦变换单元用于对所述目标帧图像和所述参考帧图像进行离散余弦变换，以呈现图像的频率信息；
44.所述哈希值单元用于对于变换后的所述目标帧图像和所述参考帧图像，分别计算得到对应的目标哈希值和参考哈希值；
45.所述汉明距离单元用于基于所述哈希值，计算所述目标帧图像和所述参考帧图像的汉明距离；其中，所述汉明距离衡量所述目标哈希值和所述参考哈希值的相似性，所述汉明距离与所述相似性负相关。
46.较佳地，所述比较模块具体用于比较所述汉明距离和所述相似性阈值，若所述汉明距离不大于所述相似性阈值，则所述目标帧图像上的火苗为虚假火苗；若所述汉明距离大于所述相似性阈值，则所述目标帧图像上的火苗为真实火苗。
47.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现前述的火苗的检测方法。
48.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的火苗的检测方法。
49.本发明的积极进步效果在于：通过火苗检测模型快速并且准确地识别出火苗，输出检出火苗的目标帧图像，再结合目标帧图像之前的参考帧图像进行比较，有效识别出背景中的静态虚假火苗图像，能够提高真实火苗的识别率，更符合工业生产仓储等实际场景，减少了误报警火灾的发生。
附图说明
50.图1为本发明的实施例1的火苗的检测方法的流程图。
51.图2为本发明的实施例1的火苗的检测方法的一具体实施方式的流程图。
52.图3为本发明的实施例1的火苗的检测方法中的步骤s14的一具体实施方式的流程图。
53.图4为本发明的实施例2的火苗的检测系统的模块示意图。
54.图5为本发明的实施例3的电子设备的结构示意图。
具体实施方式
55.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实
施例范围之中。
56.实施例1
57.本实施例提供一种火苗的检测方法，参照图1，检测方法包括：
58.s11、获取监控视频的帧图像。
59.s12、将帧图像输入火苗检测模型，以由火苗检测模型对帧图像进行火苗检测并在检出火苗时输出目标帧图像。
60.s13、获取监控视频中在目标帧图像之前拍摄的帧图像，以作为参考帧图像。
61.s14、计算得到目标帧图像和参考帧图像之间的相似性。
62.s15、比较相似性和相似性阈值，若相似性不小于相似性阈值，则目标帧图像上的火苗为虚假火苗；若相似性小于相似性阈值，则目标帧图像上的火苗为真实火苗。
63.其中，在检测出目标帧图像上的火苗为真实火苗之后，可以通过声、光、短信等方式进行火灾报警。
64.本实施例通过火苗检测模型快速并且准确地识别出火苗，输出检出火苗的目标帧图像，再结合目标帧图像之前的参考帧图像进行比较，有效识别出背景中的静态虚假火苗图像，能够提高真实火苗的识别率，更符合工业生产仓储等实际场景，减少了误报警火灾的发生。
65.具体实施时，火苗检测模型由若干标识有火苗信息的样本图像对retinanet模型训练得到。
66.retinanet模型包括依次连接的卷积神经网络、特征金字塔网络和分类回归网络。
67.其中，retinanet模型是由一个主干网络和两个特定于任务的子网组成的统一的网络。主干网络：负责在整个输入图像上计算卷积特征图，采用基于卷积神经网络的特征金字塔网络，特征金字塔网络提升了特征提取的效果。卷积神经网络可以采用resnet-101。
68.retinanet模型是一种one-stage目标检测算法，经过单次检测即可直接得到最终的检测结果，有着更快的检测速度，并且具有良好的图像检测性能。
69.本实施例中，通过retinanet模型，增强了对于不同目标尺度的图像的处理和识别能力，提高了图像识别的快速性、准确性和精准度。
70.具体实施时，火苗检测模型在检出火苗时还输出火苗信息，火苗信息包括帧图像中每个位置的各个锚点的火苗类别概率以及各个锚点与正确的数据之间的偏离量。
71.分类回归网络包括分类分支和回归分支。
72.特征金字塔网络的输出分别与分类分支和回归分支连接，分类分支输出火苗类别概率，回归分支输出偏离量。
73.其中，retinanet模型中两个特定于任务的子网分别是分类分支(即分类子网)和回归分支(边界框回归子网)。分类分支：对主干输出进行卷积分类，可以通过火苗类别概率进行分类，可以分为火苗和非火苗。回归分支：执行卷积边界框回归。
74.本实施例中，通过分类分支和回归分支，分别得到火苗类别概率和各个锚点与正确的数据之间的偏离量，提高了图像识别的快速性、准确性和精准度。
75.具体实施时，在火苗检测模型的训练过程中，分类分支的损失函数采用focal loss。
76.其中，focal loss基于交叉熵进行改进。主要思路是降低分类效果好(网络预测的
置信度高)的样本的loss值，让模型聚焦在难学习的样本中。
77.本实施例中通过focal loss损失函数，解决了one-stage目标检测中正负样本比例严重失衡的问题。
78.具体实施时，在火苗检测模型的训练过程中，回归分支的损失函数采用l1 loss。
79.其中，l1 loss的优点在于梯度稳定。
80.本实施例提供了回归分支的损失函数的一具体实施方式。
81.具体实施时，在步骤s14之前，参照图2，检测方法还包括：
82.s1301、缩小目标帧图像和参考帧图像的尺寸。
83.s1302、对缩小后的目标帧图像和参考帧图像进行简化色彩。
84.其中，简化色彩是指忽略在一定范围内的色彩差异，将在一定色彩差异范围内的图像划分为同一组，使其具有相同(相近)的特征值。
85.本实施例中，实现了快速地去除高频和细节，只保留结构明暗，能够摒弃不同尺寸、比例带来的图片差异。
86.具体实施时，参照图3，步骤s14包括：
87.s141、对目标帧图像和参考帧图像进行离散余弦变换，以呈现图像的频率信息。
88.s142、对于变换后的目标帧图像和参考帧图像，分别计算得到对应的目标哈希值和参考哈希值。
89.s143、基于哈希值，计算目标帧图像和参考帧图像的汉明距离。其中，汉明距离衡量目标哈希值和参考哈希值的相似性，汉明距离与相似性负相关。
90.其中，离散余弦变换相当于一个长度大概是它两倍的离散傅里叶变换，这个离散傅里叶变换是对一个实偶函数进行的(因为一个实偶函数的傅里叶变换仍然是一个实偶函数)，在有些变形里面需要将输入或者输出的位置移动半个单位。
91.计算哈希值是指每个像素点在离散余弦变换变换后的值与平均值比较，大于计1，小于计0。
92.汉明距离表示两个(相同长度)字符串对应位置的不同字符的数量，以d(x,y)表示两个字x,y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。换句话说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。
93.对于二进制字符串，汉明距离表示两个二进制字符串对应位不同的数量。例如，对于二进制字符串a和b，汉明距离等于它们汉明重量的和a+b或者a和b汉明重量的异或a xor b。
94.本实施例中，通过离散余弦变换、哈希值以及汉明距离，实现了衡量目标哈希值和参考哈希值的相似性，从而能够衡量目标帧图像和参考帧图像的相似性。
95.具体实施时，步骤s15包括：
96.比较汉明距离和相似性阈值，若汉明距离不大于相似性阈值，则目标帧图像上的火苗为虚假火苗；若汉明距离大于相似性阈值，则目标帧图像上的火苗为真实火苗。
97.其中，相似性阈值可以设置为5。
98.可以根据实际需要设置相似性阈值。
99.本实施例中，通过比较汉明距离和相似性阈值，有效识别出背景中的静态虚假火
苗图像，能够提高真实火苗的识别率，更符合工业生产仓储等实际场景，减少了误报警火灾的发生。
100.以下是一个应用火苗的检测方法的示例。
101.(1)模型训练。样本图像共由2468张帧图像，2383个标注目标。其中训练集包含2221张帧图像，2141个标注目标。验证集包含247张帧图像，242个标注目标。retinanet模型训练得到火苗检测模型。
102.(2)获取某工厂的对烟火的监控视频，从监控视频中逐帧提取帧图像，将帧图像输入火苗检测模型，进行火苗识别与定位。
103.(3)当检查到火苗时进行假火识别，将目标帧图像与参考帧图像(前一帧或前若干帧)进行比较，判断汉明距离是否大于相似性阈值(例如5)，大于相似性阈值则判定为真实火焰，小于等于相似性阈值(例如5)则判定为虚假火焰。
104.实施例2
105.本实施例提供一种火苗的检测系统，参照图4，检测系统包括：获取模块1、检测模块2、计算模块3和比较模块4。
106.获取模块1用于获取监控视频的帧图像。
107.检测模块2用于将帧图像输入火苗检测模型，以由火苗检测模型对帧图像进行火苗检测并在检出火苗时输出目标帧图像。
108.获取模块1还用于获取监控视频中在目标帧图像之前拍摄的帧图像，以作为参考帧图像。
109.计算模块3用于计算得到目标帧图像和参考帧图像之间的相似性。
110.比较模块4用于比较相似性和相似性阈值，若相似性不小于相似性阈值，则目标帧图像上的火苗为虚假火苗；若相似性小于相似性阈值，则目标帧图像上的火苗为真实火苗。
111.其中，在检测出目标帧图像上的火苗为真实火苗之后，可以通过声、光、短信等方式进行火灾报警。
112.本实施例通过火苗检测模型快速并且准确地识别出火苗，输出检出火苗的目标帧图像，再结合目标帧图像之前的参考帧图像进行比较，有效识别出背景中的静态虚假火苗图像，能够提高真实火苗的识别率，更符合工业生产仓储等实际场景，减少了误报警火灾的发生。
113.具体实施时，火苗检测模型由若干标识有火苗信息的样本图像对retinanet模型训练得到。
114.retinanet模型包括依次连接的卷积神经网络、特征金字塔网络和分类回归网络。
115.其中，retinanet模型是由一个主干网络和两个特定于任务的子网组成的统一的网络。主干网络：负责在整个输入图像上计算卷积特征图，采用基于卷积神经网络的特征金字塔网络，特征金字塔网络提升了特征提取的效果。卷积神经网络可以采用resnet-101。
116.retinanet模型是一种one-stage目标检测算法，经过单次检测即可直接得到最终的检测结果，有着更快的检测速度，并且具有良好的图像检测性能。
117.本实施例中，通过retinanet模型，增强了对于不同目标尺度的图像的处理和识别能力，提高了图像识别的快速性、准确性和精准度。
118.具体实施时，火苗检测模型在检出火苗时还输出火苗信息，火苗信息包括帧图像
中每个位置的各个锚点的火苗类别概率以及各个锚点与正确的数据之间的偏离量。
119.分类回归网络包括分类分支和回归分支。
120.特征金字塔网络的输出分别与分类分支和回归分支连接，分类分支输出火苗类别概率，回归分支输出偏离量。
121.其中，retinanet模型中两个特定于任务的子网分别是分类分支(即分类子网)和回归分支(边界框回归子网)。分类分支：对主干输出进行卷积分类，可以通过火苗类别概率进行分类，可以分为火苗和非火苗。回归分支：执行卷积边界框回归。
122.本实施例中，通过分类分支和回归分支，分别得到火苗类别概率和各个锚点与正确的数据之间的偏离量，提高了图像识别的快速性、准确性和精准度。
123.具体实施时，在火苗检测模型的训练过程中，分类分支的损失函数采用focal loss。
124.其中，focal loss基于交叉熵进行改进。主要思路是降低分类效果好(网络预测的置信度高)的样本的loss值，让模型聚焦在难学习的样本中。
125.本实施例中通过focal loss损失函数，解决了one-stage目标检测中正负样本比例严重失衡的问题。
126.具体实施时，在火苗检测模型的训练过程中，回归分支的损失函数采用l1 loss。
127.其中，l1 loss的优点在于梯度稳定。
128.本实施例提供了回归分支的损失函数的一具体实施方式。
129.具体实施时，检测系统还包括：缩小模块5和简化色彩模块6。
130.缩小模块5用于缩小目标帧图像和参考帧图像的尺寸。
131.简化色彩模块6用于对缩小后的目标帧图像和参考帧图像进行简化色彩。
132.其中，简化色彩是指忽略在一定范围内的色彩差异，将在一定色彩差异范围内的图像划分为同一组，使其具有相同(相近)的特征值。
133.本实施例中，实现了快速地去除高频和细节，只保留结构明暗，能够摒弃不同尺寸、比例带来的图片差异。
134.具体实施时，计算模块3包括：离散余弦变换单元301、哈希值单元302和汉明距离单元303。
135.离散余弦变换单元301用于对目标帧图像和参考帧图像进行离散余弦变换，以呈现图像的频率信息。
136.哈希值单元302用于对于变换后的目标帧图像和参考帧图像，分别计算得到对应的目标哈希值和参考哈希值。
137.汉明距离单元303用于基于哈希值，计算目标帧图像和参考帧图像的汉明距离。其中，汉明距离衡量目标哈希值和参考哈希值的相似性，汉明距离与相似性负相关。
138.其中，离散余弦变换相当于一个长度大概是它两倍的离散傅里叶变换，这个离散傅里叶变换是对一个实偶函数进行的(因为一个实偶函数的傅里叶变换仍然是一个实偶函数)，在有些变形里面需要将输入或者输出的位置移动半个单位。
139.计算哈希值是指每个像素点在离散余弦变换变换后的值与平均值比较，大于计1，小于计0。
140.汉明距离表示两个(相同长度)字符串对应位置的不同字符的数量，以d(x,y)表示
两个字x,y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。换句话说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。
141.对于二进制字符串，汉明距离表示两个二进制字符串对应位不同的数量。例如，对于二进制字符串a和b，汉明距离等于它们汉明重量的和a+b或者a和b汉明重量的异或a xor b。
142.本实施例中，通过离散余弦变换、哈希值以及汉明距离，实现了衡量目标哈希值和参考哈希值的相似性，从而能够衡量目标帧图像和参考帧图像的相似性。
143.具体实施时，比较模块4具体用于比较汉明距离和相似性阈值，若汉明距离不大于相似性阈值，则目标帧图像上的火苗为虚假火苗；若汉明距离大于相似性阈值，则目标帧图像上的火苗为真实火苗。
144.其中，相似性阈值可以设置为5。
145.可以根据实际需要设置相似性阈值。
146.本实施例中，通过比较汉明距离和相似性阈值，有效识别出背景中的静态虚假火苗图像，能够提高真实火苗的识别率，更符合工业生产仓储等实际场景，减少了误报警火灾的发生。
147.以下是一个应用火苗的检测方法的示例。
148.(1)模型训练。样本图像共由2468张帧图像，2383个标注目标。其中训练集包含2221张帧图像，2141个标注目标。验证集包含247张帧图像，242个标注目标。retinanet模型训练得到火苗检测模型。
149.(2)获取某工厂的对烟火的监控视频，从监控视频中逐帧提取帧图像，将帧图像输入火苗检测模型，进行火苗识别与定位。
150.(3)当检查到火苗时进行假火识别，将目标帧图像与参考帧图像(前一帧或前若干帧)进行比较，判断汉明距离是否大于相似性阈值(例如5)，大于相似性阈值则判定为真实火焰，小于等于相似性阈值(例如5)则判定为虚假火焰。
151.实施例3
152.图5为本发明实施例3提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1中的火苗的检测方法。图5显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
153.电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
154.总线33包括数据总线、地址总线和控制总线。
155.存储器32可以包括易失性存储器，例如随机存取存储器(ram)321和/或高速缓存存储器322，还可以进一步包括只读存储器(rom)323。
156.存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
157.处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1中的火苗的检测方法。
158.电子设备30也可以与一个或多个外部设备34(例如按键、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口35进行。并且，模型生成的电子设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的电子设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
159.应当注意，尽管在上文详细描述中提及了电子设备的若干模块/模块或子模块/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块/模块的特征和功能可以在一个模块/模块中具体化；反之，上文描述的一个模块/模块的特征和功能可以进一步划分为由多个模块/模块来具体化。
160.实施例4
161.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1中的火苗的检测方法。
162.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
163.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中的火苗的检测方法。
164.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
165.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。