遗落物品的检测方法、装置、设备及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种遗落物品的检测方法、装置、设备及存储介质。


背景技术：

2.遗落物品的泛检测是检测驾驶舱内的人为遗落物品的检测方法，区别于传统检测方法需要指定待检测物品类别，泛检测方法需要检测未知物品类别。
3.目前的遗落物品检测主要有基于训练的方法和基于背景建模的方法，其中基于训练的方法通过对各类目标训练检测，但其依赖于物品纹理和形状等特征，无法满足泛检测对未知物品的检测需求；基于背景建模的方法通过背景目标像素值以及不同颜色空间特征进行判别，但是车辆在移动过程或随时间迁移会使帧间光照不一，导致背景光照不同，环境光干扰非常大。可见，驾驶舱的遗落物品检测受限于舱内复杂的光线变化。


技术实现要素：

4.本技术提供了一种遗落物品的检测方法、装置、设备及存储介质，以解决驾驶舱的遗落物品检测受限于舱内复杂的光线变化的技术问题。
5.为了解决上述技术问题，第一方面，本技术实施例提供了一种遗落物品的检测方法，包括：利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息；基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和所述当前帧图像进行光照补偿，得到目标历史帧图像和目标当前帧图像；利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行背景建模，得到目标前景检测区域；对目标前景检测区域进行聚类分析，得到当前帧图像的遗落物品位置。
6.本实施例通过利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息,并基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和所述当前帧图像进行光照补偿，得到目标历史帧图像和目标当前帧图像，利用反射度和光照实现对历史帧图像和当前帧图像进行光照补偿，降低环境光干扰；利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行背景建模，得到目标前景检测区域，以在画面抖动、物体移动等场景时具有更高的鲁棒性；最后对目标前景检测区域进行聚类分析，得到当前帧图像的遗落物品位置，从而无需依赖遗落物品的纹理、形状和类别等特征进行检测，实现对未知物品的检测。
7.在一实施例中，利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像
进行背景建模，得到目标前景检测区域，包括：利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行特征分析，输出背景参考模板和第一前景检测区域；基于背景参考模板，对当前帧图像进行差分，得到第二前景检测区域；对第一前景检测区域与第二前景检测区域进行对比分析，得到目标前景检测区域。
8.在一实施例中，对目标前景检测区域进行聚类分析，得到当前帧图像的遗落物品位置之后，还包括：截取遗落物品位置对应的位置图像；基于预设的分类算法，对位置图像进行分类识别，得到遗落物品类别。
9.在一实施例中，利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息之前，还包括：获取第一图像训练集，第一图像训练集包含具有相同内容和不同光照强度的多帧第一图像样本；基于多帧第一图像样本，对第一预设神经网络进行迭代训练，直至第一预设神经网络的第一损失函数达到第一预设收敛条件，停止迭代，得到光照补偿网络，第一损失函数包括光照损失函数、反射度损失函和重建损失函数数；光照损失函数用于表征每次迭代得到的两帧光照图之间的光照误差，反射度损失函数用于表征每次迭代得到的两帧反射图之间的反射度误差，重建损失函数用于表征每次迭代得到的两帧还原图之间的还原误差，还原图基于反射图和光照图重建得到。
10.可选地，光照损失函数为：；其中，表示通过高斯模糊后的低光照第一图像样本的一阶微分，表示低光照的光照图在x方向上的一阶微分，表示低光照的光照图在y方向上的一阶微分，表示通过高斯模糊后的高光照第一图像样本的一阶微分，表示高光照的光照图在x方向上的一阶微分，表示高光照的光照图在y方向上的一阶微分。
11.在一实施例中，利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行背景建模，得到目标前景检测区域之前，包括：获取第二图像训练集，第二图像训练集包含具有相同场景和不同时间序列的多帧第二图像样本；基于多帧第二图像样本，对第二预设神经网络进行迭代训练，直至第二预设神经网络的第二损失函数达到第二预设收敛条件，停止迭代，得到背景建模网络，第二损失函数包括背景损失函数和前景损失函数；背景损失函数用于表征每次迭代得到的背景参考模板与预设干净背景图之间的误差，前景损失函数用于表征每次迭代得到的前景检测区域与预设掩膜之间的误差。
12.可选地，前景损失函数包括dice损失函数和cross entropy损失函数。
13.第二方面，本技术实施例提供一种遗落物品的检测装置，包括：确定模块，用于利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息；补偿模块，用于基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和所述当前帧图像进行光照补偿，得到目标历史帧图像和目标当前帧图像；建模模块，用于利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行背景建模，得到目标前景检测区域；聚类模块，用于对目标前景检测区域进行聚类分析，得到当前帧图像的遗落物品位置。
14.第三方面，本技术实施例提供一种计算机设备，包括处理器和存储器，存储器用于存储计算机程序，计算机程序被处理器执行时实现第一方面的遗落物品的检测方法。
15.第四方面，本技术实施例提供一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现第一方面的遗落物品的检测方法。
16.需要说明的是，上述第二方面至第四方面的有益效果请参见上述第一方面的相关描述，在此不再赘述。
附图说明
17.图1为本技术实施例提供的遗落物品的检测方法的流程示意图；图2为本技术实施例提供的光照补偿网络的结构示意图；图3为本技术实施例提供的背景建模网络的结构示意图；图4为本技术实施例提供的两帧第一图像样本的示意图；图5为本技术实施例提供的两帧第二图像样本示意图；图6为本技术实施例提供的背景参考模板与预设干净背景图的示意图；图7为本技术实施例提供的前景检测区域与预设掩膜的示意图；图8为本技术实施例提供的遗落物品的检测装置的结构示意图；图9为本技术实施例提供的计算机设备的流程示意图。
具体实施方式
18.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
19.如相关技术记载，目前的遗落物品检测主要有基于训练的方法和基于背景建模的方法，其中基于训练的方法通过对各类目标训练检测，但其依赖于物品纹理和形状等特征，无法满足泛检测对未知物品的检测需求；基于背景建模的方法通过背景目标像素值以及不同颜色空间特征进行判别，但是车辆在移动过程或随时间迁移会使帧间光照不一，导致背景光照不同，环境光干扰非常大。可见，驾驶舱的遗落物品检测受限于舱内复杂的光线变
化。
20.为此，本技术实施例提供一种遗落物品的检测方法、装置、设备及存储介质，通过利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息,并基于所述第一光照信息和所述第一反射度信息，对所述历史帧图像进行光照补偿，得到所述目标历史帧图像，以及基于所述第二光照信息和所述第二反射度信息，对所述当前帧图像进行光照补偿，得到所述目标当前帧图像，利用反射度和光照实现对历史帧图像和当前帧图像进行光照补偿，降低环境光干扰；利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行背景建模，得到目标前景检测区域，以在画面抖动、物体移动等场景时具有更高的鲁棒性；最后对所述目标前景检测区域进行聚类分析，得到所述当前帧图像的遗落物品位置，从而无需依赖遗落物品的纹理、形状和类别等特征进行检测，实现对未知物品的检测。
21.请参照图1，图1为本技术实施例提供的一种遗落物品的检测方法的流程示意图。本技术实施例的遗落物品的检测方法可应用于计算机设备，该计算机设备包括但不限于智能手机、平板电脑、笔记本电脑、桌上型计算机、车载终端、物理服务器和云服务器等计算设备。如图1所示，遗落物品的检测方法包括步骤s101至步骤s105，详述如下：步骤s101，利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息。
22.步骤s102，基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和当前图像帧进行光照补偿，得到目标历史帧图像和目标当前帧图像。
23.在步骤s101至s102中，由于物体的颜色是由物体对长波、中波和短波光线的反射能力决定,而不是由反射光强度的绝对值决定，且物体的色彩不受光照非均性的影响,具有一致性，所以一张图像由反射度和光照组成，其关系为。如图4所示，对于任意两张内容相同，但光照不同的图像，两者反射度一致，即。
24.可选地，将历史帧图像与当前帧图像作为输入，分别输入光照补偿网络，并得到第一光照信息、第一反射度信息、第二光照信息和第二反射度信息，比较与之间的大小（即通过比较是否大于1），确定光照较高的光照图作为补偿依据，假设为光照较高的光照图，再基于对应的光照信息和反射度信息，对历史帧图像与当前帧图像进行光照补偿，得到补偿后的历史帧图像、补偿后当前帧图像。
25.步骤s103，利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行背景建模，得到目标前景检测区域。
26.在本步骤中，一张图片可区分为前景与后景，而通常任意一个时间序列的不同两帧图片，有较为相似的背景与不同的前景（如图5所示），所以对于一组帧对图片而言，可以认为每帧由两帧相同的部分与各自不同的部分组成，即，。
27.可选地，将补偿后的两帧图像（历史帧图像和当前帧图像）作为背景建模网络的输入，经过背景建模网络背景差分等操作后，得到目标前景检测区域。
28.步骤s104，对所述目标前景检测区域进行聚类分析，得到所述当前帧图像的遗落物品位置。
29.在本步骤中，获得各目标前景检测区域的目标框中心点坐标及长度和宽度：对前景建议区域应用聚类算法，使前景建议区域中原本的离散点转换为若干待输出的目标，采用最小外接矩形表示目标框中心点（遗落物品位置）及目标框长度和宽度。
30.在一实施例中，在图1所示实施例的基础上，上述步骤s103，包括：利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行特征分析，输出背景参考模板和第一前景检测区域；基于所述背景参考模板，对所述当前帧图像进行差分，得到第二前景检测区域；对所述第一前景检测区域与所述第二前景检测区域进行对比分析，得到所述目标前景检测区域。
31.在本实施例中，可选地，将补偿后的两帧图像作为背景建模网络的输入，得到背景参考模板及第一前景检测区域，将背景参考模板与补偿后当前帧图像进行直接差分，得到第二前景检测区域，将两次获得前景检测区域进行对比，并设定阈值删除离群点，得到目标前景检测区域。
32.在一实施例中，在图1所示实施例的基础上，上述步骤s104后，还包括：截取所述遗落物品位置对应的位置图像；基于预设的分类算法，对所述位置图像进行分类识别，得到遗落物品类别。
33.在本实施例中，根据待输出的目标数量及其目标框信息在原图中截图对应区域；应用分类算法对目标进行分类输出。
34.可以理解的是，本技术实施例可以检测未知遗落物品的位置，所以即使无法识别遗落物品的纹理、形状和类别等特征，也依旧能够检测出车舱内存在遗落物品，且能够检测出具体位置，实现对未知遗落物品的检测。而本实施例通过分类识别作为识别物品类型的进一步方案，以对能够基于纹理、形状和类别等特征进行识别，以便用户得到遗落物品是何物。
35.在一实施例中，在图1所示实施例的基础上，上述步骤s101前，还包括：获取第一图像训练集，所述第一图像训练集包含具有相同内容和不同光照强度的多帧第一图像样本；基于多帧所述第一图像样本，对第一预设神经网络进行迭代训练，直至所述第一预设神经网络的第一损失函数达到第一预设收敛条件，停止迭代，得到所述光照补偿网络，所述第一损失函数包括光照损失函数、反射度损失函和重建损失函数数；所述光照损失函数用于表征每次迭代得到的两帧光照图之间的光照误差，所述反射度损失函数用于表征每次迭代得到的两帧反射图之间的反射度误差，所述重建损失函数用于表征对每次迭代得到的两帧还原图之间的还原误差，所述还原图基于所述反射图和所述光照图重建得到。
36.在本实施例中，如图4所示的两帧第一图像样本的示意图，对于光照补偿网络而言，需要若干组内容一致，但光照不同的图像。
37.可选地，为了增强训练数据，对输入数据做随机数据变换，数据增强方法包括但不限于水平翻转、随机旋转、随机截图、对比度增强、加高斯噪声和随机单应性变换。其中随机
图像剪切，会使两帧输入图像可能不对齐，而对应的真值却是同样一个目标，所以在网络的学习过程中，学习到这种画面不对齐的因素，遇到实际的画面抖动也能很好的处理得到比较鲁棒的效果。
38.示例性地，如图2所示，将图像块变换到(240,120)的分辨率，经过图像除以255归一化处理后，送入光照补偿网络，网络每次的输入为2张有光照差异的图像对（即一帧光照较高的第一图像样本和一帧光照较低的第一图像样本），输出为反射图及光照图，其中是反射度较低的反射图，是反射度较高的反射图，是光照较低的光照图，是光照较高的光照图。
39.第一损失函数包括重建损失函数，光照损失函数及反射度损失函数，用来监督网络学习，即。
40.可选地，所述光照损失函数为：；其中，表示通过高斯模糊后的低光照第一图像样本的一阶微分，表示低光照的所述光照图在x方向上的一阶微分，表示低光照的所述光照图在y方向上的一阶微分，表示通过高斯模糊后的高光照第一图像样本的一阶微分，表示高光照的所述光照图在x方向上的一阶微分，表示高光照的所述光照图在y方向上的一阶微分。
41.需要说明的是，是输入到光照损失网络的两帧第一图像样本中光照较低的一帧，是输入到光照损失网络的两帧第一图像样本中光照较高的一帧，为光照损失网络输出的光照图的一阶微分，一阶微分的公式为,。
42.在本实施例中，光照损失函数为光照平滑损失函数，由于光照应该具有全局平滑性，而图像中物体边缘会导致光照出现明显波动，所以在物体边缘部分应该降低惩罚，而对于图像中平滑的位置，则应该提高惩罚，而图像的一阶微分正好可以反应物体边缘，但由于一阶微分除了表达边缘外，还会含有丰富的图像细节，需要使用高斯模糊来将图像一阶微分中含有的细节擦除，所以本实施例采用了带权重的tv损失来模拟这一情况，将图像的微分作为分母，图像边缘明显的位置，其一阶微分大，故倒数则变小，符合惩罚项规则。
43.可选地，所述反射度损失函数为：；；；其中，表示反射度一致性损失函数，表示噪声抑制损失函数，表示高反射度的反射图，表示低反射度的反射图。
44.在本实施例中，反射度损失函数包括反射一致性损失函数和噪声抑制损失函数，其中反射一致性损失采用l1损失，在本实施例中具体为；
噪声抑制损失函数为tv损失(total variation loss)，在本实施例具体为：，最终。
45.可选地，所述重建损失函数为：；；；其中，表示图像分解损失函数，表示图像调整损失函数，i表示所述第一图像样本，表示反射图，表示光照图，在本实施例中，重建损失使用的是l1损失函数，包括分解重建损失函数和调整重建损失函数。基于retinex理论，反射是物体的固有属性，不受外界环境改变，所以同样的物体在不同光照下，即使成像不同也具有相同的反射度，即相同内容的图片具有相同的反射度，其中分解重建损失函数为：，所以对于任一张图像而言，均有i=r
·
l，则本实施例的分解重建损失函数为。具体地，，。
46.可选地，基于retinex理论，低反射图与高光照图理论上可以完成对于高亮度图片的还原，所以，则,。进一步地，在实际应用中，高光照的原图细节保留更多，所以优选作为调整重建损失函数，则，而最终也将作为光照补偿网络在实际应用中对图像进行光照补偿的依据，从而达到光照补偿的效果。
47.在一实施例中，在图1所示实施例的基础上，上述步骤s103之前，还包括：获取第二图像训练集，所述第二图像训练集包含具有相同场景和不同时间序列的多帧第二图像样本；基于多帧所述第二图像样本，对第二预设神经网络进行迭代训练，直至所述第二预设神经网络的第二损失函数达到第二预设收敛条件，停止迭代，得到所述背景建模网络，所述第二损失函数包括背景损失函数和前景损失函数；所述背景损失函数用于表征每次迭代得到的背景参考模板与预设干净背景图之间的误差，所述前景损失函数用于表征每次迭代得到的前景检测区域与预设掩膜之间的误差。
48.在本实施例中，如图5所示，背景建模网络需要若干组同一场景下，一个时间序列中的若干间隔帧图像。
49.可选地，为了增强训练数据，对输入数据做随机数据变换，数据增强方法包括但不限于水平翻转、随机旋转、随机截图、对比度增强、加高斯噪声和随机单应性变换。其中随机图像剪切，会使两帧输入图像可能不对齐，而对应的真值却是同样一个目标，所以在网络的学习过程中，学习到这种画面不对齐的因素，遇到实际的画面抖动也能很好的处理得到比较鲁棒的效果。
50.示例性地，将图像块变换到(240，120)的分辨率，经过图像除以255归一化处理后，送入网络，如图3所示，网络输入为两帧光照补偿后图像，输出为前景检测区域与背景参考模板，其中为当前帧图像的前景检测区域，为
历史帧图像的前景检测区域。第二损失函数包括背景损失函数及前景损失函数。以图7所示的预设的干净背景图以及如图6所示的掩膜如来监督网络学习，即。
51.可选地，背景损失函数为：；在本可选实施例中，背景损失采用l1损失作为重构损失，使用干净背景图作为该分支的真值，。
52.可选地，前景损失函数包括dice损失函数和cross entropy损失函数。所述前景损失函数为：；；；在本实施例中，前景损失函数采用传统分割常用的损失函数，即dice损失与cross entropy损失。dice损失是一种交并比的变种，其公式为,在本实施例中具体为，cross entropy损失为常见的分类损失，作为应用在每个像素上的约束，其公式为，在本实施例中为，最终。
53.为了执行上述方法实施例对应的遗落物品的检测方法，以实现相应的功能和技术效果。参见图8，图8示出了本技术实施例提供的一种遗落物品的检测装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本技术实施例提供的台区识别装置，包括：确定模块801，用于利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息；补偿模块802，用于基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和当前帧图像进行光照补偿，得到目标历史帧图像和目标当前帧图像；建模模块803，用于利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行背景建模，得到目标前景检测区域；聚类模块804，用于对所述目标前景检测区域进行聚类分析，得到所述当前帧图像的遗落物品位置。
54.在一实施例中，所述建模模块803，包括：分析单元，用于利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行特征分析，输出背景参考模板和第一前景检测区域；差分单元，用于基于所述背景参考模板，对所述当前帧图像进行差分，得到第二前景检测区域；对比单元，用于对所述第一前景检测区域与所述第二前景检测区域进行对比分析，得到所述目标前景检测区域。
55.在一实施例中，所述遗落物品的检测装置，还包括：截取模块，用于截取所述遗落物品位置对应的位置图像；
分类模块，用于基于预设的分类算法，对所述位置图像进行分类识别，得到遗落物品类别。
56.在一实施例中，遗落物品的检测装置，还包括：第一获取模块，用于获取第一图像训练集，所述第一图像训练集包含具有相同内容和不同光照强度的多帧第一图像样本；第一训练模块，用于基于多帧所述第一图像样本，对第一预设神经网络进行迭代训练，直至所述第一预设神经网络的第一损失函数达到第一预设收敛条件，停止迭代，得到所述光照补偿网络，所述第一损失函数包括光照损失函数、反射度损失函和重建损失函数数；所述光照损失函数用于表征每次迭代得到的两帧光照图之间的光照误差，所述反射度损失函数用于表征每次迭代得到的两帧反射图之间的反射度误差，所述重建损失函数用于表征对每次迭代得到的两帧还原图之间的还原误差，所述还原图基于所述反射图和所述光照图重建得到。
57.可选地，所述光照损失函数为：其中，表示通过高斯模糊后的低光照第一图像样本的一阶微分，表示低光照的所述光照图在x方向上的一阶微分，表示低光照的所述光照图在y方向上的一阶微分，表示通过高斯模糊后的高光照第一图像样本的一阶微分，表示高光照的所述光照图在x方向上的一阶微分，表示高光照的所述光照图在y方向上的一阶微分。
58.在一实施例中，遗落物品的检测装置，包括：第二获取模块，用于获取第二图像训练集，所述第二图像训练集包含具有相同场景和不同时间序列的多帧第二图像样本；第二训练模块，用于基于多帧所述第二图像样本，对第二预设神经网络进行迭代训练，直至所述第二预设神经网络的第二损失函数达到第二预设收敛条件，停止迭代，得到所述背景建模网络，所述第二损失函数包括背景损失函数和前景损失函数；所述背景损失函数用于表征每次迭代得到的背景参考模板与预设干净背景图之间的误差，所述前景损失函数用于表征每次迭代得到的前景检测区域与预设掩膜之间的误差。
59.可选地，前景损失函数包括dice损失函数和cross entropy损失函数。
60.上述的遗落物品的检测装置可实施上述方法实施例的遗落物品的检测方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本技术实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
61.图9为本技术一实施例提供的计算机设备的结构示意图。如图9所示，该实施例的计算机设备9包括：至少一个处理器90（图9中仅示出一个）处理器、存储器91以及存储在所述存储器91中并可在所述至少一个处理器90上运行的计算机程序92，所述处理器90执行所
述计算机程序92时实现上述任意方法实施例中的步骤。
62.所述计算机设备9可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器90、存储器91。本领域技术人员可以理解，图9仅仅是计算机设备9的举例，并不构成对计算机设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
63.所称处理器90可以是中央处理单元(central processing unit，cpu)，该处理器90还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
64.所述存储器91在一些实施例中可以是所述计算机设备9的内部存储单元，例如计算机设备9的硬盘或内存。所述存储器91在另一些实施例中也可以是所述计算机设备9的外部存储设备，例如所述计算机设备9上配备的插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）等。进一步地，所述存储器91还可以既包括所述计算机设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
65.另外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
66.本技术实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。
67.在本技术所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
68.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
69.以上所述的具体实施例，对本技术的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本技术的具体实施例而已，并不用于限定本技术的保护范围。特别指出，对于本领域技术人员来说，凡在本技术的精神和原则之内，所做的任何修
改、等同替换、改进等，均应包含在本技术的保护范围之内。