一种终端全景图像处理方法、装置及终端与流程

本发明涉及终端技术领域，尤其涉及一种终端全景图像处理方法、装置及终端。

背景技术：

目前，在使用手机进行全景拍摄时，基本上都是采用单摄像头拍摄的方式，将手机平移进行拍摄，在平移的过程中，需要用户平稳地水平移动手机，在准确移动到取景框中箭头标识的地方时，拍摄下一张图像，将前后两张图像拼接，在旋转180度后，得到一张全景图像。

由于单摄像头无法采集图像的深度信息，所以单摄像头拍摄得到的全景图像没有背景虚化，无法体现出立体感与层次感。

如果平移速度过快，会使拼接后的图像过渡不自然，两张图像没有完全融合，产生失真现象。

技术实现要素：

本发明主要解决的技术问题是，提供一种终端全景图像处理方法、装置及终端，解决现有技术中，采用单摄像头拍摄得到的全景图像没有背景虚化，无法体现出立体感与层次感，拼接后得到的全景图像过渡不自然的问题。

为解决上述技术问题，本发明提供一种终端全景图像处理方法，包括：

通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值；

确定两帧景深图像的场景重叠区域，并得到重叠区域的图像；

利用深度信息值对重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接。

其中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：

对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；

利用深度信息均值对重叠区域的图像进行景深调整。

其中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：

将重叠区域的图像纵向划分成至少二等分子图像；

对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；

根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；

利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。

其中，确定两帧景深图像的场景重叠区域包括：

将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；

计算预重叠区域的相似性指数；

当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。

其中，计算预重叠区域的相似性指数包括：

计算预重叠区域图像的灰度值分布直方图；

利用欧式距离计算算法计算两个灰度图像的距离；

将距离作为相似性指数。

为解决上述技术问题，本发明提供一种终端全景图像处理装置，包括：

获取模块，用于通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值；

确定模块，用于确定两帧景深图像的场景重叠区域，并得到重叠区域的图像；

景深平滑处理模块，用于利用深度信息值对重叠区域的图像进行景深平滑处理；

全景拼接模块，用于将景深平滑处理模块处理后的图像进行全景拼接。

其中，景深平滑处理模块包括：

第一计算子模块，用于对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；

第一景深调整子模块，用于利用深度信息均值对重叠区域的图像进行景深调整。

其中，景深平滑处理模块包括：

划分子模块，用于将重叠区域的图像纵向划分成至少二等分子图像；

第二计算子模块，用于对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；

第一确定子模块，用于根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；

第二景深调整子模块，用于利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。

其中，确定模块包括：

第二确定子模块，用于将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；

第三计算子模块，用于计算预重叠区域的相似性指数；

第三确定子模块，用于当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。

其中，第三计算子模块具体用于计算预重叠区域图像的灰度值分布直方图；利用欧式距离计算算法计算两个灰度图像的距离；将距离作为相似性指数。

为解决上述技术问题，本发明提供一种终端，包括上述的终端全景图像处理装置。

根据本发明提供的一种终端全景图像处理方法、装置及终端，该终端全景图像处理方法包括：通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值；确定两帧景深图像的场景重叠区域，并得到重叠区域的图像；利用深度信息值对重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接；采用上述方案，利用相邻两帧景深图像分别的深度信息值对重叠区域的图像进行景深平滑处理，使得得到的全景图像具有背景虚化效果，立体感强，层次感强，景物重点突出，拼接过渡自然，视觉效果好。

附图说明

图1为本发明实施例一提供的一种终端全景图像处理方法的流程图；

图2为本发明实施例二提供的一种终端全景图像处理装置的示意图；

图3为本发明实施例二提供的另一种终端全景图像处理装置的示意图；

图4为本发明实施例三提供的一种终端的示意图；

图5为本发明实施例四提供的另一种终端的示意图。

具体实施方式

应当理解的是，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

下面通过具体实施方式结合附图对本发明作进一步详细说明。

实施例一

本实施例提供一种终端全景图像处理方法，参见图1，图1为本实施例提供的一种终端全景图像处理方法的流程图，该终端全景图像处理方法包括以下步骤：

S11：通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值。

例如通过终端的两颗摄像头同时拍摄第一帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像A；然后水平向右平移摄像头2cm距离，再次采用两颗摄像头同时拍摄第二帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像B。

在获取到了景深图像A和景深图像B，还需确定出景深图像A的深度信息值以及景深图像B的深度信息值。

景深图像B是景深图像A平移了一小段距离后得到的图像，因此，景深图像B与景深图像A大部分场景是重叠的。

其中，立体匹配算法就是在两幅图象的匹配基元之间建立对应关系的过程，它是双目立体视觉系统的关键。实际上，任何计算机视觉系统中都包含一个作为其核心的匹配算法，因而对于匹配算法的研究是极为重要的。

为了比较全面地考察匹配算法，不妨将双目立体视觉的匹配算法扩展到更一般的情况来分析：假设给定两幅同一环境的图象，这两幅图象可能由于摄取的时间、方位或方式的不同而有差别，如双目立体视觉系统所摄取的两幅图象、地图与遥感或航测图象等，若要找到彼此对应的部分，一般有两种考虑途径:(1)灰度分布的相关性；(2)特征分布的相似性。因而就有两类算法：(1)基于灰度的算法(intensity based)；(2)基于特征的算法(feature based)。如果按照控制策略分，有如下几种：(1)粗到精多层次结构(coarse-to-fine，hierarchical)；(2)引入约束条件的松驰法(constraints，relaxation)；(3)多级表示的决策结构(multilevel representation)。

S12：确定两帧景深图像的场景重叠区域，并得到重叠区域的图像。

S12中确定两帧景深图像的场景重叠区域包括：

首先将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；

例如将上述的景深图像A向右移动，将景深图像B向左移动，且景深图像A、景深图像B在进行一次移动的过程中，移动的幅度都是相等的。

然后计算预重叠区域的相似性指数；

其中，计算预重叠区域的相似性指数包括：

计算预重叠区域图像的灰度值分布直方图；获取从0-255灰度值的分布直方图；

利用欧式距离计算算法计算两个灰度图像的距离；

将距离作为相似性指数；

最后当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。

相似性指数不满足预设的标准指数，则继续移动景深图像A和景深图像B，直至预重叠区域的相似性指数满足预设的标准指数。

在另一种实施方式中，也可以将景深图像B从景深图像A最左处开始，往右平移，若预重叠区域的相似性指数不满足预设的标准指数，则继续移动景深图像B，直至相似性指数满足预设的标准指数。

S13：利用深度信息值对重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接。

在一种实施方式中，S13中利用深度信息值对重叠区域的图像进行景深平滑处理包括：

对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；

利用深度信息均值对重叠区域的图像进行景深调整。

例如上述的景深图像A的深度信息值为a，景深图像B的深度信息值为b，则景深图像A、景深图像B的深度信息均值为(a+b)/2；利用(a+b)/2对景深图像A与景深图像B的重叠区域的图像进行景深调整。

根据(a+b)/2，对景深图像A与景深图像B的重叠区域的图像进行背景虚化；虚化时，深度信息值越大的区域进行中值滤波变得模糊，深度信息值越小的区域进行图像锐化变得清晰。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。

在另一种实施方式中，S13中利用深度信息值对重叠区域的图像进行景深平滑处理包括：

将重叠区域的图像纵向划分成至少二等分子图像；

对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；

根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；

利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。

例如，景深图像A的深度信息值为1，景深图像B的深度信息值为5，将景深图像A、景深图像B的重叠区域的图像纵向划分成三等分子图像，从左到右依次记为等分子图像C、等分子图像D、等分子图像E，要使相邻等分子图像的深度信息差值相等，所以等分子图像C的深度信息值为2、等分子图像D的深度信息值为3、等分子图像E的深度信息值为4，然后再利用深度信息值2对等分子图像C进行景深调整，利用深度信息值3对等分子图像D进行景深调整，用深度信息值4对等分子图像E进行景深调整。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。

通过本实施例的实施，利用相邻两帧景深图像分别的深度信息值对重叠区域的图像进行景深平滑处理，使得得到的全景图像具有背景虚化效果，立体感强，层次感强，景物重点突出，拼接过渡自然，视觉效果好。

实施例二

本实施例提供一种终端全景图像处理装置，参见图2，图2为本实施例提供的一种终端全景图像处理装置的示意图，该终端全景图像处理装置包括：获取模块21、确定模块22、景深平滑处理模块23、全景拼接模块24，其中，

获取模块21，用于通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值。

例如通过终端的两颗摄像头同时拍摄第一帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像A；然后水平向右平移摄像头2cm距离，再次采用两颗摄像头同时拍摄第二帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像B。

在获取到了景深图像A和景深图像B，还需确定出景深图像A的深度信息值以及景深图像B的深度信息值。

景深图像B是景深图像A平移了一小段距离后得到的图像，因此，景深图像B与景深图像A大部分场景是重叠的。

确定模块22，用于确定两帧景深图像的场景重叠区域，并得到重叠区域的图像；

其中，确定模块22包括：

第二确定子模块221，用于将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；

例如将上述的景深图像A向右移动，将景深图像B向左移动，且景深图像A、景深图像B在进行一次移动的过程中，移动的幅度都是相等的。

第三计算子模块222，用于计算预重叠区域的相似性指数；

其中，第三计算子模块222具体用于计算预重叠区域图像的灰度值分布直方图；获取从0-255灰度值的分布直方图；利用欧式距离计算算法计算两个灰度图像的距离；将距离作为相似性指数。

第三确定子模块223，用于当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。

相似性指数不满足预设的标准指数，则继续移动景深图像A和景深图像B，直至预重叠区域的相似性指数满足预设的标准指数。

在另一种实施方式中，也可以将景深图像B从景深图像A最左处开始，往右平移，若预重叠区域的相似性指数不满足预设的标准指数，则继续移动景深图像B，直至相似性指数满足预设的标准指数。

景深平滑处理模块23，用于利用深度信息值对重叠区域的图像进行景深平滑处理。

在一种实施方式中，景深平滑处理模块23包括：

第一计算子模块231，用于对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；

第一景深调整子模块232，用于利用深度信息均值对重叠区域的图像进行景深调整。

例如上述的景深图像A的深度信息值为a，景深图像B的深度信息值为b，则景深图像A、景深图像B的深度信息均值为(a+b)/2；利用(a+b)/2对景深图像A与景深图像B的重叠区域的图像进行景深调整。

根据(a+b)/2，对景深图像A与景深图像B的重叠区域的图像进行背景虚化；虚化时，深度信息值越大的区域进行中值滤波变得模糊，深度信息值越小的区域进行图像锐化变得清晰。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。

在另一种实施方式中，参见图3，图3为本实施例提供的另一种终端全景图像处理装置的示意图，景深平滑处理模块23包括：

划分子模块233，用于将重叠区域的图像纵向划分成至少二等分子图像；

第二计算子模块234，用于对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；

第一确定子模块235，用于根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；

第二景深调整子模块236，用于利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。

例如景深图像A的深度信息值为1，景深图像B的深度信息值为5，将景深图像A、景深图像B的重叠区域的图像纵向划分成三等分子图像，从左到右依次记为等分子图像C、等分子图像D、等分子图像E，要使相邻等分子图像的深度信息差值相等，所以等分子图像C的深度信息值为2、等分子图像D的深度信息值为3、等分子图像E的深度信息值为4，然后再利用深度信息值2对等分子图像C进行景深调整，利用深度信息值3对等分子图像D进行景深调整，用深度信息值4对等分子图像E进行景深调整。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。

全景拼接模块24，用于将景深平滑处理模块23处理后的图像进行全景拼接。

通过本实施例的实施，利用相邻两帧景深图像分别的深度信息值对重叠区域的图像进行景深平滑处理，使得得到的全景图像具有背景虚化效果，立体感强，层次感强，景物重点突出，拼接过渡自然，视觉效果好。

实施例三

本实施例提供一种终端，参见图4，图4为本实施例提供的一种终端的示意图，该终端包括实施例二中的终端全景图像处理装置。

终端通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值。

例如通过终端的两颗摄像头同时拍摄第一帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像A；然后水平向右平移摄像头2cm距离，再次采用两颗摄像头同时拍摄第二帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像B。

在获取到了景深图像A和景深图像B，还需确定出景深图像A的深度信息值以及景深图像B的深度信息值。

景深图像B是景深图像A平移了一小段距离后得到的图像，因此，景深图像B与景深图像A大部分场景是重叠的。

终端确定两帧景深图像的场景重叠区域，并得到重叠区域的图像。

其中，确定两帧景深图像的场景重叠区域包括：

首先将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；

例如将上述的景深图像A向右移动，将景深图像B向左移动，且景深图像A、景深图像B在进行一次移动的过程中，移动的幅度都是相等的。

然后计算预重叠区域的相似性指数；

其中，计算预重叠区域的相似性指数包括：

计算预重叠区域图像的灰度值分布直方图；获取从0-255灰度值的分布直方图；

利用欧式距离计算算法计算两个灰度图像的距离；

将距离作为相似性指数；

最后当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。

相似性指数不满足预设的标准指数，则继续移动景深图像A和景深图像B，直至预重叠区域的相似性指数满足预设的标准指数。

在另一种实施方式中，也可以将景深图像B从景深图像A最左处开始，往右平移，若预重叠区域的相似性指数不满足预设的标准指数，则继续移动景深图像B，直至相似性指数满足预设的标准指数。

终端利用深度信息值对重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接。

在一种实施方式中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：

对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；

利用深度信息均值对重叠区域的图像进行景深调整。

例如上述的景深图像A的深度信息值为a，景深图像B的深度信息值为b，则景深图像A、景深图像B的深度信息均值为(a+b)/2；利用(a+b)/2对景深图像A与景深图像B的重叠区域的图像进行景深调整。

根据(a+b)/2，对景深图像A与景深图像B的重叠区域的图像进行背景虚化；虚化时，深度信息值越大的区域进行中值滤波变得模糊，深度信息值越小的区域进行图像锐化变得清晰。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。

在另一种实施方式中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：

将重叠区域的图像纵向划分成至少二等分子图像；

对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；

根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；

利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。

例如景深图像A的深度信息值为1，景深图像B的深度信息值为5，将景深图像A、景深图像B的重叠区域的图像纵向划分成三等分子图像，从左到右依次记为等分子图像C、等分子图像D、等分子图像E，要使相邻等分子图像的深度信息差值相等，所以等分子图像C的深度信息值为2、等分子图像D的深度信息值为3、等分子图像E的深度信息值为4，然后再利用深度信息值2对等分子图像C进行景深调整，利用深度信息值3对等分子图像D进行景深调整，用深度信息值4对等分子图像E进行景深调整。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。

通过本实施例的实施，利用相邻两帧景深图像分别的深度信息值对重叠区域的图像进行景深平滑处理，使得得到的全景图像具有背景虚化效果，立体感强，层次感强，景物重点突出，拼接过渡自然，视觉效果好。

实施例四

为了便于更好地实施实施例一中的终端全景图像处理方法，本实施例提供了用于实施实施例一中的终端全景图像处理方法的终端，参见图5，图5为本实施例提供的一种终端的示意图；该终端包括处理器51、存储器52；

存储器52可以存储由处理器51执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，音频数据等)。

存储器52可以包括至少一种类型的存储介质，存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。

处理器51通常执行终端的总体操作。例如处理器51执行图像深度信息值的获取、对图像的景深平滑处理等相关的控制和处理。

存储器52内存储有多个指令以实现实施例一中的终端全景图像处理方法，处理器51执行多个指令以实现：

通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值。

例如通过终端的两颗摄像头同时拍摄第一帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像A；然后水平向右平移摄像头2cm距离，再次采用两颗摄像头同时拍摄第二帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像B。

在获取到了景深图像A和景深图像B，还需确定出景深图像A的深度信息值以及景深图像B的深度信息值。

景深图像B是景深图像A平移了一小段距离后得到的图像，因此，景深图像B与景深图像A大部分场景是重叠的。

确定两帧景深图像的场景重叠区域，并得到重叠区域的图像。

其中，确定两帧景深图像的场景重叠区域包括：

首先将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；

例如将上述的景深图像A向右移动，将景深图像B向左移动，且景深图像A、景深图像B在进行一次移动的过程中，移动的幅度都是相等的。

然后计算预重叠区域的相似性指数；

其中，计算预重叠区域的相似性指数包括：

计算预重叠区域图像的灰度值分布直方图；获取从0-255灰度值的分布直方图；

利用欧式距离计算算法计算两个灰度图像的距离；

将距离作为相似性指数；

最后当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。

相似性指数不满足预设的标准指数，则继续移动景深图像A和景深图像B，直至预重叠区域的相似性指数满足预设的标准指数。

在另一种实施方式中，也可以将景深图像B从景深图像A最左处开始，往右平移，若预重叠区域的相似性指数不满足预设的标准指数，则继续移动景深图像B，直至相似性指数满足预设的标准指数。

利用深度信息值对重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接。

在一种实施方式中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：

对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；

利用深度信息均值对重叠区域的图像进行景深调整。

例如上述的景深图像A的深度信息值为a，景深图像B的深度信息值为b，则景深图像A、景深图像B的深度信息均值为(a+b)/2；利用(a+b)/2对景深图像A与景深图像B的重叠区域的图像进行景深调整。

根据(a+b)/2，对景深图像A与景深图像B的重叠区域的图像进行背景虚化；虚化时，深度信息值越大的区域进行中值滤波变得模糊，深度信息值越小的区域进行图像锐化变得清晰。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。

在另一种实施方式中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：

将重叠区域的图像纵向划分成至少二等分子图像；

对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；

根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；

利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。

例如景深图像A的深度信息值为1，景深图像B的深度信息值为5，将景深图像A、景深图像B的重叠区域的图像纵向划分成三等分子图像，从左到右依次记为等分子图像C、等分子图像D、等分子图像E，要使相邻等分子图像的深度信息差值相等，所以等分子图像C的深度信息值为2、等分子图像D的深度信息值为3、等分子图像E的深度信息值为4，然后再利用深度信息值2对等分子图像C进行景深调整，利用深度信息值3对等分子图像D进行景深调整，用深度信息值4对等分子图像E进行景深调整。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。

通过本实施例的实施，利用相邻两帧景深图像分别的深度信息值对重叠区域的图像进行景深平滑处理，使得得到的全景图像具有背景虚化效果，立体感强，层次感强，景物重点突出，拼接过渡自然，视觉效果好。

显然，本领域的技术人员应该明白，上述本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。