一种非凸室内空间识别重建方法及系统与流程

1.本发明涉及增强现实辅助设计技术领域，尤其涉及一种非凸室内空间识别重建方法及系统。


背景技术：

2.随着老龄人口数量增加，基于我国现实国情，居家养老模式作为我国主要的养老模式已基本确立，老年人的居家安全、便利生活需求越来越受到重视，对老年人居所进行适当的适老化改造已成为必要的前期工作。其中，通过安装适老化助具能够快速的提升环境对于老年人的友好程度，是一种主要的老人居所改造升级方式。
3.上门评估是目前适老化助具安装的重要前期工作，其方式是上门与老人及家属进行沟通，结合房屋结构、家属意愿确定改造需求、明确安装位置。在上门评估过程中具有实现信息获取、留痕、确责、施工、验收各环节无纸化办公与信息互通的信息化系统必不可少。现有居家适老化上门评估系统实现以网页形式的传统信息化系统为主，故对于老人家原始户型测量这一关键工作依然为人工手动测量，存在工作量大、易出错、效率低等问题。
4.随着增强现实技术的发展与在移动计算设备中集成深度传感器已成移动设备厂商主流趋势，使三维重构功能在目前的消费级移动计算设备上实现成为可能。目前市面上针对消费级移动计算设备，已存在基于增强现实技术与深度传感器的户型扫描app工具。例如，目前主流的增强现实量房工具magicplan的户型扫描方法主要包括：1、设备显示扫描地面引导信息，引导用户对地面进行扫描；2、使用设备扫描地面获取地面空间深度信息；3、根据地面空间深度信息计算得到地面参考面；4、设备显示扫描屋顶引导信息，引导用户对屋顶进行扫描；5、使用设备扫描扫描屋顶，获取屋顶空间深度信息；6、根据屋顶空间深度信息计算得到屋顶参考面；7、设备显示扫描墙面引导信息，引导用户扫描第一面墙体；8、使用设备扫描第一墙面，获取墙面空间深度信息；9、根据第一墙面空间深度信息计算得到地面参考面，并计算参考面平面参数；10、设备显示扫描下一墙面引导信息，引导用户扫描下一面墙体；11、使用设备扫描下一墙面，获取墙面空间深度信息；12、根据墙面空间深度信息计算得到墙面参考面，并计算参考面平面参数；13、根据当前墙面与上一扫描墙面的参考面平面参数，计算两墙结合点信息；14、将当前扫描墙面的参考面平面参数与当前扫描墙面与上一扫描墙面的结合点信息存入系统内部数据结构；15、判断当前扫描墙面是否与扫描第一墙面交汇；16、若未交汇跳转至第10步，继续扫描；17、若与第一墙面交汇，表明扫描完毕，使用上述系统内部数据结构所存储的各墙面、地面、屋顶的参考面平面参数与结合点信息计算形成毛坯室内空间。由此可知，现有方法一般是通过系统引导用户的方式，让用户在房间内依次扫描空间中地面、屋顶及所有墙体，并依序计算墙体连接结合点信息，最终结合上述扫描信息与结合点信息计算最终的毛坯室内户型。对应的，采用这一类方法进行重建，需要用户参与到扫描与推断的全过程中，由于人工高度参与，规避了基于扫描信息后台分析算法的复杂度，因此在工程角度具有简化系统实现的优点。但是另一方面，由于需要用户手持设备依序扫描房屋内各墙面，使整体扫描效率较低；且墙体必须依照衔接顺序扫描，容易因人
为失误导致扫描错误，从而影响最终空间精确程度，也从整体上降低了扫描效率。
5.针对于居家适老化的特殊使用场景，由于现有技术户型扫描app多依赖于参考面扫描顺序，往往需依序依次扫描所处房屋墙体，通过“拉围挡”方式进行扫描并重建房屋户型，整体扫描重建过程效率较低，难以满足上门评估人员在居家适老化上门评估时，对老人家原始户型测量工作的高效率、操作简易等要求，导致难以使此类技术实际赋能于居家适老化上门评估场景。


技术实现要素：

6.针对上述背景技术的不足，本发明提出一种非凸室内空间识别重建方法及系统，本发明中空间识别重建方法相较于背景技术有更好的鲁棒性，对于居家适老化改造上门评估人员使用起来更加简易、可用，可显著提高上门评估人员室内空间测量工作的效率。该方法的特点是通过增强现实技术与深度扫描技术，扫描并识别所处室内空间的各种参考面，本发明采用独有的算法，使室内户型识别不依赖于参考面选择顺序，确保即使用户进行乱序选择也可实现室内毛坯空间的重建。
7.为实现以上目的，本发明所采用的技术方案包括：
8.一种非凸室内空间识别重建方法，其特征在于，包括：
9.s1、使用设备扫描房间获取房间空间深度信息；
10.s2、根据房间空间深度信息计算得到参考面集合；
11.s3、用户从参考面集合中选择参考面，得到被选中的参考面集合；
12.s4、根据被选中的参考面集合，重建毛坯室内空间模型。
13.进一步地，所述步骤s4包括分步骤：
14.s401:根据被选中的参考面集合，分别计算每个参考面的平面方程参数，得到参考面平面参数集合；
15.s402:初始化二元空间树根节点，根据参考面集合和参考面平面参数集合构建对应二元空间树根节点的参考面面片列表和参考面平面参数列表；
16.s403:将二元空间树根节点设置为当前节点；
17.s404:遍历当前节点的平面参数列表，查找并选择分割平面；
18.s405、创建正向子节点和负向子节点两个下位子节点，并使用分割平面对当前节点的参考面网格列表中的参考面进行逐一分割，将分割后位于分割平面正向的参考面放入所述正向子节点的参考面网格列表中，并依据所述参考面网格列表生成此节点对应的平面参数列表；将分割后位于分割平面负向的参考面放入所述负向子节点的参考面网格列表中，并依据所述参考面网格列表生成此节点对应的平面参数列表；
19.s406、将当前节点的正向子节点和负向子节点分别重新设置为当前节点，并重新执行分步骤s404，直至当前节点下不能查找到分割平面时将当前节点标记为叶节点；
20.s407、对构建完成的所述二元空间树从根节点出发进行深度优先遍历，查找所有正向叶节点，其遍历中游走到的各中间节点的分割平面即为叶节点所代表凸空间的构造平面，对这些平面进行收集，为每个正向叶节点构建凸空间构造平面集合；
21.s408、根据每个正向叶节点的凸空间构造平面集合，计算各正向叶节点的凸包围体；
22.s409、查找各正向叶节点的凸包围体对应的共面凸多边形，并对共面凸多边形求交，相交部分形成的新多边形即为两凸包围体对应的连接口；
23.s410、各正向叶节点凸包围体与凸包围体对应的连接口多边形集合即构成了最终完整的毛坯室内空间模型。
24.进一步地，所述步骤s1包括分步骤：
25.s101:逐帧从相机图像回传模块中获取所拍摄的当前帧图像，并将图像拷贝至当前帧颜色缓冲区；
26.s102:逐帧从深度图像回传模块中获取所拍摄的深度图像与所对应的可信矩阵；
27.s103:逐一评判所述深度可信矩阵中存储的可信值，当可信值大于预设可信阈值时，则对应位置的深度图像中的深度值被加入到深度可信集合中；
28.s104:根据当前帧系统中相机在虚拟空间中的位移、旋转信息，结合深度可信集合中的深度信息，计算当前帧空间点云信息，并记录至空间点云集合中；
29.s105:根据当前帧的空间点云集合，使用点云三角面化算法，计算当前帧房屋网格模型面片集合；
30.s106:将当前帧房屋网格模型面片集合汇总至对应最终房屋网格模型面片集合的数据结构中，所述数据结构用于后续识别与计算参考面；
31.s107:根据房屋网格模型面片集合，构建用于渲染的顶点列表、法线列表和三角面索引列表并汇总至数据结构，将所述数据结构推送至渲染管线。
32.进一步地，所述步骤s1还包括：
33.向用户呈现将渲染管线扫描进度，对当前已扫描部分对应边界突出显示以提示扫描区域的边界。
34.进一步地，所述步骤s2包括分步骤：
35.s201:将最终房屋网格模型面片集合中各三角面片顶点的位置信息作为平面识别点云集合；
36.s202:根据点云密度分布过滤掉平面识别点云集合中的离群点，得到过滤后的平面识别点云集合；
37.s203:根据地面、屋顶、墙面类型平面的空间坐标特点，分别对过滤后的平面识别点云集合中的点的不同坐标轴的坐标值进行排序，分离出代表各类型平面的种子点云集合；
38.s204:根据各类型平面的种子点云集合，使用平面拟合算法计算各平面参数值；
39.s205:逐个计算种子点云集合中的点至所识别出的各平面的距离，当点距平面距离小于第一预设距离阈值时，将此点记录至此平面的点云集合中；
40.s206:根据各平面的点云集合中的点，计算其到各平面的投影点的空间坐标，并记录至此平面的投影点云集合中；
41.s207:根据各平面的投影点云集合，利用点云三角面化算法，计算各平面的面片集合，作为参考面集合。
42.进一步地，所述步骤s3包括分步骤：
43.s301:根据各参考平面的参考面集合，构建用于渲染的顶点列表、法线列表、三角面索引列表，并推送至渲染管线；
44.s302:根据被选中的参考面集合中各参考面分类，分别显示其数量至设备ui界面，引导用户对房间空间中的参考面进行选择；
45.s303:根据用户选择的参考面，转换视角坐标，并根据当前主相机的坐标位置计算碰撞射线参数；
46.s304:根据碰撞射线参数所代表的射线，与空间中各参考面的面片集合中的各三角面进行求交测试，并计算交点坐标与交点至射线原点的距离值，形成交点集合；
47.s305:依据交点至射线原点的距离值对交点由近及远进行排序，取最近的交点所对应的三角面及关联的参考平面作为用户当前选择参考平面；
48.s306:当用户新选择的参考面已在参考面集合中存在，则将此参考面从被选中的参考面集合中删除；
49.s307:若用户新选择的参考面是地面或屋顶，则查看是否在被选中的参考面集合中已存在此类型平面，若存在则使用用户新选择的参考面替换，否则将用户新选择的参考面放入被选中的参考面集合中；
50.s308:若用户新选择的参考面是墙面，则逐一遍历被选中的参考面集合中已存在的各墙面类型参考面，计算其平面法线与新选择参考面平面法线夹角，对于平面法线夹角小于预设角度阈值的参考面，存入相同墙面参考面集合中；
51.s309:遍历相同墙面参考面集合，计算其中参考面的面片顶点距新选择参考面平面的平均距离值，当平均距离值小于第二预设距离阈值时，则将此参考面从被选中的参考面集合中删除，将用户新选择的参考面放入被选择的参考面集合中。
52.本发明还涉及一种非凸室内空间识别重建系统，其特征在于，包括相互连接的基础框架和业务逻辑框架；
53.所述基础框架包括：相机图像回传模块，用于从设备的后置摄像头中获取实时拍摄到的图像信息；gui模块，负责生成可以呈现在设备显示器上的界面；图形渲染模块，用于与设备的图形加速器交互；深度图像回传模块，用于从设备的深度传感器中获取实时拍摄的空间深度信息；触控输入模块，用于从设备的输入设备中获取用户点击信息，和用于在参考面交互式选择模块接收用户的点选消息；
54.所述业务逻辑框架包括：空间扫描模块，用于接收深度图像回传模块传递的深度信息，生成室内网格面片模型；参考面识别模块，用于根据空间扫描模块生成的室内网格面片模型，进一步识别空间中各类参考面；参考面交互式选择模块，使用相机图像回传模块、gui模块、图形渲染模块、触控输入模块，结合参考面识别模块生成的空间内参考面；空间分析树构建模块，用于空间重建步骤，构建用于空间分析的空间树；室内毛坯空间模型重建模块，用于结合空间分析结果重建最终毛坯室内空间模型。
55.本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
56.本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；
57.所述存储器，用于存储房间空间深度信息和参考面集合；
58.所述处理器，用于通过调用房间空间深度信息和参考面集合，执行上述的方法。
59.本发明还涉及一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现上述方法的步骤。
60.本发明的有益效果为：
61.本发明的特点是通过增强现实技术与深度扫描技术，扫描并识别所处室内空间的各种参考面，用户可乱序选择空间中的参考面对室内毛坯空间进行重建。并构成参考面集合，根据此参考面集合利用二元空间分割树算法对非凸室内毛坯空间进行重建。相较于背景技术有更好的鲁棒性，对于居家适老化改造上门评估人员使用起来更加简易、可用，可显著提高上门评估人员室内空间测量工作的效率。
62.相较现有技术，用户依次扫描房屋中的各墙面，需要至少6个人工交互步骤，对于比常规六面体更复杂的房间则需要更多交互步骤来完成整屋扫描与重建，采用本发明方法及系统进行房屋重建可以对应只采用较少的恒定人工交互步骤(缩减至2个步骤)，与房间复杂度无关，整体效率显著提高。同时，对于较为重要的参考面选择操作，采用本发明方法可以实现不依赖用户选择顺序，用户仅需原地在手持设备上点选参考面即可，与现有技术中必须围绕房间各墙面前有序运动更加简易高效，更加适用于居家适老化改造上门评估场景。
附图说明
63.图1为本发明非凸室内空间识别重建方法流程示意图。
64.图2为本发明非凸室内空间识别重建系统结构示意图。
65.图3为本发明非凸室内空间识别重建方法与系统对应关系示意图。
66.图4为本发明优选实施例中室内空间扫描阶段效果示意图。
67.图5为本发明优选实施例中参考面选择阶段效果示意图。
68.图6为本发明优选实施例中毛坯空间识别重建后效果示意图。
具体实施方式
69.为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。
70.本发明第一方面涉及一种步骤流程如图1所示的非凸室内空间识别重建方法，包括：
71.s1、使用设备扫描房间获取房间空间深度信息，特别是，通过深度传感器扫描室内空间识别获得房间空间深度信息。优选的，可以通过使用带有深度传感器的设备扫描室内空间，识别空间中各类参考面。例如可以采用含有对应的功能的手持式平板设备，由用户通过点按选择的方式设置参考面。
72.具体执行时，可以优选的通过下列分步骤进行：s101:逐帧从相机图像回传模块中获取所拍摄的当前帧图像，并将图像拷贝至当前帧颜色缓冲区；s102:逐帧从深度图像回传模块中获取所拍摄的深度图像与所对应的可信矩阵；s103:逐一评判所述深度可信矩阵中存储的可信值，可信值取值范围为(0.0～1.0)，值越大越可信，当可信值大于预设可信阈值时(例如设定为0.9)，则对应位置的深度图像中的深度值被加入到深度可信集合中；s104:根据当前帧系统中相机在虚拟空间中的位移、旋转信息，结合深度可信集合中的深度信息，计算当前帧空间点云信息，并记录至空间点云集合中；s105:根据当前帧的空间点云集合，使用点云三角面化算法，计算当前帧房屋网格模型面片集合；s106:将当前帧房屋网格模型面片集合汇总至对应最终房屋网格模型面片集合的数据结构中，所述数据结构用于后续识
别与计算参考面；s107:根据房屋网格模型面片集合，构建用于渲染的顶点列表、法线列表和三角面索引列表并汇总至数据结构，将所述数据结构推送至渲染管线。同时，还可以优选的向用户呈现将渲染管线扫描进度，对当前已扫描部分对应边界突出显示以提示扫描区域的边界。室内空间扫描阶段在用户端展示的对应效果优选的如图4所示。
73.s2、根据房间空间深度信息计算得到参考面集合。
74.具体的，优选执行分步骤：s201:将最终房屋网格模型面片集合中各三角面片顶点的位置信息作为平面识别点云集合；s202:根据点云密度分布过滤掉平面识别点云集合中的离群点，得到过滤后的平面识别点云集合；s203:根据地面、屋顶、墙面类型平面的空间坐标特点，分别对过滤后的平面识别点云集合中的点的不同坐标轴的坐标值进行排序，分离出代表各类型平面的种子点云集合；s204:根据各类型平面的种子点云集合，使用平面拟合算法计算各平面参数值；s205:逐个计算种子点云集合中的点至所识别出的各平面的距离，当点距平面距离小于第一预设距离阈值(例如设定为0.01m)时，将此点记录至此平面的点云集合中；s206:根据各平面的点云集合中的点，计算其到各平面的投影点的空间坐标，并记录至此平面的投影点云集合中；s207:根据各平面的投影点云集合，利用点云三角面化算法，计算各平面的面片集合，作为参考面集合。
75.s3、用户从参考面集合中选择参考面，得到被选中的参考面集合。具体包括：s301:根据各参考平面的参考面集合，构建用于渲染的顶点列表、法线列表、三角面索引列表，并推送至渲染管线；s302:根据被选中的参考面集合中各参考面分类，分别显示其数量至设备ui界面，引导用户对房间空间中的参考面进行选择；s303:根据用户选择的参考面，转换视角坐标，并根据当前主相机的坐标位置计算碰撞射线参数；s304:根据碰撞射线参数所代表的射线，与空间中各参考面的面片集合中的各三角面进行求交测试，并计算交点坐标与交点至射线原点的距离值，形成交点集合；s305:依据交点至射线原点的距离值对交点由近及远进行排序，取最近的交点所对应的三角面及关联的参考平面作为用户当前选择参考平面；s306:当用户新选择的参考面已在参考面集合中存在，则将此参考面从被选中的参考面集合中删除；s307:若用户新选择的参考面是地面或屋顶，则查看是否在被选中的参考面集合中已存在此类型平面，若存在则使用用户新选择的参考面替换，否则将用户新选择的参考面放入被选中的参考面集合中；s308:若用户新选择的参考面是墙面，则逐一遍历被选中的参考面集合中已存在的各墙面类型参考面，计算其平面法线与新选择参考面平面法线夹角，对于平面法线夹角小于预设角度阈值(例如设定为10
°
)的参考面，存入相同墙面参考面集合中；s309:遍历相同墙面参考面集合，计算其中参考面的面片顶点距新选择参考面平面的平均距离值，当平均距离值小于第二预设距离阈值(例如设定为0.05m)时，则将此参考面从被选中的参考面集合中删除，将用户新选择的参考面放入被选择的参考面集合中。
76.优选的，用户在系统识别出的参考面集合中，通过可视化增强现实交互模式任意选择能代表空间中各墙面的参考面。参考面选择阶段在用户端展示的对应效果优选的如图5所示。
77.s4、根据被选中的参考面集合，重建毛坯室内空间模型。具体的，包括执行分步骤：s401:根据被选中的参考面集合，分别计算每个参考面的平面方程参数，得到参考面平面参数集合；s402:初始化二元空间树根节点，根据参考面集合和参考面平面参数集合构建对应二元空间树根节点的参考面面片列表和参考面平面参数列表；s403:将二元空间树根节点
设置为当前节点；s404:遍历当前节点的平面参数列表，查找并选择分割平面；s405、创建正向子节点和负向子节点两个下位子节点，并使用分割平面对当前节点的参考面网格列表中的参考面进行逐一分割，将分割后位于分割平面正向的参考面放入所述正向子节点的参考面网格列表中，并依据所述参考面网格列表生成此节点对应的平面参数列表；将分割后位于分割平面负向的参考面放入所述负向子节点的参考面网格列表中，并依据所述参考面网格列表生成此节点对应的平面参数列表；s406、将当前节点的正向子节点和负向子节点分别重新设置为当前节点，并重新执行分步骤s404，直至当前节点下不能查找到分割平面时将当前节点标记为叶节点；s407、对构建完成的所述二元空间树从根节点出发进行深度优先遍历，查找所有正向叶节点，其遍历中游走到的各中间节点的分割平面即为叶节点所代表凸空间的构造平面，对这些平面进行收集，为每个正向叶节点构建凸空间构造平面集合；s408、根据每个正向叶节点的凸空间构造平面集合，计算各正向叶节点的凸包围体；s409、查找各正向叶节点的凸包围体对应的共面凸多边形，并对共面凸多边形求交，相交部分形成的新多边形即为两凸包围体对应的连接口；s410、各正向叶节点凸包围体与凸包围体对应的连接口多边形集合即构成了最终完整的毛坯室内空间模型。毛坯室内空间重建在用户端展示的对应效果优选的如图6所示。
78.本发明另一方面还涉及一种非凸室内空间识别重建系统，其结构如图2所示，包括相互连接的基础框架和业务逻辑框架；
79.所述基础框架包括：相机图像回传模块，用于从设备的后置摄像头中获取实时拍摄到的图像信息；gui模块，负责生成可以呈现在设备显示器上的界面，例如，由参考面交互式选择模块当前用户的选择进度呈现在界面上以显示给用户；图形渲染模块，用于与设备的图形加速器交互，将待渲染的图形元件传递至图形加速器并最终显示于设备显示器上；深度图像回传模块，用于从设备的深度传感器中获取实时拍摄的空间深度信息，例如采用深度传感器作为深度传感器；触控输入模块，用于从设备的输入设备中获取用户点击信息，和用于在参考面交互式选择模块接收用户的点选消息，例如鼠标、电容屏、电阻屏等；
80.所述业务逻辑框架包括：空间扫描模块，用于接收深度图像回传模块传递的深度信息，生成室内网格面片模型，同时在扫描过程中使用相机图像回传模块、gui模块、图形渲染模块，为用户呈现待扫描区域与未扫描区域，从而引导用于高效完成对空间的扫描工作；参考面识别模块，用于根据空间扫描模块生成的室内网格面片模型，进一步识别空间中各类参考面；参考面交互式选择模块，使用相机图像回传模块、gui模块、图形渲染模块、触控输入模块，结合参考面识别模块生成的空间内参考面，以增强现实交互形式呈现给用户，用于引导用户在空间中指定选择用于重建室内毛坯空间的参考面；空间分析树构建模块，用于空间重建步骤，构建用于空间分析的空间树；室内毛坯空间模型重建模块，用于结合空间分析结果重建最终毛坯室内空间模型。
81.使用该系统可以实现上述方法的执行，该系统与上述方法的执行对应关系如图3所示。
82.采用上述非凸室内空间识别重建方法及系统，能自动从用户扫描的空间深度信息中分析参考面，并为用户提供简易的引导选择方式标定参考面，并自动对室内毛坯空间进行重建。相较于背景技术使用更简便，效率更高，对于居家适老化改造上门评估这一场景中的工作人员使用起来更加简易、可用，可显著提高上门评估人员室内空间测量工作的效率。
83.本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。
84.本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如房间空间深度信息和参考面集合等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。
85.优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。
86.额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为lcd显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。
87.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
88.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
89.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
90.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
91.以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。