一种基于增强现实技术的手持式阅览设备及其方法

一种基于增强现实技术的手持式阅览设备及其方法
【专利摘要】本发明提供了一种基于增强现实技术的手持式阅览设备及其方法。该设备包括：视频采集单元，用于透过第一摄像头捕捉现实场景；智能计算终端，用于对现实场景中的二维码进行识别，得到码值信息和空间位置信息，然后根据空间位置信息放置预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面；语音输出单元，用于透过扬声器输出与虚拟场景相对应的语音信息；以及液晶屏幕，呈圆形状，用于显示该阅览画面。相比于现有技术，本发明可生成与现实场景高度匹配的、具有逼真的视觉、听觉、触觉、力度感和动感等的虚拟环境，实现用户和虚拟三维环境直接进行交互。如此一来，小朋友可得到更多的感官刺激，提升了学习效率，寓教于乐。
【专利说明】一种基于增强现实技术的手持式阅览设备及其方法

【技术领域】
[0001] 本发明涉及增强现实（Augmented Reality，AR)【技术领域】，尤其涉及一种基于增强 现实技术的手持式阅览设备。

【背景技术】
[0002] 增强现实技术是在虚拟现实的基础上发展起来的新技术，是虚拟现实研究的一个 重要分支。概括地说，增强现实技术是借助计算机图形技术和可视化技术产生现实环境中 并不存在的虚拟对象，并将虚拟对象准确地"嵌入"到真实环境中，然后通过显示设备将虚 拟对象与真实环境融为一体，将虚拟的信息应用到真实世界，从而呈现给用户一个效果逼 真的新环境，以实现对现实的增强。例如，AR技术可将原本在现实世界的一定时间空间范 围内很难体验到的实体信息（诸如视觉信息、声音、味道或触觉）等，通过科学技术模拟仿 真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验。
[0003] 此外，在现有技术中，针对儿童的玩教具主要分为传统类、创新类、实体类、虚拟 类、娱乐类和教育类，对应的主流产品包括早教机、点读机、点读笔、电子书/书包、识字卡 片、电脑教育软件等。通过横向对比可知，传统教育类玩教具趣味性低，很难调动小朋友的 主动性；高科技教育类玩教具操作较为复杂，对于使用者的认知和操控门槛较高，没有很好 的可带动家庭互动的玩教形式。此外，这些玩教产品大多无创新性，相当多的产品只是在拷 贝同类产品。另一方面，近年来随着平板电脑和智能手机的普及，让许多早教类软件开始关 注便携式移动平台。但是，平板电脑并不是专门针对儿童开发的，目前市场上对儿童玩平板 电脑也存在诸多反对声音，焦点问题大致包括：1)因平板电脑的屏幕尺寸相对较小，长期 盯住屏幕容易造成视力下降或近视；2)平板电脑使用时，长期脖子弯着看平板电脑也可能 会影响颈椎发育；3)儿童过早地接触软件游戏，不仅会缺乏对真实环境游戏的乐趣，有时 还会影响或减低其对于学习的乐趣；4)触控式的平板电脑或智能手机虽然改变了传统使 用键盘或鼠标的交互方式，但是儿童与玩教具的交互仍然停留在二维平面上，感官体验度 较低。
[0004] 有鉴于此，如何设计一种手持式阅览设备，将当前的增强现实技术与传统的儿童 玩教具予以有机结合，寓教于乐，使小朋友在阅览的过程中将语言学习，图像认知和三维数 字模型自然地联系到一起。增强感官刺激，提升学习效率，是相关领域技术人员亟待解决的 一项课题。


【发明内容】

[0005] 针对现有技术中的平板电脑和智能手机在应用于儿童玩教具时所存在的上述诸 多缺陷，本发明提供了一种新颖的、基于增强现实技术的手持式阅览设备及其方法。
[0006] 依据本发明的一个方面，提供了一种基于增强现实技术的手持式阅览设备，包 括：
[0007] 视频采集单元，用于透过第一摄像头捕捉现实场景；
[0008] 智能计算终端，用于对所述现实场景中的二维码进行识别，得到相应的码值信息 和空间位置信息，然后根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景 和所述虚拟场景混合后的阅览画面；
[0009] 语音输出单元，用于透过扬声器输出与所述虚拟场景相对应的语音信息；以及
[0010] 液晶屏幕，呈圆形形状，用于显示所述智能计算终端生成的所述阅览画面。
[0011] 在其中的一实施例，当移动所述手持式阅览设备时，所述现实场景中的二维码发 生移动，所述智能计算终端根据移动的二维码来控制所述虚拟场景中的画面移动，所述液 晶屏幕输出所述手持式阅览设备移动后的动态阅览画面。
[0012] 在其中的一实施例，所述智能计算终端还包括：缓冲单元，用于对当前帧之前的若 干二维码所对应的码值信息和空间位置信息进行备份，并对所述虚拟场景中的三维物体运 动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。
[0013] 在其中的一实施例，所述虚拟场景中的三维物体的瞬时位置由所备份的若干二维 码的空间位置信息进行插值得到。
[0014] 在其中的一实施例，所述智能计算终端包括：网络接口，用于获取来自互联网的多 个增强现实应用，并根据用户需求选择一个增强现实应用予以执行；以及二维码识别单元， 当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范围内时，所述二维码识 别单元自动跟踪和识别所述二维码，得到所述码值信息和所述空间位置信息。
[0015] 在其中的一实施例，所述智能计算终端还包括：虚拟场景生成单元，用于根据来自 所述二维码识别单元的空间位置信息，查询到相匹配的虚拟场景，以及虚拟实时渲染单元， 用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚拟场景与所述现实场景混 合显示于所述液晶屏幕。
[0016] 在其中的一实施例，所述智能计算终端还包括：交互单元，用于识别人脸或人手的 交互操作，并根据所述交互操作来获得所述现实场景中隐含的三维信息，从而使所述三维 信息与所述虚拟场景中的三维物体进行直接交互。
[0017] 在其中的一实施例，所述现实场景包括图书、识字卡、科技馆或博物馆中的物体和 环境影像。
[0018] 在其中的一实施例，所述手持式阅览设备还包括一存储单元，用于存储与所述增 强现实应用相对应的虚拟场景数据。
[0019] 在其中的一实施例，所述智能计算终端还包括：主线程处理单元，用于运行所述智 能计算终端所进行的程序逻辑操作和渲染操作；以及多个分线程处理单元，用于执行图像 采集操作，并将图像采集结果传回所述主线程处理单元。
[0020] 在其中的一实施例，所述主线程处理单元向所述分线程处理单元发送图像采集请 求，所述分线程处理单元根据所述图像采集请求进行图像采集操作。
[0021] 在其中的一实施例，所述手持式阅览设备为类似于放大镜的外部轮廓，包括一圆 形本体和一握持部，所述圆形本体装设具有触控功能的所述液晶屏幕，且所述圆形本体与 所述握持部的连接处包括一控制按键。
[0022] 在其中的一实施例，所述液晶屏幕的触控功能通过电阻式、电容式、红外线扫描式 或红外线图像感测式触控传感器来实现触控操作。
[0023] 在其中的一实施例，所述圆形本体的顶端正中位置包括一第二摄像头和一麦克 风，所述第二摄像头用于采集所述液晶屏幕一侧的现实场景，所述麦克风用于接收用户的 语首受互?目息。
[0024] 在其中的一实施例，所述第一摄像头位于所述圆形本体的、与所述液晶屏幕相对 的另一侧，用于采集和捕捉该侧的现实场景，所述第一摄像头为电荷耦合组件影像传感器 或互补式金属氧化物半导体影像传感器。
[0025] 在其中的一实施例，所述圆形本体的侧面还包括一功能按键，用于所述手持式阅 览设备的不同功能之间进行切换。
[0026] 在其中的一实施例，所述手持式阅览设备还包括亮度传感器和辅助背光源，所述 亮度传感器用于检测所述手持式阅览设备的环境光强度，所述辅助背光源在所述环境光强 度不足时提供辅助背光。
[0027] 依据本发明的另一个方面，提供了一种基于增强现实技术的手持式阅览方法，包 括以下步骤：
[0028] 视频采集单元透过第一摄像头捕捉现实场景；
[0029] 智能计算终端对所述现实场景中的二维码进行识别，得到相应的码值信息和空间 位置信息；
[0030] 根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景和所述虚拟场 景混合后的阅览画面；
[0031] 语音输出单元透过扬声器输出与所述虚拟场景相对应的语音信息；以及
[0032] 呈圆形状的液晶屏幕显示所述智能计算终端生成的所述阅览画面。
[0033] 在其中的一实施例，该手持式阅览方法还包括步骤：当移动所述手持式阅览设备 时，所述现实场景中的二维码发生移动，所述智能计算终端根据移动的二维码来控制所述 虚拟场景中的画面移动，所述液晶屏幕输出所述手持式阅览设备移动后的动态阅览画面。 [0034] 在其中的一实施例，该手持式阅览方法还包括步骤：对当前帧之前的若干二维码 所对应的码值信息和空间位置信息进行备份，并对所述虚拟场景中的三维物体运动驱动进 行相应帧数的延迟，以预留二维码识别所需的处理时间。
[0035] 在其中的一实施例，所述虚拟场景中的三维物体的瞬时位置由所备份的若干二维 码的空间位置信息进行插值得到。
[0036] 在其中的一实施例，所述智能计算终端包括：网络接口，用于获取来自互联网的多 个增强现实应用，并根据用户需求选择一个增强现实应用予以执行；以及二维码识别单元， 当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范围内时，所述二维码识 别单元自动跟踪和识别所述二维码，得到所述码值信息和所述空间位置信息。
[0037] 在其中的一实施例，所述智能计算终端还包括：虚拟场景生成单元，用于根据来自 所述二维码识别单元的空间位置信息，查询到相匹配的虚拟场景，以及虚拟实时渲染单元， 用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚拟场景与所述现实场景混 合显示于所述液晶屏幕。
[0038] 在其中的一实施例，所述智能计算终端还包括：交互单元，用于识别人脸或人手的 交互操作，并根据所述交互操作来获得所述现实场景中隐含的三维信息，从而使所述三维 信息与所述虚拟场景中的三维物体进行直接交互。
[0039] 在其中的一实施例，该手持式阅览方法还包括主线程和多个分线程，其中主线程 用于运行所述智能计算终端处理过程中所进行的程序逻辑操作和渲染操作，分线程用于执 行图像采集操作，并将图像采集结果传回所述主线程处理单元。
[0040] 在其中的一实施例，所述增强现实应用包括图书、识字卡、科技馆或博物馆中的物 体和环境影像。
[0041] 依据本发明的再一个方面，提供了一种基于增强现实技术的手持式阅览设备，包 括：
[0042] -圆形本体，具有相对设置的一正面和一背面，所述圆形本体的正面设有一液晶 屏幕、一第二摄像头和一麦克风，所述圆形本体的背面设置一第一摄像头和一扬声器；以及 [0043] 一握持部，与所述圆形本体相连接，用于抓握所述手持式阅览设备，
[0044] 其中，所述手持式阅览设备对所述第一摄像头采集的现实场景进行三维虚拟场景 的渲染，并透过所述液晶屏幕显示所述现实场景和所述虚拟场景混合后的阅览画面。
[0045] 在其中的一实施例，所述液晶屏幕具有触控功能，且通过电阻式、电容式、红外线 扫描式或红外线图像感测式触控传感器来实现触控操作。
[0046] 在其中的一实施例，第二摄像头和所述麦克风位于所述圆形本体的顶端的正中位 置，所述第二摄像头用于采集所述圆形本体正面侧的现实场景，所述麦克风用于接收用户 的语音交互信息。
[0047] 在其中的一实施例，所述第一摄像头用于采集和捕捉所述圆形本体背面侧的现实 场景，所述第一摄像头为电荷耦合组件影像传感器或互补式金属氧化物半导体影像传感 器。
[0048] 在其中的一实施例，所述圆形本体的侧面还包括一功能按键，用于所述手持式阅 览设备的不同功能之间进行切换。
[0049] 在其中的一实施例，所述圆形本体与所述握持部的连接处还包括一控制按键。
[0050] 在其中的一实施例，所述手持式阅览设备还包括亮度传感器和辅助背光源，所述 亮度传感器用于检测所述手持式阅览设备的环境光强度，所述辅助背光源在所述环境光强 度不足时提供辅助背光。
[0051] 采用本发明的手持式阅览设备及其方法，视频采集单元透过第一摄像头捕捉现 实场景，智能计算终端对现实场景中的二维码进行识别以得到码值信息和空间位置信息， 然后根据空间位置信息放置预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画 面，呈圆形状的液晶屏幕用来显示来自智能计算终端生成的阅览画面。相比于现有技术，本 发明利用智能计算终端生成一种与现实场景高度匹配的、具有逼真的视觉、听觉、触觉、力 度感和动感等的虚拟环境，可实现用户和虚拟三维环境直接进行交互。如此一来，小朋友在 学习过程中很容易将语言学习、图像认知和三维数字模型自然地联系到一起，增强了更多 维度的感官刺激，提升了学习效率，寓教于乐。

【专利附图】

【附图说明】
[0052] 读者在参照附图阅读了本发明的【具体实施方式】以后，将会更清楚地了解本发明的 各个方面。其中，
[0053] 图1(a)?图1(c)示出依据本发明的一实施方式，基于增强现实技术的手持式阅 览设备的外部轮廓示意图；
[0054] 图2示出依据本发明的另一实施方式，基于增强现实技术的手持式阅览设备的结 构组成示意图；
[0055] 图3示出图2的手持式阅览设备的智能计算终端的一具体实施例；
[0056] 图4示出采用图3的手持式阅览设备来实现增强现实的阅览画面的流程框图；
[0057] 图5示出图2的手持式阅览设备的智能计算终端的另一具体实施例；
[0058] 图6示出依据本发明的再一实施方式，基于增强现实技术的手持式阅览方法的流 程框图；
[0059] 图7示出采用图6的手持式阅览方法的第一实施例的增强现实效果示意图；
[0060] 图8示出采用图6的手持式阅览方法的第二实施例的增强现实效果示意图； [0061] 图9示出采用图6的手持式阅览方法的第三实施例的增强现实效果示意图；以及
[0062] 图10示出采用图6的手持式阅览方法的第四实施例的增强现实效果示意图。

【具体实施方式】
[0063] 为了使本申请所揭示的技术内容更加详尽与完备，可参照附图以及本发明的下述 各种具体实施例，附图中相同的标记代表相同或相似的组件。然而，本领域的普通技术人员 应当理解，下文中所提供的实施例并非用来限制本发明所涵盖的范围。此外，附图仅仅用于 示意性地加以说明，并未依照其原尺寸进行绘制。
[0064] 下面参照附图，对本发明各个方面的【具体实施方式】作进一步的详细描述。
[0065] 图1(a)?图1(c)示出依据本发明的一实施方式，基于增强现实技术的手持式阅 览设备的外部轮廓示意图。其中，图1 (a)为设备的主视图，图1 (b)为设备的后视图，图1 (c) 为设备的侧视图。
[0066] 参照图1(a)?图1(c)，本发明基于增强现实技术的手持式阅览设备为类似于放 大镜的外部轮廓，包括圆形本体和握持部4。该握持部4专门设计为符合儿童生理学且便于 手持抓握的造型。
[0067] 详细地，圆形本体的正面设有液晶屏幕1、第二摄像头和麦克风2。在此，圆形液晶 屏幕可给用户带来"以小见大"和"以少见多"的直观感受。这是因为，矩形屏幕适合向宽 而广的场景发展，而圆形屏幕适合往近而深的场景发掘。相对于传统的矩形屏幕，圆形屏幕 的边角无法捉摸，角度可有可无，从而使其在传感器的作用下能够始终呈现正视角界面。例 如，第二摄像头和麦克风2位于本体顶端的正中位置，第二摄像头（也可称为"前摄像头"） 采集本体正面侧的现实场景，麦克风接收用户的语音交互信息。圆形本体的背面设置高清 晰度的第一摄像头（也可称为"主摄像头"）5和扬声器6。握持部4与圆形本体相连接，用 于用户尤其是儿童抓握该阅览设备。其中该手持式阅览设备对第一摄像头5采集的现实场 景进行三维虚拟场景的渲染，并透过液晶屏幕1显示现实场景和虚拟场景混合后的阅览画 面。
[0068] 在一具体实施例，液晶屏幕1具有触控功能，且通过电阻式、电容式、红外线扫描 式或红外线图像感测式触控传感器来实现相应的触控操作。
[0069] 在一具体实施例，第一摄像头5采集和捕捉圆形本体背面侧的现实场景，例如，第 一摄像头5为电荷耦合组件（CCD)影像传感器或互补式金属氧化物半导体（CMOS)影像传 感器。
[0070] 此外，在圆形本体的侧面还包括一功能按键7,用于在手持式阅览设备的不同功能 之间进行切换。较佳地，还可在圆形本体与握持部4的连接处还包括一控制按键3。
[0071] 此外，为便于设备在任何光线条件下都可进行阅读浏览，本发明还可包括亮度传 感器和辅助背光源（图中未示出）。利用亮度传感器来检测设备的环境光强度，并且使用辅 助背光源在环境光强度不足时提供辅助背光。
[0072] 图2示出依据本发明的另一实施方式，基于增强现实技术的手持式阅览设备的结 构组成示意图。参照图2,在该实施方式中，本发明的手持式阅览设备包括一视频采集单元 10、一智能计算终端12、一语音输出单元14和一液晶屏幕16。
[0073] 具体而言，视频采集单元10用于透过第一摄像头（诸如图1的主摄像头5)捕捉 现实场景。智能计算终端12与视频采集单元10相耦接，用于对所捕捉的现实场景中的二 维码进行识别，得到与二维码相对应的码值信息和空间位置信息，然后根据空间位置信息 放置预设的匹配虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面。语音输出单元 14与智能计算终端12相耦接，用于透过扬声器（诸如图1的扬声器6)输出与虚拟场景相 对应的语音信息。液晶屏幕1呈圆形，其与智能计算终端12相耦接，用于显示来自智能计 算终端12生成的阅览画面。
[0074] 在一具体实施例，当阅览用户尤其是儿童移动手持式阅览设备时，现实场景中的 二维码发生移动，智能计算终端12根据移动的二维码来控制虚拟场景中的画面移动，液晶 屏幕1输出手持式阅览设备移动后的动态阅览画面。
[0075] 此外，当避免二维码的移动速度过快或偏离第一摄像头的拍摄角度过大时从而导 致二维码识别瞬时失败，进而造成与其关联的三维虚拟物体的显示发生卡顿现象，本发明 的智能计算终端12还包括缓冲单元121。缓冲单元121用于对当前帧之前的若干个二维码 所对应的码值信息和空间位置信息进行备份和缓存，并对虚拟场景中的三维虚拟物体运动 驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。例如，虚拟场景中的三维虚 拟物体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到，以大幅提高虚拟 物体移动的平滑性。
[0076] 图3示出图2的手持式阅览设备的智能计算终端的一具体实施例。参照图3,在该 实施例中，智能计算终端12还包括网络接口（图中未示出）、二维码识别单元123、虚拟场 景生成单元125和虚拟实时渲染单元127。
[0077] 其中，网络接口用于获取来自互联网的多个增强现实应用，并根据用户需求选择 一个增强现实应用予以执行。当用户将现实场景中的二维码移动至第一摄像头的拍摄范围 内时，二维码识别单元123用于自动跟踪和识别二维码，并得到相对应的码值信息和空间 位置信息。虚拟场景生成单元125与二维码识别单元123相耦接，用于根据来自二维码识别 单元123的空间位置信息，查询到相匹配的虚拟场景。虚拟实时渲染单元127用于对查询 得到的虚拟场景进行实时绘制，并将绘制后的虚拟场景与现实场景混合显示于液晶屏幕。
[0078] 在一具体实施例，智能计算终端12还包括交互单元129,用于识别人脸或人手的 交互操作，并根据交互操作来获得现实场景中隐含的三维信息，从而使三维信息与虚拟场 景中的三维物体进行直接交互，提高设备的互动娱乐性。例如，上述现实场景包括图书、识 字卡、科技馆或博物馆中的物体和环境影像。
[0079] 此外，该手持式阅览设备还可包括一存储单元（图中未示出），用于存储与增强现 实应用相对应的虚拟场景数据，从而实现设备在离线状态下的增强现实体验。
[0080] 图4示出采用图3的手持式阅览设备来实现增强现实的阅览画面的流程框图。
[0081] 结合图4和图3,首先执行步骤S101和S103,用户通过互联网获取多个增强现实 应用，并启动其中的一个应用。在步骤S105和S107中，第一摄像头开始视频采集和捕捉，将 采集和捕捉到的现实场景显示在屏幕上，用户在第一摄像头拍摄范围内自由移动该现实场 景的二维码。接着，对二维码进行自动跟踪和识别，如步骤S109所示。最后执行步骤S111， 系统将二维码对应的三维虚拟物体渲染并显示在液晶屏幕上。此外，用户还可通过交互提 供现实场景隐含的三维信息，使其与虚拟三维物体直接交互。
[0082] 图5示出图2的手持式阅览设备的智能计算终端的另一具体实施例。参照图5,在 该实施例中，智能计算终端12还包括主线程（main thread)处理单元131和分线程处理单 元133。主线程处理单元131用于运行智能计算终端12所进行的程序逻辑操作和渲染操 作。多个分线程处理单元133用于执行图像采集操作，并将图像采集结果传回主线程处理 单元131。例如，主线程处理单元131向分线程处理单元133首先发送图像采集请求，分线 程处理单元133根据该图像采集请求进行图像采集操作，并将图像采集结构送回主线程处 理单元131进行后续处理。
[0083] 图6示出依据本发明的再一实施方式，基于增强现实技术的手持式阅览方法的流 程框图。
[0084] 结合图6和图2,在该阅览方法中，首先执行步骤S21，由视频采集单元10透过第 一摄像头捕捉现实场景。然后执行步骤S23和S25,智能计算终端12对所捕捉的现实场景 中的二维码进行识别，得到相应的码值信息和空间位置信息。然后根据空间位置信息放置 预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面。接着在步骤S27中，语音 输出单元14透过扬声器输出与虚拟场景相对应的语音信息。最后执行步骤S29,呈圆形状 的液晶屏幕16显示智能计算终端12生成的阅览画面。
[0085] 在一具体实施例，该手持式阅览方法还包括步骤：当移动手持式阅览设备时，现 实场景中的二维码发生移动，智能计算终端根据移动的二维码来控制虚拟场景中的画面移 动，液晶屏幕输出手持式阅览设备移动后的动态阅览画面。
[0086] 在一具体实施例，该手持式阅览方法还包括步骤：对当前帧之前的若干二维码所 对应的码值信息和空间位置信息进行备份，并对虚拟场景中的三维物体运动驱动进行相应 帧数的延迟，以预留二维码识别所需的处理时间。例如，虚拟场景中的三维物体的瞬时位置 由所备份的若干二维码的空间位置信息进行插值得到。
[0087] 图7示出采用图6的手持式阅览方法的第一实施例的增强现实效果示意图。
[0088] 在图7中，用户将手持式阅览设备对着博物馆的名画时，设备的主摄像头捕捉该 名画，并将预先设好的虚拟三维动画与现实物体进行混合，最终在圆形屏幕11上能够看到 的画面效果是名画从原本现实场景中的静态画面开始转化为混合后的动态画面。
[0089] 图8示出采用图6的手持式阅览方法的第二实施例的增强现实效果示意图。
[0090] 在图8中，用户将手持式阅览设备对准地球仪上的某一地区时（如埃及），设备的 主摄像头22开始捕捉，并将预先设好的三维虚拟动画投射在地球仪上，最终在圆形屏幕21 上呈现的效果是，该地区上空浮现该国家的特色动画（如金字塔和狮身人面像）。例如，孩 子拿起这个"科学放大魔镜"（即，手持式阅览设备）对准地球仪的某个国家板块，圆形屏幕 上呈现的画面效果是，地球仪上站着穿该国传统服装的三维人物及其它信息的图像，诸如 著名建筑、历史人文等，这些不同类型的图像可通过按键切换。
[0091] 图9示出采用图6的手持式阅览方法的第三实施例的增强现实效果示意图。
[0092] 在图9中，用户将手持式阅览设备对准书本或卡片，设备的摄像头31开始工作，并 将三维虚拟图像32投射在书本上，最终在圆形屏幕上可以看到书本上出现由现实场景和 虚拟场景混合而成的三维立体画面。
[0093] 图10示出采用图6的手持式阅览方法的第四实施例的增强现实效果示意图。
[0094] 在图10中，用户将手持式阅览设备对准现实场景的一辆玩具坦克，设备的摄像头 开始工作，经过设备中的智能计算终端处理后，最终可在圆形屏幕里看到的画面效果是，坦 克边上有外星飞船正在攻击它，孩子可用该设备与坦克进行互动并操作坦克，通过增强现 实技术实现虚拟和现实的结合，只见坦克炮管移动开火，把攻击它的外星飞船一一击落。 [0095] 采用本发明的手持式阅览设备及其方法，视频采集单元透过第一摄像头捕捉现 实场景，智能计算终端对现实场景中的二维码进行识别以得到码值信息和空间位置信息， 然后根据空间位置信息放置预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画 面，呈圆形状的液晶屏幕用来显示来自智能计算终端生成的阅览画面。相比于现有技术，本 发明利用智能计算终端生成一种与现实场景高度匹配的、具有逼真的视觉、听觉、触觉、力 度感和动感等的虚拟环境，可实现用户和虚拟三维环境直接进行交互。如此一来，小朋友在 学习过程中很容易将语言学习、图像认知和三维数字模型自然地联系到一起，增强了更多 维度的感官刺激，提升了学习效率，寓教于乐。
[〇〇96] 上文中，参照附图描述了本发明的【具体实施方式】。但是，本领域中的普通技术人员 能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的【具体实施方式】作各 种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。
【权利要求】
1. 一种基于增强现实（Augmented Reality，AR)技术的手持式阅览设备，其特征在于， 该手持式阅览设备还包括： 视频采集单元，用于透过第一摄像头捕捉现实场景； 智能计算终端，用于对所述现实场景中的二维码进行识别，得到相应的码值信息和空 间位置信息，然后根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景和所 述虚拟场景混合后的阅览画面； 语音输出单元，用于透过扬声器输出与所述虚拟场景相对应的语音信息；以及 液晶屏幕，呈圆形形状，用于显示所述智能计算终端生成的所述阅览画面。
2. 根据权利要求1所述的手持式阅览设备，其特征在于，当移动所述手持式阅览设备 时，所述现实场景中的二维码发生移动，所述智能计算终端根据移动的二维码来控制所述 虚拟场景中的画面移动，所述液晶屏幕输出所述手持式阅览设备移动后的动态阅览画面。
3. 根据权利要求2所述的手持式阅览设备，其特征在于，所述智能计算终端还包括： 缓冲单元，用于对当前帧之前的若干二维码所对应的码值信息和空间位置信息进行备 份，并对所述虚拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所 需的处理时间。
4. 根据权利要求3所述的手持式阅览设备，其特征在于，所述虚拟场景中的三维物体 的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到。
5. 根据权利要求1所述的手持式阅览设备，其特征在于，所述智能计算终端包括： 网络接口，用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强 现实应用予以执行；以及 二维码识别单元，当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范 围内时，所述二维码识别单元自动跟踪和识别所述二维码，得到所述码值信息和所述空间 位置信息。
6. 根据权利要求5所述的手持式阅览设备，其特征在于，所述智能计算终端还包括： 虚拟场景生成单元，用于根据来自所述二维码识别单元的空间位置信息，查询到相匹 配的虚拟场景，以及 虚拟实时渲染单元，用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚 拟场景与所述现实场景混合显示于所述液晶屏幕。
7. 根据权利要求6所述的手持式阅览设备，其特征在于，所述智能计算终端还包括： 交互单元，用于识别人脸或人手的交互操作，并根据所述交互操作来获得所述现实场 景中隐含的三维信息，从而使所述三维信息与所述虚拟场景中的三维物体进行直接交互。
8. 根据权利要求1所述的手持式阅览设备，其特征在于，所述现实场景包括图书、识字 卡、科技馆或博物馆中的物体和环境影像。
9. 根据权利要求8所述的手持式阅览设备，其特征在于，所述手持式阅览设备还包括 一存储单元，用于存储与所述增强现实应用相对应的虚拟场景数据。
10. 根据权利要求1所述的手持式阅览设备，其特征在于，所述智能计算终端还包括： 主线程处理单元，用于运行所述智能计算终端所进行的程序逻辑操作和渲染操作；以 及 多个分线程处理单元，用于执行图像采集操作，并将图像采集结果传回所述主线程处 理单元。
11. 根据权利要求10所述的手持式阅览设备，其特征在于，所述主线程处理单元向所 述分线程处理单元发送图像采集请求，所述分线程处理单元根据所述图像采集请求进行图 像采集操作。
12. 根据权利要求1所述的手持式阅览设备，其特征在于，所述手持式阅览设备为类似 于放大镜的外部轮廓，包括一圆形本体和一握持部，所述圆形本体装设具有触控功能的所 述液晶屏幕，且所述圆形本体与所述握持部的连接处包括一控制按键。
13. 根据权利要求12所述的手持式阅览设备，其特征在于，所述液晶屏幕的触控功能 通过电阻式、电容式、红外线扫描式或红外线图像感测式触控传感器来实现触控操作。
14. 根据权利要求12所述的手持式阅览设备，其特征在于，所述圆形本体的顶端正中 位置包括一第二摄像头和一麦克风，所述第二摄像头用于采集所述液晶屏幕一侧的现实场 景，所述麦克风用于接收用户的语音交互信息。
15. 根据权利要求12所述的手持式阅览设备，其特征在于，所述第一摄像头位于所述 圆形本体的、与所述液晶屏幕相对的另一侧，用于采集和捕捉该侧的现实场景，所述第一摄 像头为电荷耦合组件（CCD)影像传感器或互补式金属氧化物半导体（CMOS)影像传感器。
16. 根据权利要求12所述的手持式阅览设备，其特征在于，所述圆形本体的侧面还包 括一功能按键，用于所述手持式阅览设备的不同功能之间进行切换。
17. 根据权利要求1所述的手持式阅览设备，其特征在于，所述手持式阅览设备还包括 亮度传感器和辅助背光源， 所述亮度传感器用于检测所述手持式阅览设备的环境光强度，所述辅助背光源在所述 环境光强度不足时提供辅助背光。
18. -种基于增强现实（Augmented Reality，AR)技术的手持式阅览方法，其特征在 于，该手持式阅览方法包括以下步骤： 视频采集单元透过第一摄像头捕捉现实场景； 智能计算终端对所述现实场景中的二维码进行识别，得到相应的码值信息和空间位置 信息； 根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景和所述虚拟场景混 合后的阅览画面； 语音输出单元透过扬声器输出与所述虚拟场景相对应的语音信息；以及 呈圆形状的液晶屏幕显示所述智能计算终端生成的所述阅览画面。
19. 根据权利要求18所述的手持式阅览方法，其特征在于，该手持式阅览方法还包括 步骤：当移动所述手持式阅览设备时，所述现实场景中的二维码发生移动，所述智能计算终 端根据移动的二维码来控制所述虚拟场景中的画面移动，所述液晶屏幕输出所述手持式阅 览设备移动后的动态阅览画面。
20. 根据权利要求19所述的手持式阅览方法，其特征在于，该手持式阅览方法还包括 步骤： 对当前帧之前的若干二维码所对应的码值信息和空间位置信息进行备份，并对所述虚 拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。
21. 根据权利要求20所述的手持式阅览方法，其特征在于，所述虚拟场景中的三维物 体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到。
22. 根据权利要求18所述的手持式阅览方法，其特征在于，所述智能计算终端包括： 网络接口，用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强 现实应用予以执行；以及 二维码识别单元，当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范 围内时，所述二维码识别单元自动跟踪和识别所述二维码，得到所述码值信息和所述空间 位置信息。
23. 根据权利要求22所述的手持式阅览方法，其特征在于，所述智能计算终端还包括： 虚拟场景生成单元，用于根据来自所述二维码识别单元的空间位置信息，查询到相匹 配的虚拟场景，以及 虚拟实时渲染单元，用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚 拟场景与所述现实场景混合显示于所述液晶屏幕。
24. 根据权利要求23所述的手持式阅览方法，其特征在于，所述智能计算终端还包括： 交互单元，用于识别人脸或人手的交互操作，并根据所述交互操作来获得所述现实场 景中隐含的三维信息，从而使所述三维信息与所述虚拟场景中的三维物体进行直接交互。
25. 根据权利要求18所述的手持式阅览方法，其特征在于，该手持式阅览方法还包括 主线程和多个分线程，其中主线程用于运行所述智能计算终端处理过程中所进行的程序逻 辑操作和渲染操作，分线程用于执行图像采集操作，并将图像采集结果传回所述主线程处 理单元。
26. 根据权利要求18所述的手持式阅览方法，其特征在于，所述现实场景包括图书、识 字卡、科技馆或博物馆中的物体和环境影像。
27. -种基于增强现实（Augmented Reality，AR)技术的手持式阅览设备，其特征在 于，该手持式阅览设备包括： 一圆形本体，具有相对设置的一正面和一背面，所述圆形本体的正面设有一液晶屏幕、 一第二摄像头和一麦克风，所述圆形本体的背面设置一第一摄像头和一扬声器；以及 一握持部，与所述圆形本体相连接，用于抓握所述手持式阅览设备， 其中，所述手持式阅览设备对所述第一摄像头采集的现实场景进行三维虚拟场景的渲 染，并透过所述液晶屏幕显示所述现实场景和所述虚拟场景混合后的阅览画面。
28. 根据权利要求27所述的手持式阅览设备，其特征在于，所述液晶屏幕具有触控功 能，且通过电阻式、电容式、红外线扫描式或红外线图像感测式触控传感器来实现触控操 作。
29. 根据权利要求27所述的手持式阅览设备，其特征在于，所述第二摄像头和所述麦 克风位于所述圆形本体的顶端的正中位置，所述第二摄像头用于采集所述圆形本体正面侧 的现实场景，所述麦克风用于接收用户的语音交互信息。
30. 根据权利要求27所述的手持式阅览设备，其特征在于，所述第一摄像头用于采集 和捕捉所述圆形本体背面侧的现实场景，所述第一摄像头为电荷耦合组件（CCD)影像传感 器或互补式金属氧化物半导体（CMOS)影像传感器。
31. 根据权利要求27所述的手持式阅览设备，其特征在于，所述圆形本体的侧面还包 括一功能按键，用于所述手持式阅览设备的不同功能之间进行切换。
32. 根据权利要求27所述的手持式阅览设备，其特征在于，所述圆形本体与所述握持 部的连接处还包括一控制按键。
33. 根据权利要求27所述的手持式阅览设备，其特征在于，所述手持式阅览设备还包 括亮度传感器和辅助背光源，所述亮度传感器用于检测所述手持式阅览设备的环境光强 度，所述辅助背光源在所述环境光强度不足时提供辅助背光。
【文档编号】G06F3/0484GK104102412SQ201410354263
【公开日】2014年10月15日 申请日期:2014年7月24日 优先权日:2014年7月24日
【发明者】熊剑明 申请人:央数文化(上海)股份有限公司