一种基于显示内容的AR标注方法及系统与流程

一种基于显示内容的ar标注方法及系统
技术领域
1.本发明涉及一种基于显示内容的ar标注方法及系统，属于智能穿戴设备技术领域。


背景技术：

2.增强现实（augmented reality，简称ar），是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。
3.在ar的实际应用中，在显示设备中的显示内容上叠加标注是最常见的一种方式，其应用原理是将目前区域内的显示内容进行数据化分析，并联网搜索相相关内容，搜索到的相关内容再叠加到显示设备中的对应位置形成标注，在这一过程中，如何选定想要的显示内容进行标注是一难点，现有的一种解决方案就是使用眼动追踪技术来进行交互选定，然而也存在一些缺陷：由于人的注意力不可能一直集中，导致视线可能会不规则的偏移，这样就可能随时触发某些计算机指令，导致不想要的标注内容跳出，分散注意力，另一方面，现有的眼动交互方式操作效率不高，采用单眼眨眼或双眼眨眼动作进行点击操作会容易造成眼睛的疲倦，并且眨眼也属于自然反应，且眼睛受到刺激时，眨眼频率更加不受控制，从而容易造成误操作，这样就使得用户不能够按照自己的意愿进行显示内容的标注，影响用户体验。


技术实现要素：

4.本发明针对上述的技术问题，因此提供一种基于显示内容的ar标注方法及系统。
5.本发明所要解决的技术问题采取以下技术方案来实现：一种基于显示内容的ar标注方法，包括以下步骤：s1、对待标注的显示内容进行分析，提取该显示内容中的可标注内容进行ai整理，根据可标注内容的完整度自动划分为多个触发集合，并联网对集合内容进行后台预载标注；s2、设备的眼球追踪模块捕捉用户的注视焦点，注视焦点集中在触发集合上的时间超过设定时间后，触发集合所映射的显示内容进行高亮显示，用于表明该处显示内容有可标注内容，高亮显示持续设定时间后，高亮效果隐去；s3、设备的图像拍摄模块捕捉手指姿态信息，并在手指的指尖顶端形成不可见的虚拟光标，虚拟光标停留在触发集合上时，对应触发集合上的标注进入预加载状态，在触发集合上停留设定时间后，标注内容进行加载显示，虚拟光标离开触发集合设定时间后，标注内容隐去；s4、当眼球追踪模块捕捉的注视焦点与虚拟光标集中在一个触发集合上时，立即
在该触发集合所映射的显示内容附近区域显示标注内容；s5、当注视焦点和虚拟光标中的其中一个离开触发集合上时，重复进行s2或s3的步骤，当注视焦点和虚拟光标都离开触发集合上时，显示内容恢复原样。
6.作为优选实例，所述可标注内容包括图形、动画、视频、文字和图标。
7.作为优选实例，所述s2中，注视焦点集中在触发集合上的设定时间为3～5s，高亮显示持续的设定时间为1～3s。
8.作为优选实例，所述s2中，高亮效果隐去后，该触发集合在10～15s后重新接受注视焦点的高亮唤醒。
9.作为优选实例，所述s2中，高亮显示内容通过远程操作设备快速转化为标注内容显示。
10.作为优选实例，所述s3中，虚拟光标在触发集合上停留的设定时间为5～8s，虚拟光标离开触发集合的设定时间为1～3s。
11.作为优选实例，所述s3中，捕捉的手指姿态信息，不包括大拇指的姿态信息。
12.一种基于显示内容的ar标注系统，包括显示模块、系统处理模块、信号模块、眼球追踪模块和图像拍摄模块；所述显示模块包括透明屏幕，用于在真实世界中的显示内容上叠加ar标注内容；所述系统处理模块包括逻辑和控制指令的相关计算机存储器，用于接收和处理来自传感器的信号，并向显示模块提供显示信号，作出ar标注内容；所述信号模块包括5g网络通信模块、无线模块、蓝牙模块或红外模块中的至少两种，用于与外部信号进行连接；所述眼球追踪模块用于实时跟踪用户双眼的注视焦点，并转换成坐标信号传输给系统处理模块；所述图像拍摄模块用于提取显示内容和捕捉手指姿态信息，提取的显示内容转换为可处理信号传输给系统处理模块，捕捉到的手指姿态信息则转换为坐标信号传输给系统处理模块。
13.作为优选实例，还包括远程操作设备，所述远程操作设备包括智能指环或智能手环/手表，并通过无线信号与信号模块连接。
14.本发明的有益效果是：本发明提出一种用户的注视焦点和主动虚拟光标相结合的方案，注视焦点通过“慢”触发的方式，首先保证了不会随意触发不想要的标注，再结合虚拟光标的二次确定，能够快速而准确的对选定的显示内容进行标注，从而在保证准确度的同时，最快速度的进行标注，这样就使得标注内容贴合用户的心里预期，用户体验好。
附图说明
15.图1为本发明的工作流程图；图2为本发明的结构示意图。
具体实施方式
16.为了对本发明的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
17.本发明基于ar眼镜或智能手机/平板来实现的，上述设备必需设置有拍摄显示内容和拍摄用户眼球活动的相关图像拍摄装置。
18.如图1所示，一种基于显示内容的ar标注方法，包括以下步骤：s1、对待标注的显示内容进行分析，提取该显示内容中的可标注内容进行ai整理，根据可标注内容的完整度自动划分，如一个单词，一句完整的句子，单个图形等具有完整含义的单位，多个单位编辑为多个触发集合，并联网对触发集合的内容进行后台预载标注，标注内容缓存在计算机存储器中，同时整个显示内容转化为二维平面数据，多个触发集合根据显示内容上原本的对应位置转换为坐标集，嵌设在二维平面相对应的位置；s2、设备的眼球追踪模块捕捉用户的注视焦点，注视焦点位置信号转换为在二维平面上的坐标信号，以此来判断注视焦点是否与触发集合相重合，当注视焦点集中在触发集合上的时间超过设定时间后，触发集合所映射的显示内容进行高亮显示，用于表明该处显示内容有可标注内容，高亮显示持续设定时间后，高亮效果隐去，当注视焦点集中在触发集合上的时间低于设定时间时，则显示内容无反应，防止视线跳动而造成的误操作；s3、设备的图像拍摄模块捕捉手指姿态信息，首先通过图像识别技术拍摄和跟踪手指的外围轮廓，然后基于模板匹配算法和基于人工神经网络，在外围轮廓上确定多个测量点，此时多个测量点即可在二维平面上确定坐标，识别出手指指尖顶端的测量点作为不可见的虚拟光标，虚拟光标停留在触发集合上时，对应触发集合上的标注进入预加载状态，在触发集合上停留设定时间后，标注内容进行加载显示，虚拟光标离开触发集合设定时间后，标注内容隐去；s4、当眼球追踪模块捕捉的注视焦点与虚拟光标集中在一个触发集合上时，即不考虑纵深的情况下，注视焦点的二维坐标和虚拟光标的二维坐标均位于触发集合的坐标集内，此时立即在该触发集合所映射的显示内容附近区域显示标注内容；s5、当注视焦点和虚拟光标中的其中一个离开触发集合上时，重复进行s2或s3的步骤，当注视焦点和虚拟光标都离开触发集合上时，显示内容恢复原样。
19.可标注内容包括图形、动画、视频、文字和图标。
20.s2中，注视焦点集中在触发集合上的设定时间为3～5s，高亮显示持续的设定时间为1～3s，高亮效果隐去后，该触发集合在10～15s后重新接受注视焦点的高亮唤醒。
21.采用上述方案，综合考虑到用户的阅读或观看速度，注视焦点集中在4s左右时，既不会受到短暂视线偏移的影响，也不会太延误相应标注的时间，同时高亮效果隐去后的休眠时间设置则是为了防止用户在着重观看一段显示内容时，反复进行高亮而分散用户注意力。
22.s2中，高亮显示内容通过远程操作设备快速转化为标注内容显示，具体原理是在显示内容高亮状态下，此时远程操作设备通过触发或手势进行主动标注操作，即可方便快捷的完成内容标注。
23.s3中，虚拟光标在触发集合上停留的设定时间为5～8s，虚拟光标离开触发集合的设定时间为1～3s，虚拟光标的触发时间设定时长要比注视焦点的触发时间稍长，防止手指姿态被图像拍摄模块意外拍下后立即触发标注，影响视线，同时能够在一段时间后，达到目标显示内容标注的效果。
24.s3中，捕捉的手指姿态信息，不包括大拇指的姿态信息，因为在正常的使用场景
中，用户在用手指辅助进行阅读理解时，并不会用到大拇指，一般只会用到食指和中指，且无名指和小拇指会蜷缩起来，因此该方法会屏蔽对大拇指的姿态信息捕捉，防止大拇指的姿态信息误触不相关的显示内容标注。
25.如图2所示，一种基于显示内容的ar标注系统，包括显示模块、系统处理模块、信号模块、眼球追踪模块和图像拍摄模块；显示模块包括透明屏幕，用于在真实世界中的显示内容上叠加ar标注内容；系统处理模块包括逻辑和控制指令的相关计算机存储器，用于接收和处理来自传感器的信号，并向显示模块提供显示信号，作出ar标注内容；信号模块包括5g网络通信模块、无线模块、蓝牙模块或红外模块中的至少两种，用于与外部信号进行连接，包括联网查询标注资料、与信息终端进行数据互换、接收远程操作设备的信息指令等；眼球追踪模块用于实时跟踪用户双眼的注视焦点，并转换成坐标信号传输给系统处理模块，主要设备包括红外设备和图像采集设备，为了便于该系统的小型化，优选采用红外设备，利用主动投射红外线等光束到虹膜来提取特征，精度较高，且技术也较为成熟；图像拍摄模块用于提取显示内容和捕捉手指姿态信息，提取的显示内容转换为可处理信号传输给系统处理模块，捕捉到的手指姿态信息则转换为坐标信号传输给系统处理模块。
26.还包括远程操作设备，通过无线信号与信号模块连接，该远程操作设备要选用在手部的可穿戴式设备，例如智能指环或智能手环/手表，通过对上述设备的按压点选或手势运动的方式进行远程指令操作，如高亮显示内容直接出现标注等。
27.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。