电子图档浏览方法及系统与流程

1.本发明涉及信息化建设技术领域，具体地涉及一种电子图档浏览方法及一种电子图档浏览系统。


背景技术：

2.在现代生产厂房内，存在多种运行的设备，各设备的外形和功能互不相同，受生产需要，如今的单个设备科技性越来越高，零件增多，结构更加复杂使得设备在进行安装和维护时长存在巨大的困难。每台设备配置有相应的电子图档，该电子图档可以看作为设备的安装手册，基于该安装手册进行设备安装、维护和检修是常用的技术手段。在现有的电子图档审阅过程中，主要依靠桌面主机、平板等对图档的浏览，这种浏览方法与实体的关联性很低，需要独特的环境进行支撑，且用户若需要与实体进行对照浏览，需要边控制平板电脑边进行设备操作，这种方法极大影响用户的使用体验。且对应需要边浏览边检修的情况，势必会造成控制困难的情况。针对上述的问题，需要创造一种新的电子图档浏览方法。


技术实现要素：

3.本发明实施方式的目的是提供一种电子图档浏览方法及一种电子图档浏览系统，以至少解决上述的技术问题。
4.为了实现上述目的，本发明第一方面提供一种电子图档浏览方法，所述方法基于头戴式计算机实现，用于设备关联的电子图档浏览，所述方法包括：响应于设备识别触发信号，采集目标设备的图像信息；根据所述图像信息进行对应目标设备的电子图档获取；根据所述电子图档的显示调控指令，对应进行所述电子图档的显示。
5.可选的，所述根据所述图像信息进行对应目标设备的电子图档获取，包括：根据预设的ar识别算法对所述图像信息进行设备特征识别，获得对应目标设备的设备编号信息；根据所述设备编号信息在预设资源库中进行对应目标设备的电子图档获取。
6.可选的，所述电子图档包括：设备运行信息；设备组成信息；各零件参数信息；设备组装或维护过程的操作步骤信息。
7.可选的，所述电子图档的显示调控指令为语音调控指令；所述根据所述电子图档的显示范围调控指令，对应进行所述电子图档的显示，包括：获取用户的控制语音信息；根据预设语义识别算法进行所述控制语音信息的识别，获得对应的控制需求信息；根据所述控制需求信息，对应进行所述电子图档的显示控制。
8.可选的，所述控制需求信息至少包括：放大、缩小、跳转和操作流程显示；其中，所述操作流程显示用于展示所述设备组装或维护过程的操作步骤信息。
9.可选的，所述预设语义识别算法基于transformer模型实现。
10.本发明第二方面提供一种电子图档浏览系统，安装于头戴式计算机，所述系统包括：图像采集单元，用于采集目标设备的图像信息；处理单元，用于根据所述图像信息进行对应目标设备的电子图档获取；显示单元，用于进行所述电子图档的显示；控制单元，用于
所述电子图档的显示控制。
11.可选的，所述根据所述图像信息进行对应目标设备的电子图档获取，包括：根据预设的ar识别算法对所述图像信息进行设备特征识别，获得对应目标设备的设备编号信息；根据所述设备编号信息在预设资源库中进行对应目标设备的电子图档获取。
12.可选的，所述显示单元包括：全息投影模块和/或镜片显示模块。
13.另一方面，本发明提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的电子图档浏览方法。
14.通过上述技术方案，通过头戴式计算机进行目标设备图像采集，然后基于该图像进行目标设备电子图档提取。通过头戴式计算机直接显示提取的电子图档，且根据用户浏览需求，可以进行电子图档的显示控制，保证用户获得到想要的信息。该方法完全解放了用户的双手，使得用户可以对照电子图档进行设备组装、维护和检修，提高了设备组装的准确性以及用户的使用体验度。
15.本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
16.附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
17.图1是本发明一种实施方式提供的电子图档浏览方法的步骤流程图；
18.图2是本发明一种实施方式提供的电子图档浏览系统的系统结构图。
具体实施方式
19.以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
20.增强现实(augmented reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。增强现实技术简称为ar技术，不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来，这些细腻内容相互补充和叠加。在视觉化的增强现实中，用户需要在头盔显示器的基础上，促使真实世界能够和电脑图形之间重合在一起，在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段，增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。这便是头戴计算机的理论构建基础，通过设计成头盔或眼镜的模式，实现用户的可佩戴性，然后相关人员根据佩戴的头戴式计算机进行目标识别的信息提取。
21.在现代生产厂房内，存在多种运行的设备，这些设备各司其职，通过自身功能进行生产创造。在设备的运行过程中，难免会出现设备故障的情况，这对这些设备故障情况，需要相关人员进行设备检修。即使设备正常运行，监人员也需要进行设备状态密切监控，避免其异常运行导致发展成更为严重的问题。受功能需求，设备的复杂程度可能异常大，维护人
员在进行设备检修时，需要参照详细的设备构造信息，然后理论查找故障原因，最终才在设备实体处进行设备检修。但是，在现有的设备电子图档浏览方法中，主要需要桌面主机、平板等对图档的浏览，这种浏览方法与实体的关联性很低，需要独特的环境进行支撑，且用户若需要与实体进行对照浏览，需要边控制平板电脑边进行设备操作，这种方法极大影响用户的使用体验。且对应需要边浏览边检修的情况，势必会造成控制不过来的情况。为了电子图档浏览的效率性以及准确性，需要创造一种新的电子图档浏览方法。本技术利用头戴式计算机进行电子图档浏览，针对设备电子图档提取、浏览为一体进行方案设计，完全解放用户双手，用户可以边浏览电子图档边进行设备维护。
22.图2是本发明一种实施方式提供的电子图档浏览系统的系统结构图。如图2所示，所述系统包括：图像采集单元，用于采集目标设备的图像信息；处理单元，用于根据所述图像信息进行对应目标设备的电子图档获取；显示单元，用于进行所述电子图档的显示；控制单元，用于所述电子图档的显示控制。
23.优选的，所述根据所述图像信息进行对应目标设备的电子图档获取，包括：根据预设的ar识别算法对所述图像信息进行设备特征识别，获得对应目标设备的设备编号信息；根据所述设备编号信息在预设资源库中进行对应目标设备的电子图档获取。
24.优选的，所述显示单元包括：全息投影模块和/或镜片显示模块。
25.图1是本发明一种实施方式提供的电子图档浏览方法的方法流程图。如图1所示，所述方法包括：
26.步骤s10：响应于设备识别触发信号，采集目标设备的图像信息。
27.具体的，本发明方案是基于现实增强技术对设备外观进行识别，以判断设备的具体参数，所以，首先需要进行目标设备图像信息获取。优选的，采集模块直接设置在头戴式计算机的前端，例如ar眼镜的鼻托出，朝向正前方，或头戴式计算机的头盔正前方。即保证采集模块与用户的视角方位一致，便于用户看向目标设备时，能够被头戴式计算机准确识别到。优选的，为了避免用户扫过一片区域后，视频模块持续进行图像采集，即用户本就没有采集需求的情况下进行图像误采集，需要预设对应的设备触发信号。该触发信号可以是语音控制，也可是用户看向某一个设备维持固定时间。例如，用户语音控制“进行设备识别”，头戴式计算机被该语音信号触发唤醒，开始进行设备图像采集。再比如，用户看向某一个设备超过预设触发时间(优选为3-5s)，则判定用户有识别当前设备的需求倾向，则自动进行设备图像采集，提高系统的智能性。
28.步骤s20：根据所述图像信息进行对应目标设备的电子图档获取。
29.具体的，获得目标设备的图像信息后，便需要根预设的ar识别算法进行设备识别。ar算法有很多不同种类，本技术中主要使用的是识别和追踪。ar识别追踪，根据所需识别的图像内容，大致分为两个技术流派：marker based ar以及markerless ar。marker识别是使用一个较简单的标识，通常是正方形并且四边都清晰可辨。这类识别算法相对简单，通常用模板匹配算法解决，效果也不错，此方面经典实现可以参考早期artoolkit引擎的marker识别流程。随着进一步发展，人们逐渐喜欢用更复杂的图像来代替marker，简单的识别技术已经不适应现有需求。于是就出现了更复杂更通用的markerless ar的识别。markerless ar的识别追踪主要分为特征点检测、图片识别和追踪(姿态估计)三个步骤。图片识别的过程又分为特征点匹配和图片相似度度量两步。其中，特征点匹配就是一个高维特征空间的搜
索近似最近邻点的问题。如果是用最简单的线性匹配，那么速度远远达不到性能要求。这时候我们就必须用构建高维特征空间的数据结构算法。最经典有效的当属kd树及kmeans树两种结构及对应算法。通过ar现实增强技术，对比识别的特征结果和预设的设备外观参数，可以准确的识别出想要获取电子图档的目标设备。
30.根据外观识别出目标设备后，便可以直接获取到该设备的设备编号，每个设备对应一个独有的id编号，该id编号与设备的具体参数进行直接绑定，根据该绑定关系，将设备编号作为检索条件，在预设信息库中进行当前设备电子图档获取。
31.步骤s30：根据所述电子图档的显示调控指令，对应进行所述电子图档的显示。
32.具体的，完成电子图档提取后，便需要进行电子图档展示。在本技术中，提供了两种电子图档展示方式，全系投影展示和镜片图像展示。其中，全系投影全息投影技术也称幻影成像技术，是利用干涉和衍射原理记录并再现物体真实三维图像的技术。其最大的优势就是无需佩戴3d全息眼镜，便可多角度的浏览三维的立体影像。通过该方法进行电子图档展示的好处便是其与设备本身的关联性更好，可以将电子图档参数直接在设备上标注出来，用户可以很直观的将电子图档与设备进行联系浏览，这在对照设备安装流程时具有极大的好处，将每一步需要执行的步骤通过全息投影显示在设备上，其指向性特别好。而镜片图像展示的技术要求相对更低，展示的清晰度也更好，这在进行表格类数据展示时有巨大的优势。优选的，根据用户的需求，可以进行展示方式选择，例如，用户需要对照安装流程进行电子图档浏览时，选择全息投影方式进行展示。而若需要浏览运行参数类文本信息时，则通过镜片显示方式进行展示。
33.办发明方案的基础目的便是解放用户双手，避免用户需要进行多操作。在进行电子图档浏览时，难免需要执行翻页放大和缩小等操作，若需要用户进行手动控制，其势必会影响用户的使用体验度，为了解决这种问题，优选的，通过语音控制来进行头戴式计算机控制。现有的语音识别算法，受用户口音影响或即使发音标准的普通话，依旧容易产生同音噪声，造成识别内容的偏差。用户当然可以多次调整发音和内容进行重新识别，但若是简单的放大指令多需要调整语音好几次才能准确识别，其与最初想要提高电子图档浏览效率的初衷便相悖了，且用户的使用体验也就变得极度不好。为了避免这种情况，需要针对性的提高语音识别准确度。transformer的bert系模型为nlp(neuro-linguistic programming，神经语言程序学)领域的一类预训练模型，模型使用多层双向transformer作为特征提取器，同时提取上下文信息，这极大适用于语音控制中，基于问题进行语义关联的应用场景。使用bert模型解决nlp任务需要分为两个阶段：pre-train：用大量的无监督文本通过自监督训练的方式进行训练，把文本中包含的语言知识(包括：词法、语法、语义等特征)以参数的形式编码到transformer-encoderlayer中。预训练模型学习到的是文本的通用知识，不依托于某一项nlp任务；fine-tune阶段：使用预训练的模型，在特定的任务中进行微调，得到用于解决该任务的定制模型。首先进行大量的控制语音信息采集，然后基于采集的语音信息作为训练样本进行模型训练，后续便可以根据该训练模型进行用户语音准确识别。想要提高语音识别准确度，需要对语义识别信息进行特征增强和特征提取，在对错误情况分析后决定提取短文本的汉语拼音拼写作为短文本的提取特征，短文本的汉语拼音拼写融入了部分语音元信息，有效地规避了字词错误所带来的噪音，同时因为汉语拼音与文本标准结果有强相关关系，能够有效缓解长文本对短文本特征的掩盖问题。这在出现方言口音是，能够
进行近音错误识别，提高户的使用体验度。
34.在另一种可能的实施方式中，根据训练样本获得的训练模型为预训练模型，当某用户第一次使用该系统时，进行对应用户语音信息录入，利用该用户语音信息进行模型调整，体改模型对目标用户的语音识别准确性，其在环境声音嘈杂的生产车间内也具有显著的意义。
35.用户口述控制指令，控制单元进行指令语音识别，提取其中的控制需求，例如放大、缩小、跳转和操作流程显示，对应进行设备运行信息、设备组成信息、各零件参数信息、设备组装或维护过程的操作步骤信息显示。其中，对于设备组装或维护过程的操作步骤信息显示主要用户进行设备组装、维护或检修时执行，因为设备零件众多，结构复杂，用户极易因为操作步骤错误导致组装失败或异常组装，为了避免出现组装错误导致留存设备故障风险，优选的，每种设备对应的故障信息均有优选的操作步骤指南。用户仅需要根据语音控制调取对应的操作步骤指南，用户便可以根据该操作指南进行设备组装或维护，保证设备组装的准确性，提高设备的组装效率。
36.本发明实施方式还提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的电子图档浏览方法。
37.本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
38.以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
39.此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。