一种基于AR交互的穿戴式信息采集系统的制作方法

本发明涉及信息采集技术领域，特别涉及一种基于ar交互的穿戴式信息采集系统。

背景技术：

为了保证学校正常的教学秩序以及学生的安全，学校都会对校园内的教学信息、人员健康信息、访客信息、安全事件等进行关注，因此学校不仅需要采集上述各类信息，还需对上述信息进行有效管理。

现有技术中，学校对信息的采集大都采用人工或安装各种设备进行采集，比如采集考勤信息通过使用专门的考勤设备，采集健康信息需安排专人使用多种专用的体检设备进行人工采集，而对于一些突发情况则需要做单独取证登记。采集完上述信息后，还需再将这些信息统一录入到系统内。因此，现有技术中的信息采集方式，依赖于人工，不仅采集效率低，还可能因操作失误导致信息不准确，而且现有技术中的采集设备无法同时采集多种信息，导致设备利用率低，信息管理不方便。

技术实现要素：

本公开实施例提供了一种基于ar交互的穿戴式信息采集系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

在本公开实施例中，一种基于ar交互的穿戴式信息采集系统,包括穿戴式采集终端以及信息管理平台；其中，穿戴式采集终端包括:

ar交互模块，用于获取用户的采集指令，并将采集指令发送到中央控制模块；

中央控制模块,用于将接收到的采集指令发送到数据采集模块；

数据采集模块，用于根据接收到的采集指令实时采集人员数据；

数据处理模块，用于对人员数据进行分析、修正、分类处理；

ar显示模块，用于将分类后的人员数据转化为图表，并与其对应的人体各部位图像进行绑定显示；

数据传输模块，用于将分类后的人员数据实时发送到信息管理平台；

其中，信息管理平台用于对接收到的人员数据进行分类存储，并推送给外部客户端。

进一步地，ar交互模块，用于根据用户的手势信息、语音信息、操作按键信息中的一种或多种获取用户的采集指令。

进一步地，根据用户的手势信息获取用户的采集指令，包括：

通过摄像头捕捉用户的点击、缩放、旋转、平移中的一种或多种手势信息，从而获取用户的采集指令。

进一步地，数据采集模块，包括：

摄像头，用于采集人员图片信息或录制人员视频信息；

温度传感器，用于采集人员体温信息。

进一步地，数据处理模块，包括:

图像处理单元，用于识别图像中的人员身份信息、体貌特征信息、环境信息，并追踪人员的位置信息和动作信息；

数据分析单元，用于根据人员身份信息对人员数据进行分类，并输出不符合规范的异常数据。

进一步地，根据人员身份信息对人员数据进行分类，包括：

当人员为校内人员时，将人员数据分为身份信息、考勤信息、日常规范信息以及健康信息四个类别；

当人员为校外人员时，将人员数据分为人证核验信息以及到访信息两个类别。

进一步地，数据分析单元在输出不符合规范的异常数据之前，还包括：

修正不符合规范的异常数据。

进一步地，修正不符合规范的异常数据，包括：

当检测到人员体温异常时，对人员图像中的面部光线和环境光线进行对比分析，根据补偿信号重新计算人员体温；

当检测到人员身高异常时，通过人员图像中静态参照物的高度信息以及人员与静态参照物的位置信息修正人员身高，或通过调取人员历史人体模型，进行人体比例计算，修正人员身高；

当检测到人员日常规范异常时，通过查询人员的附加标记信息，修正人员的日常规范信息。

进一步地，ar显示模块，包括：

ar渲染单元，用于根据ar现实增强渲染技术，将分类后的人员数据转化为图表；

ar追踪绑定单元，用于根据ar三维追踪技术，将渲染后的图表与其对应的人体各部位图像进行绑定；

ar显示单元，用于动态显示渲染后的图表以及与其绑定的真实场景中的人员图像。

进一步地，ar追踪绑定单元，通过实时检测人体特征点对运动人体进行追踪，并将渲染后的图表与其对应的人体各部位图像进行绑定。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供了一种基于ar交互的穿戴式信息采集系统，可替代人工采集方式自动对多方面的信息进行采集，并对采集数据进行分析、修正、分类处理，将采集数据与人员身份进行精准绑定，大大提高了信息采集的准确度和效率；而且基于ar交互的穿戴式信息采集设备，可通过语音、手势等控制方式与用户进行人机交互，使用户感受实人实景，更加智能灵活，提高了用户的体验度；该系统仅通过一台设备即可对不同类型的人员采集不同方面的信息，大大降低了设备的购买和维护成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种基于ar交互的穿戴式信息采集系统的结构示意图；

图2是根据一示例性实施例示出的一种数据处理模块的结构示意图；

图3是根据一示例性实施例示出的一种ar显示模块的结构示意图；

图4是根据一示例性实施例示出的一种基于ar交互的穿戴式信息采集系统的结构示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

随着信息化技术的发展，ar(augmentedreality，增强现实)技术和ai(artificialintelligence，人工智能)技术成为被广泛使用的技术。ar技术通过将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，实现对现实的增强，从而实现用户和环境的自然交互。ai技术通过模拟智能的实质，生产出一种能以人类思维方式做出反应的智能思维，从而实现语言识别、图像识别、自然语言处理和专家系统等等功能。本公开实施例采用ar技术和ai技术，提供了一种基于穿戴式的信息采集系统。

下面将结合附图1-附图4，对本申请实施例提供的基于ar交互的穿戴式信息采集系统进行详细介绍。

参见图1，该系统具体包括穿戴式采集终端以及信息管理平台。

在一个实施例中，穿戴式采集终端包括ar交互模块，用于与用户进行人机交互，获取用户的采集指令，并将采集指令发送到中央控制模块。

具体地，ar交互模块可识别用户的手势信息，根据用户的手势信息获取采集指令，在一种可能的实现方式中，ar交互模块包括摄像头，用于捕捉用户的点击、缩放、旋转、平移中的一种或多种手势信息，从而实现确认、查询、打字等操作。

ar交互模块可识别用户的语音信息，根据用户的语音信息获取用户的采集指令，在一种可能的实现方式中，ar交互模块包括语音识别芯片，用于识别用户语音，将语音信息转换成文字，根据转换的文字执行命令或完成文字录入。例如，用户按下穿戴式信息采集终端上的语音输入按键，发出语音指令“查询2020年9月17日一年级三班的考勤信息”，ar交互模块识别该语音信息，并执行查询指令，输出考勤信息。

ar交互模块可识别用户的按键信息，根据用户的按键信息获取用户的采集指令。例如，用户按下穿戴式信息采集终端上的数据采集指令，系统根据按键指令开始采集人员数据。

在一个实施例中，穿戴式采集终端包括中央控制模块,用于将接收到的采集指令发送到数据采集模块。

具体地，中央控制模块可以接收ar交互模块发送过来的指令，并将接收到的指令发送给其他模块，从而控制其他模块正常运行。例如，中央控制模块将接收到的采集指令发送给数据采集模块，控制数据采集模块采集数据，将接收到的查询指令发送给ar显示模块，控制ar显示模块显示需要查询的数据。

在一种可能的实现方式中，中央控制模块包括但不限于cpu、单片机、微处理器等控制器。

在一个实施例中，穿戴式采集终端包括数据采集模块，用于根据接收到的采集指令实时采集人员数据。

具体地，数据采集模块包括摄像头，用于采集人员图片信息或录制人员视频信息，例如，可通过摄像头拍摄人员图片信息，从而识别人员身份，可通过摄像头录制人员异常事件视频，从而为后续事件处理提供视频依据。根据该模块，可采集不同人员的图像信息，可记录多种事件的视频信息。

数据采集模块还包括温度传感器，用于采集人员体温信息。通过采集人员体温信息，可时刻关注学生、员工的生命健康。例如，学校是人员密集的场所，一旦发生疫情很容易造成大范围传播，因此，检测每一个学生的体温信息对预防传染病扩散有着至关重要的作用。

在一些示例性场景中，可通过红外体温传感器检测学生体温，并将该学生的体温信息与其拍摄的人员图像绑定在一起，从而实现信息与身份的精准匹配。

在一个实施例中，穿戴式采集终端包括数据处理模块，用于对人员数据进行分析、修正、分类处理。

图2是根据一示例性实施例示出的一种数据处理模块的结构示意图，如图2所示，数据处理模块包括图像处理单元，用于识别图像中的人员身份信息、体貌特征信息、环境信息，并追踪人员的位置信息和动作信息。

具体地，图像处理模块可调取信息管理平台中存储的校内人员的身份信息，比如信息管理平台中存储着学生的照片信息、班级信息、姓名信息、学号信息等，存储着老师的照片信息、姓名信息等，存储着其他职工的照片信息、姓名信息、职业信息等。根据面部识别算法识别拍摄的人员图片的身份信息，识别人员体貌特征信息，例如，识别出人员的发色、发型、服装、配饰等信息。

图像处理模块还可根据提取的人员面部信息进行建模，并对拍摄的人员视频进行标记，完成对人员位置和动作的追踪。

图像处理模块还包括数据分析单元，用于根据人员身份信息对人员数据进行分类，并输出不符合规范的异常数据。

具体地，数据分析单元可对图像处理模块处理的人员数据进行分析归类，修正并输出不符合规范的异常数据。

在一种可能的实现方式中，根据人员身份信息对人员数据进行分类，当人员为校内人员时，将人员数据分为身份信息、考勤信息、日常规范信息以及健康信息四个类别，其中身份信息包括姓名、班级、学号，考勤信息包括课程名称、考勤时间、考勤结果，日常规范信息包括发型、发色、服装、配饰是否符合规范、健康信息包括身高、体温是否异常。

当人员为校外人员时，将人员数据分为人证核验信息以及到访信息两个类别，其中，人证核验信息包括身份证与人脸核验信息，到访信息包括到访目的、到访对象、停留时间。

当人员涉及异常安全事件时，包括录像视频信息以及相关人员身份信息。例如，若两个同学发生争执，可录制争执过程视频，并识别相关人员的姓名、班级、学号等信息。为事件解决提供依据。

在一种可能的实现方式中，在进行数据分析时，发现有不符合规范的异常数据，可先修正异常数据，以免因为操作失误造成数据不精确。

修正不符合规范的异常数据，包括对异常的人员体温进行修正，当检测到人员体温异常时，对人员图像中的面部光线和环境光线进行对比分析，根据补偿信号重新计算人员体温。

例如，通过红外测温组件反馈的辐射波长进行分析后，发现人员体温异常，可分析通过摄像头捕获的人员图像，对人员面部光线和环境光线进行对比分析，对信号进行补偿纠正，在对体温进行二次计算，看是否依然异常，若二次计算的体温值依然大于人体正常体温，则输出体温异常的信息，通过捕获的人员图像，可将体温信息与人员身份信息绑定，例如，当王小明同学体温异常时，可输出“三年级二班王小明同学体温异常”的信息。

对异常的身高数据进行修正，当检测到人员身高异常时，通过人员图像中静态参照物的高度信息以及人员与静态参照物的位置信息修正人员身高，或通过调取人员历史人体模型，进行人体比例计算，修正人员身高。

例如，当通过ar测量人体身高，由于操作有误等因素出现身高数据异常时，首先根据历史身高生长曲线判断身高误差量，再通过2种方式进行误差纠正，一种是获取采集环境中的静态参照物，调取该参照物的历史高度，对比本次图像中被采集人与参照物的位置结合红外景深摄像头识别的位置信息，从而修正身高；另一种是无参照物情况下，调取该人员以往的人体模型进行人体比例计算，同时与本次采集图像进行映射，从而修正身高。

若修正后人员身高依然异常，则输出身高异常的信息，例如，输出“三年级二班王小明同学”身高异常。

对异常的人员规范信息进行修正，当检测到人员日常规范异常时，通过查询人员的附加标记信息，修正人员的日常规范信息。

为了规范学生管理，学校可能会制定一些要求，例如规定学生不能染发、不能留长发、不能穿短裤、短裙、拖鞋等。数据处理模块可以根据获取到的人员图像，从而分析出人员的日常规范信息，当检测到人员的发型、发色、服装、配饰等不符合规范时，输出异常信息，但是部分学生由于特殊原因在发色、穿戴上可能无法通过校园的标准规范要求，系统此时会将此类信息识别为异常，然后排查该人员的历史信息，从前是否有对此类异常信息的附加标记，如果查询到该学生确有特殊原因，那么系统自动做出修正。若没有查询到该学生有特殊情况，则系统输出人员规范信息异常。例如系统输出“三年级二班王小明同学发色异常，并配有王小明的发型图片”，以供校园管理人员参考。

本公开实施例提供的穿戴式信息采集设备，能够将图像的智能化分析转换为数据信息，快速与人员身份进行精准绑定，避免了传统方式中人工采集可能发生的错误信息，并提供综合纠错机制对异常信息进行自动修正，减少人工异常排查工作，大大提高了数据的准确度以及工作效率。

在一个实施例中，穿戴式采集终端包括ar显示模块，用于将分类后的人员数据转化为图表，并与其对应的人体各部位图像进行绑定显示。

图3是根据一示例性实施例示出的一种ar显示模块的结构示意图，如图3所示，ar显示模块包括ar渲染单元，用于根据ar现实增强渲染技术，将分类后的数字化的人员数据转化为可视化的图表。包括ar追踪绑定单元，用于根据ar三维追踪技术，通过实时检测人体特征点对运动人体进行追踪，并将渲染后的图表与其对应的人体各部位图像进行绑定。包括ar显示单元，用于动态显示渲染后的图表以及与其绑定的真实场景中的人员图像。

在一个示例性场景中，用户可通过穿戴式采集设备看到ar现实场景中的人员，以及与人员各部位对应的数据图像，例如，可以看到正在校园中散步的小明，以及小明周围显示的日常规范信息、身高信息、体温信息、班级信息等。使用户体验到实景实人与图像化后的数据结合的动态效果，大大提高了用户的交互体验度。

在一个实施例中，穿戴式采集终端包括数据传输模块，用于将分类后的人员数据实时发送到信息管理平台。

其中，数据传输模块包括wifi、lora、zigbee、5g/4g/3g中的一种或多种，用于与信息管理平台进行通信，在一种可能的实现方式中，数据传输模块可将采集到的人员图像、事件视频、分类后的人员数据等传输给信息管理平台，也可将信息管理平台中存储的人员信息等数据传输到穿戴式信息采集终端。

进一步地，穿戴式采集终端还包括电源模块，用于给穿戴式采集终端供电。

进一步地，本公开实施例中的穿戴式信息采集终端，包括但不限于智能手环、头盔、眼镜等，本领域技术人员可自行设置。

本公开实施例中的信息采集系统，还包括信息管理平台，其中，信息管理平台可以是对应有显示屏并且支持信息交互的各种电子设备，例如，可以包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

信息管理平台用于对接收到的人员数据进行分类存储，并推送给外部客户端。例如，可将与学生相关的信息推送给学生家长，在一些示例性场景中，将学生图像与学生日常规范异常的信息推送给学生家长，使家长了解学生行为，督促学生遵守学校日常规范，还可将学生健康信息推送给家长，将学生考勤信息推送给家长，以使家长全面了解学生在校情况。

根据本公开实施例提供的基于ar交互的穿戴式信息采集系统，可替代人工采集方式自动对多方面的信息进行采集，并对采集数据进行分析、修正、分类处理，将采集数据与人员身份进行精准绑定，大大提高了信息采集的准确度和效率；而且基于ar交互的穿戴式信息采集设备，可通过语音、手势等控制方式与用户进行人机交互，使用户感受实人实景，更加智能灵活，提高了用户的体验度，该系统仅通过一台设备即可对不同类型的人员采集不同方面的信息，大大降低了设备的购买和维护成本。

为了便于理解本申请实施例提供的穿戴式信息采集系统，下面结合附图4进行说明。

如图4所示，使用者可通过手势、语音、按键等交互方式发送采集指令，穿戴式采集终端中的ar交互模块识别用户的指令信息，并将采集指令发送到图像采集模块，图像采集模块可采集校内人员图像数据、非校内人员图像数据、录制事件视频数据，然后将采集的图像数据发送到数据处理模块，进行ai图像处理和ai数据分析，对人员数据进行分析、纠错、归类处理，并输出不符合规范的异常数据。在进行数据分析时，可通过数据传输模块查询信息管理平台中存储的相关附属信息，并将采集的图像数据和处理后的人员数据发送到信息管理平台。

进一步地，将分析归类后的数字化的人员数据发送到ar渲染合成模块，用于将数字化的人员数据渲染成可视化的图表，并将渲染后的图表与其对应的人体各部位图像进行绑定，然后发送到ar显示模块，用户可通过ar显示模块体验到实景实人与图像化后的数据结合的动态效果。用户在观看数据时，可通过手势、语音等操作信息与ar交互模块进行人机交互，实现确认、放大、暂停等操作，大大提高了用户的体验度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。