一种基于虚拟现实技术的自闭症训练系统、方法及装置与流程

本发明涉及一种自闭症训练系统，具体地，涉及一种基于虚拟现实技术的自闭症训练系统，以及基于该系统的自闭症训练方法和装置。

背景技术：

孤独症谱系障碍，又称为自闭症，是一系列复杂的神经发展障碍性疾病。自闭症患者的典型特征包括了社交沟通障碍、言语交流障碍以及行为兴趣和活动等重复的刻板行为。2017年发布的《中国自闭症教育康复行业发展状况报告ⅱ》中表示，我国以1％保守估计，13亿人口中，至少有超过1000万的自闭症人群、200万的自闭症儿童，并以每年近20万的速度增长。

目前还没有已知的自闭症治疗方法，但现有的研究表明，早期密集的、持续的特殊教育和行为治疗可以有效地提高自闭症患者独立生活、社交沟通和工作等技能。但是目前被广泛认可的自闭症行为干预框架，应用行为分析(aba)，依赖于专业的自闭症医疗机构，同时需要自闭症患者的家庭投入大量的精力和时间。这一方面加重了患者家庭的负担，另一方面也对相应的社会基础设施建设提出了更高的要求。而无法及时接受干预治疗的自闭症患者，随着年龄增长，更加剧了其家庭和社会的负担。因此，现有的行为干预训练目标是在减少对专业治疗机构的依赖的情况下，帮助自闭症患者学习处理简单生活场景的方法，建立部分独立生活的能力。

随着虚拟现实技术的发展，人们可以通过可佩带式头盔等显示设备沉浸在虚拟世界中。虚拟现实技术有三大特点：沉浸性,交互性,想象性。这些特性十分适合于对自闭患者社交沟通不畅、行为刻板等缺陷的干预训练。同时，由于自闭症患者难以集中注意力，并存在刻板行为，在对自闭症儿童的早期干预，通常会涉及大量重复性教学，消耗老师大量的精力，难以提高教学效率。而虚拟化教学，让自闭症儿童在虚拟世界中接受早期的干预治疗，则有效地解决以上的问题。首先，基于虚拟现实的硬件设备已经达到了消费级的水平，可以走进绝大多数工薪家庭中。其次教学系统软件化、虚拟化可以使地文化水平家长乃至特殊教育学校无需专业的自闭症干预知识。最后，虚拟教学十分得使用于大量重复性地教学，极大地释放了专业老师和家长的生产力。

经对现有技术文献检索发现，中国专利申请号cn201620212200.8，实用新型名称：一种儿童自闭症vr康复系统，公开号：cn205451066u，该专利自述为：本实用新型公开了一种儿童自闭症vr康复系统，所述系统包括：图像采集装置、声音采集装置、声音播放装置，vr视频播放装置和中央控制装置；图像采集装置内置微型高清摄像头，用于采集用户的表情图像信息并发送给中央控制装置；声音采集装置内置微型麦克风，用于采集用户的声音信息并发送给中央控制装置；声音播放装置内置喇叭，能够播放音频：vr视频播放装置内置30电子屏，显示视频播放内容；中央控制装置集中处理图像采集、声音采集、声音播放和vr视频播放的信号内容，根据采集的用户的表情信息或语音信息用于控制声音播放装置的控制信息和vr视频播放装置的信息。

但上述实用新型并没有互动系统，使用者，即患者，在观看视频的过程中，该康复系统没有为患者在视频中的某些节点提供选项选择，患者只能反复观看视频以治疗改善自闭症。可以想象的是，该vr康复系统主要以视频的大量播放填鸭式地纠正自闭症患者的非正常行为，患者由于没有参与感，势必会产生厌倦情绪，这势必会影响治疗效果。且其中央控制装置并没有根据采集到的信息判断并自行选择放出播放内容的能力，可以想象的是，该vr康复系统仍需要专业的自闭症康复从业人员大量参与，在从业人员严重紧缺的今天，这是不容易做到的。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种基于虚拟现实技术的自闭症训练系统、方法及装置，增强了自闭症患者的沉浸感，使其可不受外界干扰。

根据本发明的第一方面，提供一种基于虚拟现实技术的自闭症训练系统，包括：

头戴式立体成像子系统，该子系统提供虚拟现实场景，在所述虚拟现实场景中设置供选择的生活常识认知问题，为使用者提供基于所述虚拟现实场景的认知训练；

交互控制子系统，该子系统采集使用者在所述认知训练中的手部运动轨迹信息、选择指令信息及头部动作信息，并将采集的所述手部运动轨迹信息、选择指令信息及头部动作信息传输至中心处理子系统；

中心处理子系统，该子系统根据所述交互控制子系统的信息，判断使用者对不同场景的反应是否具有社会适应性，并根据判断结果调整场景、场景重复次数及按难度等级抽选的生活常识认知问题，将调整结果传输给所述头戴式立体成像子系统。

可选地，所述头戴式立体成像子系统包括：

立体成像显示模块，该模块提供虚拟现实场景，并呈现基于所述虚拟现实场景的生活常识认知问题供使用者选择；

扬声器模块，用于通过语音合成技术发出所述虚拟现实场景需要呈现的声音。

可选地，所述立体成像显示模块，还用于消除显示边框，放大使用者视野。

可选地，所述交互控制子系统包括：

手柄控制选择模块，该模块追踪并记录手柄的位置、移动情况和按钮动作，判断使用者在不同的场景中做出的手部运动轨迹和选择指令；

头部动作感应模块，该模块通过六轴传感器和光学定位系统获取所述头戴式立体成像子系统的空间位置、角度信息、速度、加速度信息；

信息传输模块，该模块将所述手柄控制选择模块、所述头部动作感应模块得到的信息传输给所述中心处理子系统。

可选地，所述中心处理子系统包括：

评价模块，该模块收集所述手柄控制选择模块得到的每个训练周期选择指令，评价该周期内的选择是否符合社会认知下应对相应的生活场景做出的反应和选择，得到评价结果；

自适应难度选择模块，该模块将所述手柄控制选择模块、所述头部动作感应模块获取的手部运动轨迹、头戴式立体成像子系统的空间位置、角度信息、速度、加速度信息作为特征输入，利用神经网络的嵌入层(embedding层)将输入序列编码为一个稠密向量的序列，再通过长短期记忆人工神经网络转化成单个向量，它包含了使用者的选择模式特征，进一步将这些提取到的特征送入堆叠的全连接层和softmax分类器，对使用者的自闭症程度做辅助诊断，为使用者的当前知识水平和能力判断训练等级，并自适应调整所述认知训练在下一个训练周期的难度。

可选地，所述中心处理子系统还包括：

自适应场景重复模块，该模块根据所述评价模块得到的一个周期的多个场景累计评价结果，调整同类场景的重复数量，以针对使用者的知识弱区进行多次训练进而达到改善强化的目的。

可选地，所述中心处理子系统还包括：

场景选择模块，该模块根据所述自适应难度选择模块和所述自适应场景重复模块得到的结果进行场景选择，并按照所述认知训练的难度调整生活常识认知问题，连同所述自适应场景重复模块判断出的同类场景重复数量信息一同传输至所述头戴式立体成像子系统呈现给使用者。

可选地，所述评价模块以绝对正误的方式进行评价判断。

根据本发明的第二方面，提供一种基于虚拟现实技术的自闭症训练方法，采用上述任一项所述的基于虚拟现实技术的自闭症训练系统，包括：

为使用者提供基于所述虚拟现实场景的认知训练，其中采用头戴式立体成像子系统提供虚拟现实场景，在所述虚拟现实场景中设置供选择的生活常识认知问题；

采集使用者在所述认知训练中的手部运动轨迹信息、选择指令信息及头部动作信息；

根据采集的所述手部运动轨迹信息、选择指令信息及头部动作信息所，判断使用者对不同场景的反应是否具有社会适应性，并根据判断结果调整场景、场景重复次数及按难度等级抽选的生活常识认知问题，将调整结果传输给所述头戴式立体成像子系统。

根据本发明的第三方面，提供一种基于虚拟现实技术的自闭症训练装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的基于虚拟现实技术的自闭症训练方法。

与现有技术相比，本发明具有如下的有益效果：

1)本发明上述的系统、方法和装置，采用自适应的场景选择机制无需看护人员具备专业的自闭症辅助治疗的专业知识，解决了目前专业自闭症辅助训练相关从业人员的缺口。

2)本发明上述的系统、方法和装置，通过简单的非社交生活场景训练，能够帮助患者提高独立生活的能力，在自闭症患者的人身安全和生活品质方面了提供了更具主观能动性的保障。

3)本发明上述的系统、方法和装置，采用虚拟现实技术，无边框显示虚拟场景，增强了自闭症患者的沉浸感，使其可不受外界干扰，全身心地投入到训练当中，加快治愈速度。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中的基于虚拟现实技术的自闭症训练系统的框图；

图2为本发明一实施例中的基于虚拟现实技术的自闭症训练方法流程图；

图中：1为头戴式立体成像子系统，11为立体成像显示模块，12为扬声器模块，2为交互控制子系统，21为手柄控制选择模块，22为头部动作感应模块，23为信息传输模块，3为中心处理子系统，31为评价模块，32为自适应难度选择模块，33为自适应场景选择模块，34场景选择模块。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，以下实施例中没有详细说明的部分均可以采用现有技术实现。

现有技术中虽然也有用于自闭症训练的系统，但是如背景技术中所述的系统，使用者在观看视频的过程中，无法进行互动，只能简单反复观看视频以治疗改善自闭症。可以想象的是，这种以视频的大量播放填鸭式地纠正自闭症患者的非正常行为，由于没有参与感，可能会产生厌倦情绪，这势必会影响治疗效果。同时，现有技术一般没有根据采集到的信息判断并自行选择放出播放内容的能力，仍需要专业的自闭症康复从业人员大量参与，在从业人员严重紧缺的今天，这是不容易做到的。本发明为很好解决上述的问题提出了具体方案。

参照图1所示，本发明一实施例中的基于虚拟现实技术的自闭症训练系统的框图，其中包括：头戴式立体成像子系统1、交互控制子系统2和中心处理子系统3，头戴式立体成像子系统1，用于对患者配以声音虚拟现实场景，并提供相应的生活常识认知问题供患者选择，从而为患者提供基于场景的认知训练；交互控制子系统2，用于采集患者的手部运动轨迹信息、选择指令信息及头部动作信息，并将采集患者的手部运动轨迹信息、选择指令信息及头部动作信息，传输至中心处理子系统3；中心处理子系统3，用于判断患者对不同场景的反应是否具有社会适应性，并根据判断结果调整场景、场景重复次数及按难度等级抽选的生活常识认知问题，将调整结果传输给头戴式立体成像子系统1。

具体的，在本实施例中，头戴式立体成像子系统1呈现的基于虚拟现实的生活常识认知问题会以选项的形式供患者选择，头戴式立体成像子系统1提供的基于简单非社交生活场景的认知训练包括但不限于：为患者提供基于该场景的生活常识认知问题、下一步的动作提示、被社会广泛认同的正确或错误的处理方案作为选项等。患者可以通过交互控制子系统2选择头戴式立体成像子系统1列出的选项或进入下一个场景的触发点，中心处理子系统3会收集患者的手部运动轨迹信息、选择指令信息及头部动作信息，并根据上述信息判断患者对不同场景的反应是否具有社会适应性，而后根据判断结果调整场景、场景重复次数及按难度等级抽选的生活常识认知问题，将调整结果传输至头戴式立体成像子系统1，头戴式立体成像子系统1加以呈现新场景和新的生活常识认知问题给患者。采用自适应的场景选择机制无需看护人员具备专业的自闭症辅助治疗的专业知识，解决了目前专业自闭症辅助训练相关从业人员的缺口。

较佳的，在上述实施例的基础上，参照图1所示，头戴式立体成像子系统1包括：立体成像显示模块11，用于虚拟现实场景，并呈现基于场景的生活常识选项供其选择，从而为患者提供基于该场景的认知训练；扬声器模块12，用于通过语音合成技术发出场景需要呈现的声音。

具体的，在本实施例中，立体成像显示模块11可以通过有线和无线的方式与中心处理子系统3相连，中心处理子系统3可以向立体成像显示模块11发送指令，令其显示虚拟现实场景或播放视频；扬声器模块12，内置于头戴显示器中，能够通过语音合成技术发出生活场景需要呈现的声音提示信息。声音信息包括但不限于：场景所需的背景声，对为患者提供的选项进行说明的提示音，超出设定时限仍未收到患者答复时的提示音，以及由中心处理子系统3提供的对使用者做出的选择的反馈声音。

较佳的，在上述任一实施例的基础上，立体成像显示模块11，还用于消除显示边框，放大患者视野。采用虚拟现实技术，无边框显示虚拟场景，增强了自闭症患者的沉浸感，使其可不受外界干扰，全身心地投入到训练当中，加快治愈速度。

具体的，在本实施例中，立体成像显示模块11可以利用薄的圆形棱镜阵列片，来实现与大块曲面透镜相同的效果，放大立体成像显示模块11中的显示屏，使显示屏呈现的视觉刺激材料占据整个视野。薄的圆形棱镜阵列片放置在显示屏与人眼之间，显示屏发出的光照射到薄的圆形棱镜阵列片上后，散射至人眼上，由此达到消除人眼视野中显示屏边框的问题，使患者更能够沉浸在虚拟现实的场景中，增强治疗效果。进一步的，薄的圆形棱镜阵列片应对应人眼，左右各放置一片在头戴设备中。

较佳的，在上述任一实施例的基础上，参照图1所示，交互控制子系统2包括：手柄控制选择模块21，用于追踪并记录手柄的位置、移动情况和按钮动作，判断患者在不同的场景中做出的手部运动轨迹和选择指令；头部动作感应模块22，用于通过六轴传感器和光学定位系统获取头戴式立体成像子系统1的空间位置、角度信息、速度、加速度信息；信息传输模块23，用于收集并向中心处理子系统3传输手部运动轨迹信息、选择指令信息及头部动作信息。

具体的，手柄控制选择磨块21可以参考现有的体感手柄，体感手柄可以单手握持，也可两手各握持有一个，在本实施例中，患者手部的运动轨迹信息可以通过手柄控制选择模块21传输至中心处理子系统3，经中心处理子系统3处理后再传输至立体成像显示模块11中，以光标的形式呈现给患者，方便患者点选虚拟场景中的选项或触发点，光标的运动轨迹与患者手部的运动轨迹实时同步。头部动作感应模块22，用于通过六轴传感器和光学定位系统获取头戴式显示器的空间位置、角度信息、速度、加速度信息，并通过信息传输模块23传输至中心处理子系统3中，可以得到患者在某个选项上的停留时长，进一步得到选择过程中的信息。信息传输模块23与中心处理子系统3的信息传输可以通过有线传输设备传输，也可以通过无线传输设备传输。有线传输设备包括传输线，接口等；无线传输设备包括无线发射器，连接线，接口等。通过获取上述的各种信息，使得后续处理中，整个系统能够判断并自行选择放出播放内容的能力，可以自动实现相关的训练，对专业的自闭症康复从业人员的依赖大大降低。

较佳的，在上述任一实施例的基础上，参照图1所示，中心处理子系统3包括：评价模块31，该模块收集所述手柄控制选择模块得到的每个训练周期选择指令，评价该周期内的选择是否符合社会认知下应对相应的生活场景做出的反应和选择，得到评价结果；

具体的，评价模块31可以使用一套标准研究量表，标准研究量表可以对自闭症在多个生活场景的认知选择进行了评价，例如对季节的认知、对交通安全的认知等，具体内容可以根据实际的情况进行选择。评价模块31所评价的内容包括但不限于：患者是否做出正确范围内的动作，是否选择正确的选项，患者累计正确的题目数量，患者累计错误的题目数量，患者对不同类型题目的认知程度等等。

自适应难度选择模块32，该模块将所述手柄控制选择模块、所述头部动作感应模块获取的手部运动轨迹、头戴式立体成像子系统的空间位置、角度信息、速度、加速度信息作为特征输入，利用神经网络的嵌入层将输入序列编码为一个稠密向量的序列，再通过长短期记忆人工神经网络转化成单个向量，它包含了使用者的选择模式特征，进一步将这些提取到的特征送入堆叠的全连接层和softmax分类器，对使用者的自闭症程度做辅助诊断，为使用者的当前知识水平和能力判断训练等级，并自适应调整所述认知训练在下一个训练周期的难度。

自适应场景重复模块33，用于根据评价模块31得到的累计评价结果，调整包含同类知识点的场景的重复数量。

场景选择模块34，根据所述自适应难度选择模块32和所述自适应场景重复模块33得到的结果选择场景，连同自适应场景重复模块32判断出的同类场景重复数量信息一同传输至头戴式立体成像子系统1呈现给患者。

上述实施例的自适应难度选择模块32中，选择模式特征是对表型信息的提取和整合，其中手部运动轨迹、头戴式立体成像子系统的空间位置、角度信息、速度、加速度信息是表型信息的一些具体细节体现。表型信息是生物体部分或全部性状的表现，在这里指用户的一些行为模式。

上述实施例的自适应场景重复模块33的重复机制包括但不限于：重复患者经常误判的同一场景；重复患者经常误判的同类场景，根据使用时间，类比遗忘规律曲线，重复一定时期内患者经常误判的场景。

上述实施例的场景选择模块34向头戴式立体成像子系统1提供的场景类型及生活常识认知问题包括安全教育类和生活习惯类，安全教育类问题包括但不限于：交通规则认知，安全用电、用气、用火认知，食品卫生认知，应急电话认知等问题。生活习惯类问题包括但不限于：卫生习惯认知，良好的进餐习惯认知，良好的生活作息认知等问题。

较佳的，在上述任一实施例的基础上，为了能更好的推广和普及本系统，避免不同教育者自身水平的限制，评价模块31以绝对正误的方式进行评价判断。

具体的，在本实施例中，为了更明确的帮助自闭症患者建立对简单非社交生活场景的认知，可以采用被社会广泛认同的问题和答案。

基于上述的实施例中的系统，在本发明另一实施例中，提供一种基于虚拟现实技术的自闭症训练方法，采用上述任一项所述的基于虚拟现实技术的自闭症训练系统。具体的，参照图1所示，所述的基于虚拟现实技术的自闭症训练方法包括：s1,为使用者提供基于所述虚拟现实场景的认知训练，其中采用头戴式立体成像子系统提供虚拟现实场景，在所述虚拟现实场景中设置供选择的生活常识认知问题；s2,采集使用者在所述认知训练中的手部运动轨迹信息、选择指令信息及头部动作信息；s3,根据采集的所述手部运动轨迹信息、选择指令信息及头部动作信息所，判断使用者对不同场景的反应是否具有社会适应性，并根据判断结果调整场景、场景重复次数及按难度等级抽选的生活常识认知问题，将调整结果传输给所述头戴式立体成像子系统。本实施例通过使用者在培训过程中的互动参与，带来更好的沉浸感。同时，根据采集到的信息判断并自行选择放出播放内容的能力，无需专业的自闭症康复从业人员大量参与。

需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的子系统或模块等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程。本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供方法以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

基于上述的实施例中的方法，在本发明另一实施例中，提供一种基于虚拟现实技术的自闭症训练装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的基于虚拟现实技术的自闭症训练方法。

上述实施例中，存储器用于存储程序；存储器可以采用现有技术中任一存储技术实现，包括但不限于：易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-accessmemory，缩写：ram)，如静态随机存取存储器(英文：staticrandom-accessmemory，缩写：sram)，双倍数据率同步动态随机存取存储器(英文：doubledataratesynchronousdynamicrandomaccessmemory，缩写：ddrsdram)等；存储器也可以包括非易失性存储器(英文：non-volatilememory)，例如快闪存储器(英文：flashmemory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。处理器用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。