一种自闭症谱系障碍风险检测系统、检测终端及云服务器的制作方法

文档序号:29124991发布日期:2022-03-04 23:40阅读:142来源:国知局
一种自闭症谱系障碍风险检测系统、检测终端及云服务器的制作方法

1.本技术涉及自闭症辅助诊断医疗领域,尤其涉及一种自闭症谱系障碍风险检测系统、检测终端及云服务器。


背景技术:

2.自闭症是以社会性障碍作为主要症状的发育障碍之一。由于尚未发现对自闭症有确定疗效的药物疗法。因此,用以改善自闭症的方式主要是早期诊断以及教育干预。
3.现有的自闭症检测方法主要包括以下几类:
4.利用脑机接口技术,通过脑电数据采集与分析,识别特定的脑电活动模式,由此推断自闭症谱系障碍的患病风险,如中国发明专利《基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统》,公开号cn113082448a。
5.利用眼动技术,通过眼动仪采集被试在特定图像刺激或者视觉任务刺激中的眼动轨迹模式,由此推断自闭症谱系障碍的患病风险,如中国发明专利《基于眼动数据的观察阅读能力检测方法和系统》,公开号cn112137576a。
6.利用手机使用行为,如电话和app使用、环境声音、移动等特征,进行多模态数据融合并据此推断被试的自闭症谱系障碍患病风险,如中国发明专利《用于评估自闭症谱系障碍的方法、设备和系统》,公开号cn113194816a。
7.利用其他视觉行为数据或者人工在线填写问卷量表的方式进行自闭症谱系障碍的风险推断的方法与装置,如中国实用新型专利《一种儿童自闭症检测仪》,公开号cn213821432u。
8.由于自闭症谱系障碍并非一类疾病,而是一组精神障碍的指称,而其中的子类型障碍彼此之间差异极大,子类型障碍间差异极大意味着各自的症状表现、致病成因、干预方法不可能按照同一种技术路径统一处理,而是应当根据每一种子类型的特点分别进行处理。
9.但现有的自闭症检测方法未能实现对自闭症谱系障碍进行分型检测,不能满足自闭症检测的临床需求。


技术实现要素:

10.本技术实施例提供了一种自闭症谱系障碍风险检测系统、检测终端及服务器,用以解决现有的自闭症检测方法未能实现对自闭症谱系障碍进行分型检测,不能满足自闭症检测的临床需求的技术问题。
11.第一方面,本技术实施例提供了一种自闭症谱系障碍风险检测系统,包括:至少一个风险判断模块以及多个风险检测模块;多个风险检测模块包括:注意功能障碍风险检测模块m1,用于采集所述被试人员观看第一测试影像时的第一反应影像,并根据第一反应影像确定所述被试人员的第一注视点集合;以及用于根据第一注视点集合与第一测试影像的重合度,确定被试人员的注意功能障碍风险检测结果;意向类主体检测功能障碍风险检测
模块m2,用于采集被试人员观看第二测试影像时的第二反应影像,并根据第二反应影像确定被试人员的第二注视点集合;以及用于根据第二注视点集合与第二测试影像中的图像运动轨迹的重合度,确定被试人员的意向类主体检测功能障碍风险检测结果;基本情绪识别功能障碍风险检测模块m6,用于采集被试人员观看第三测试影像时的第三反应影像,并根据第三反应影像确定被试人员观看第三测试影像时的面部数据特征和肢体数据特征;以及用于根据面部数据特征和肢体数据特征,基于图像预处理程序与卷积神经网络模型,确定被试人员的基本情绪识别功能障碍风险检测结果;所述风险判断模块,用于根据多个风险检测模块的风险检测结果,确定被试人员是否患有自闭症谱系障碍以及具体障碍类型。
12.在本技术实施例中,通过设定多个不同的风险检测模块,使用不同的测试内容对被试人员进行测试,从而得到更全面的测试结果。系统采用的风险检测模块至少包括注意功能障碍风险检测模块、意向类主体检测功能障碍风险检测模块、基本情绪识别功能障碍风险检测模块,综合考虑不同模块的检测结果,可以实现对自闭症谱系障碍的分型检测。并且以上模块不需要复杂的认知能力,只要具备正常的视觉能力和肢体能力,即可进行检测,因而可以适用于包括婴幼儿在内的所有年龄段人员测试。
13.在本技术的一个实施例中,第一测试影像包括光点闪烁影像;所述第一反应影像包括所述被试人员的头部影像,所述根据所述第一反应影像确定所述被试人员的第一注视点集合,具体包括:确定所述被试人员的头部影像的多个特征点,并根据所述多个特征点的位置特征,确定所述被试人员的所述第一注视点集合;所述多个特征点包括:头部顶点、左侧额角顶点、右侧额角顶点、下巴顶点、内侧左眼角、内侧右眼角、外侧左眼角、外侧右眼角、左侧瞳孔点、右侧瞳孔点。
14.在本技术实施例中,通过采集被试人员头部的多个特征点的位置特征,从而确认被试人员的头部位姿以及双眼与头部各特征点的位置关系,从而确定被试人员的注视线,进而根据注视线确定注视点。根据被试人员的注视点与第一反应影像中的光点闪烁位置的重合度,从而实现检测被试人员注意功能是否正常。
15.在本技术的一个实施例中,第二测试影像为四组测试图案向所述被试人员方向的运动过程;四组测试图案分别为三角形、自动驾驶的载具、动物、人。
16.在本技术的一个实施例中,系统还包括意向类主体意向推理功能障碍风险检测模块m3,用于要求被试人员在观看所述第二测试影像时,判断四组测试图案是否想要主动靠近被试人员,并根据被试人员的回答结果,确定被试人员的意向类主体意向推理功能障碍风险检测结果。
17.在本技术的实施例中,第二测试影像选取了三角形、自动驾驶的载具、动物、人四种不同的图案,并展示其指向被试人员方向的运动过程。被试人员在意向类主体意向推理功能健全的情况下,可以辨别影像图案是否存在主动靠近的意志,从而判断出三角形、自动驾驶的载具不具有主动靠近的意志,而动物、人具有主动靠近的意志。因此根据被试人员的选择正确与否,可以判断被试人员的意向类主体意向推理功能是否存在障碍。
18.在本技术的一个实施例中,系统还包括共同注意建立功能障碍风险检测模块m4、共同注意语义推理功能障碍风险检测模块m5;共同注意建立功能障碍风险检测模块m4,用于显示第四测试影像,第四测试影像包括人物形象,人物形象依次朝向多个方位点;以及用于采集被试人员观看第四测试影像时的第四反应影像;以及用于根据第四反应影像确定被
试人员的第四注视点集合;以及用于根据被试人员的注视点与多个方位点的重合度,确定被试人员的共同注意建立功能障碍风险检测结果;共同注意语义推理功能障碍风险检测模块m5,用于在第四测试影像中人物形象依次朝向的多个方位点,分别显示不同的物体辨别测试图样与物体名称;以及用于要求被试人员判断物体辨别测试图样与物体名称是否对应;以及用于根据被试人员判断的正确率,确定被试人员的共同注意语义推理功能障碍风险检测结果。
19.在本技术的一个实施例中,系统还包括:复杂情绪识别功能障碍风险检测模块m7,用于采集被试人员观看第五测试影像时的第五反应影像,并根据第五反应影像确定被试人员观看第五测试影像时的面部数据特征和肢体数据特征,以及用于根据面部数据特征和肢体数据特征,基于图像预处理程序与卷积神经网络模型,确定被试人员的复杂情绪识别功能障碍风险检测结果。
20.在本技术的一个实施例中,系统根据被试人员的年龄选择启动的模块;当被试人员年龄为0-3岁时,启动注意功能障碍风险检测模块m1、意向类主体检测功能障碍风险检测模块m2、基本情绪识别功能障碍风险检测模块m6;其中,注意功能障碍风险检测模块m1、意向类主体检测功能障碍风险检测模块m2依次启动;当被试人员年龄大于3岁时,启动注意功能障碍风险检测模块m1、意向类主体检测功能障碍风险检测模块m2、意向类主体意向推理功能障碍风险检测模块m3、共同注意建立功能障碍风险检测模块m4、共同注意语义推理功能障碍风险检测模块m5、基本情绪识别功能障碍风险检测模块m6、复杂情绪识别功能障碍风险检测模块m7;其中,注意功能障碍风险检测模块m1、意向类主体检测功能障碍风险检测模块m2、意向类主体意向推理功能障碍风险检测模块m3、共同注意建立功能障碍风险检测模块m4、共同注意语义推理功能障碍风险检测模块m5,依次启动基本情绪识别功能障碍风险检测模块m6、复杂情绪识别功能障碍风险检测模块m7依次启动。
21.在本技术的实施例中,意向类主体意向推理功能障碍风险检测模块m3、共同注意建立功能障碍风险检测模块m4、共同注意语义推理功能障碍风险检测模块m5、复杂情绪识别功能障碍风险检测模块m7对于被试人员的认知水平、智力水平有一定的要求,不适用于0-3岁婴幼儿的检测。因此,在0-3岁婴幼儿检测时仅启动注意功能障碍风险检测模块m1、意向类主体检测功能障碍风险检测模块m2、基本情绪识别功能障碍风险检测模块m6。
22.在本技术的一个实施例中系统根据所述被试人员的性别不同,选择不同的测试影像数据库;测试影像数据库,包括第四测试影像和第五测试影像;系统根据所述被试人员的性别不同,设定不同的风险判断阈值。
23.在本技术实施例中,对于不同性别的被试人员使用不同的测试影响数据库,由于同性的表演视频更容易使被试人员产生共情,因此有更佳的测试效果。考虑到男性和女性的自闭症患病比例不同,因此对于男女测试结果设定不同的阈值,以提高测试准确性。
24.第二方面,本技术实施例提供了一种自闭症谱系障碍风险检测终端,终端包括显示器、交互单元、摄像头、处理器、发送器;显示器,用于显示测试影像,测试影像包括第一测试影像、第二测试影像、第三测试影像、第四测试影像、第五测试影像中的任意一项或多项;以及用于显示测试问题;所述交互单元,用于被试人员选择所述测试问题的答案;所述摄像头,用于获取被试人员观看所述测试影像时的反应影像,反应影像包括的第一反应影像、第二反应影像、第三反应影像、第四反应影像、第五反应影像中的任意一项或多项;所述处理
器,用于执行边缘计算,所述边缘计算包括:根据第一反应影像确定所述被试人员的第一注视点集合;计算所述第一注视点集合与第一测试影像的重合度;根据第二反应影像确定被试人员的第二注视点集合;计算所述第二注视点集合与所述第二测试影像中的图像运动轨迹的重合度;根据第三反应影像确定被试人员观看第三测试影像时的面部数据特征和肢体数据特征;发送器,用于将边缘计算结果发送至云服务器,边缘计算结果用于确定被试人员是否患有自闭症谱系障碍以及具体障碍类型。
25.在本技术实施例中,由于将边缘计算内容放在终端进行,从而终端只需要向服务器输出特征提取后的数据,而无需上传被试人员的反应视频,从而大大减少了终端向服务器发送的数据量,提高了整体传输速度,缩短了等待检测结果的时间。
26.第三方面,本技术实施例提供了一种自闭症谱系障碍风险检测云服务器,其特征在于,云服务器包括接收器、处理器;接收器,用于接收终端发送的边缘计算结果;边缘计算结果包括:第一注视点集合与第一测试影像的重合度、第二注视点集合与第二测试影像中的图像运动轨迹的重合度、被试人员观看第三测试影像时的面部数据特征和肢体数据特征;所述处理器,用于执行以下指令:根据第一注视点集合与第一测试影像的重合度,确定被试人员的注意功能障碍风险检测结果;根据第二注视点集合与第二测试影像中的图像运动轨迹的重合度,确定被试人员的意向类主体检测功能障碍风险检测结果;根据被试人员观看第三测试影像时的面部数据特征和肢体数据特征,基于图像预处理程序与卷积神经网络模型,确定被试人员的基本情绪识别功能障碍风险检测结果;根据注意功能障碍风险检测结果、意向类主体检测功能障碍风险检测结果、基本情绪识别功能障碍风险检测结果,确定被试人员是否患有自闭症谱系障碍以及具体障碍类型。
附图说明
27.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
28.图1为本技术实施例提供的一种自闭症谱系障碍风险检测系统模块结构图;
29.图2为本技术实施例提供的一种自闭症谱系障碍风险检测系统框图。
具体实施方式
30.为使本技术的目的、技术方案和优点更加清楚,下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
31.自闭症谱系障碍是一种较为常见的发育障碍,然而自闭症谱系障碍并非一类疾病,而是一组精神障碍的指称。其中的子类型障碍彼此之间差异极大,这意味着各种子类型障碍的症状表现、致病成因、干预方法不可能按照同一种技术路径统一处理,而是应当根据每一种子类型的特点分别进行处理。
32.结合当前我国的自闭症谱系障碍风险筛查与诊断实践来看,我国自闭症谱系障碍的风险筛查与诊断主要采用的是pep-3(psychoeducational profile third edition,自闭症儿童心理教育量表第三版)等问卷量表工具,通常需要监护人对儿童进行观察进行数
据采集与风险评估。同时,pep3等问卷量表工具是精算类评估工具,在条目设置上本身缺乏对自闭症谱系障碍的因果关系,即致病成因的分层推断。并且,问卷量表式风险筛查工具存在人为观察数据不准确、对年龄较小的婴幼儿难以直接观察、缺乏分层次的因果推断等局限性。
33.而现有的利用计算机技术进行的自闭症检测方案中,存在未就自闭症具体子类型进行分型诊断的局限性。因此,研究一种利用计算机系统,可以直接对被试儿童进行自闭症分型诊断的自闭症谱系障碍风险检测系统,对于儿童自闭症谱系障碍的及早发现、及早干预治疗,具有重要意义。
34.为解决上述技术问题,在心智理论的指导下,结合对一些临床样本的经验观察,利用计算机人工智能技术与因果关系分析技术,形成本发明。本发明通过播放不同的测试影像,直接记录被试人员观看时的反应影像,以及要求被试人员进行判断选择,来得到自闭症谱系障碍风险检测结果。
35.本发明在检测时,并未将自闭症谱系障碍视为一个单独的障碍类型,而是进一步对谱系中的asperger综合症、william综合症、低功能自闭症、高功能自闭症做了区分,根据四个子类各自的判别要点与致病成因,分别设置风险筛查步骤进行风险评估与辅助诊断。
36.图1为本技术实施例提供的一种自闭症谱系障碍风险检测系统模块结构图。
37.本领域技术人员可以理解的是,图1示出的系统模块并不构成对检测系统的限定,实际上,检测系统可以包括比图示更多或更少的模块,或者采用不同的功能单元组合,来实现上述模块的相同或类似功能。
38.在本技术的一个实施例中,如图1所示,检测系统包括注意功能障碍风险检测模块m1、意向类主体检测功能障碍风险检测模块m2、意向类主体意向推理功能障碍风险检测模块m3、共同注意建立功能障碍风险检测模块m4、共同注意语义推理功能障碍风险检测模块m5、基本情绪识别功能障碍风险检测模块m6、复杂情绪识别功能障碍风险检测模块m7。以下对各模块的功能实现进行具体说明。
39.m1模块的实现步骤为:
40.s110:显示第一测试影像。
41.在本技术的一个实施例中,经过对15例已经确诊自闭症谱系障碍的患儿与普通患儿的预实验测试,根据预实验测试结果与观察结果,选用的第一测试影像为:在以显示屏的中心为原点,直径为20cm的圆形区域之外,分别展示亮度为14lm的红色光点与黄色光点。围绕圆形区域进行一周的光点闪烁,按照每5秒一次的频率,总计闪烁10次,闪烁光点坐标集合定义为star{p1,......,p10}。
42.s120:通过摄像机采集被试人员观看第一测试影像时的第一反应影像。其中,第一反应影像主要记录被试人员的头部信息,以便分析被试人员的注视线与注视点。
43.s130:对第一反应影像进行数据处理,确定被试人员的第一注视点集合。
44.在本技术的一个实施例中,数据处理过程如下:首先从第一反应影像中截取多个关键帧图像,其中,关键帧图像与第一测试影像中的每一次光点闪烁时间对应。
45.然后针对每一关键帧图像,提取以下特征点位并分别进行定位:头部顶点p1、左侧额角顶点p2、右侧额角顶点p3、下巴顶点p4、内侧左眼角p5、内侧右眼角p6、外侧左眼角p7、外侧右眼角p8、左侧瞳孔点p9、右侧瞳孔点p10。上述点位均为二维坐标系下确定的点位,记
为p(x-in,y-in),其中x为图像横坐标,y为图像纵坐标。
46.将上述点位整理为一个输入数据集{p1,p2,p3,p4,p5,p6,p7,p8,p9,p10},经过svm模型计算,得到输出数据集(x-out,y-out),输出数据集(x-out,y-out)即为第一注视点集合。经过在自然场景中采集200张预先标注好的数据作为训练与测试数据,其中170张为训练数据,30张为测试数据,实测上述模型准确率为70.2%。
47.s140:根据第一注视点集合与第一测试影像中闪烁光点坐标集合star{p1,......,p10}的重合度,确定被试人员的注意功能障碍风险检测结果。
48.在本技术的一个实施例中,注意功能障碍风险检测结果有以下几种:
49.若第一注视点集合位于显示屏之外,注意功能障碍风险检测结果为“疑似注意障碍或重新进行测试”,该结果定义为c1+;否则,检测结果为c1-。
50.将第一注视点集合与star{p1,......,p10}的重合度计算结果定义为degreeaf,将degreeaf与自适应阈值t(af)进行比较,若degreeaf低于自适应阈值t(af),则注意功能障碍风险检测结果为有风险,该结果定义为c2+;否则,该项检测结果为无风险,定义为c2-。
51.在本技术的一个实施例中,为避免被试人员因注意力被其他事物分散等偶然因素干扰,未能正常完成测试,若检测结果为c1+,则需要重新进行测试。重新测试可以进行多次,直至测试结果为c1-后继续正常测试流程。若多次测试后测试结果始终为c1+,则可以停止测试或者跳过该步骤进行后续测试,并结合后续测试结果以及临床情况对被试人员进行进一步诊断或补充测试。
52.在本技术的一个实施例中,m1模块还用于检测被试人员是否存在共病障碍。当检测结果为c1+时,判定被试人员可能存在视觉障碍风险;当检测结果为c1+或c2+时,判定被试人员可能存在阅读障碍风险。
53.在临床检测中,自闭症谱系障碍的共病检测对于自闭症分型诊断的准确性,以及后续治疗手段的选择具有较大影像。例如,当被试人员具有视觉障碍时,其各项测试结果可能受到其视觉障碍的影响而丧失准确性,进而可能需要通过其他辅助手段进行诊断。因此,本技术实施例对被试人员的共病情况进行检测,对于自闭症谱系障碍的诊断、治疗的准确性,具有很高的临床应用价值。
54.m2模块的实现步骤为:
55.s210:显示第二测试影像。
56.在本技术的一个实施例中,经过对15例已经确诊自闭症谱系障碍的患儿与普通患儿的预实验测试,预实验所使用的素材为225张各类动物、物体、图形等,预实验的目的主要在于选择最能够唤起儿童注意力的刺激素材,设置筛选条件为反应时小于2秒,根据预实验测试结果与观察结果优选出验证效果最好的第二测试影像内容为:分别在显示屏中心展示以下四组测试图案的指向观看者端的运动过程:一个颜色为红色的三角形和/或绿色三角形和/或黄色三角形、一辆自动驾驶的无人汽车和/或一辆自动驾驶的卡车和/或一辆自动滑行的小船、一条狗和/或一只猫和/或一只老鼠、一个人。
57.s220:通过摄像机采集被试人员观看第二测试影像时的第二反应影像。其中,第二反应影像主要记录被试人员的头部信息,以便分析被试人员的注视线与注视点。
58.s230:对第二反应影像进行数据处理,确定被试人员的第二注视点集合。
59.确定第二注视点集合的方式同s130,在此不再赘述。
60.s240:根据第二注视点集合与第二测试影像中的四组测试图案的运动轨迹重合度,确定被试人员的注意功能障碍风险检测结果。
61.在本技术的一个实施例中,将第二注视点集合与四组测试图案的运动轨迹重合度计算结果定义为degreeit,将degreeit与自适应阈值t(it)进行比较,若degreeit低于自适应阈值t(it),则意向类主体检测功能障碍风险检测结果为有风险,该结果定义为c3+;否则,该项检测结果为无风险,定义为c3-。
62.m3模块的实现步骤为:
63.s310:要求被试人员判断第二测试影像中显示的运动图案是否为“他想要主动靠近我”。
64.在本技术的一个实施例中,要求被试人员依次针对四组测试图案就上述问题作出选择,选项包括“是”、“否”和“不确定”。每一次均在该组测试图案运动影像播放完成后要求被试人员作出选择,选择后再播放下一组图案的运动影像。
65.在本技术的另一个实施例中,在依次播放完四组测试图案后,再一次性要求被试人员就四组测试图案的运动影像就上述问题作出选择。
66.s320:根据被试人员的选择正确与否,确定被试人员的得分情况。
67.在本技术的一个实施例中,第一组测试图案为一个颜色为红色的三角形和/或绿色三角形和/或黄色三角形,第二组测试图案为一辆自动驾驶的无人汽车和/或一辆自动驾驶的卡车和/或一辆自动滑行的小船,第三组测试图案为一条狗和/或一只猫和/或一只老鼠、第四组测试图案一个人。第一组和第二组选择“是”或“不知道”则为“回答错误”,第三组和第四组选择“否”或“不知道”则为回答错误。回答正确的问题计1份,回答错误的问题计0份。将上述四组问题的得分情况定义为c4-1,c4-1的满分为4分,最低分为0分。
68.m4模块的实现步骤为:
69.s410:显示第四测试影像。其中,第四测试影像中包括人物形象,并且人物形象的头部和眼部会进行移动和/或摆动,依次朝向多个方位点。
70.在本技术的一个实施例中,人物形象依次朝向三个方位点,三个方位点分别定义为loca1、loca2、loca3。
71.在本技术的一个实施例中,第四测试影像中,在人物形象依次朝向loca1、loca2、loca3三个方位点时,分别在人物形象朝向的方位点上展示不同的物体,以便进行m5模块的检测步骤。例如,展示物体为:loca1为一只猫,loca2为一本书,loca3为一块石头。
72.s420:通过摄像机采集被试人员观看第四测试影像时的第四反应影像。其中,第四反应影像主要记录被试人员的头部信息,以便分析被试人员的注视线与注视点。
73.s430:对第四反应影像进行数据处理,确定被试人员的第四注视点集合。
74.确定第四注视点集合的方式同s130,在此不再赘述。
75.s440:确定第四注视点集合与loca1、loca2、loca3的重合度,定义为degreeca。
76.m5模块的实现步骤为:
77.s510:要求被试人员判断loca1-3的物体名称。例如,可以采用判断任务为是/否的判断题进行测试,每个物体一道判断题。
78.s520:根据被试人员选择的判断选项,确定被试人员的得分情况。
79.在本技术的一个实施例中,回答正确的问题记为1分,回答不正确的问题记为0分。
将上述三个判断问题的得分情况定义为c4-2,c4-2的满分为3分,最低分为0分。
80.在本技术的一个实施例中,根据c4-1、c4-2两部分的得分情况,统计得到总得分结果c4。若c4-1与c4-2得分为满分7分,则总得分结果为c4-;否则,若不为满分7分,则总得分结果为c4+。
81.m6模块的实现方法为:
82.在本技术的一个实施例中,在启动m6模块前,预先在系统中建立并储存了一套“中国成年人基本情绪视频库”。其中,视频库中的建立方式如下:
83.对15名男性和15名女性进行分别拍摄,要求演员分别表演以下场景的情绪体验:手指受伤、遭遇挫折、被辱骂、获得奖励、处于大自然优美的环境、准备与他人参加竞技活动6个场景的自然情绪表现。第一步,要求每个演员表演10段情绪表现视频,总共形成300段视频;第二步,招募评分者50名,25名男性,25名女性,均为成年人,对300段视频进行评分,评分方法为结构化选择题评分;第三步,要求上述评分者对视频内容进行开放描述,并记录描述内容;第四步,处理评分与评价数据,选择评分者间一致性高于90%的素材;第五步,选择10名3岁的儿童,男性5名,女性5名,对选取的素材进行评价,选取其中评分者间一致性高于90%的素材,得到“中国成年人基本情绪视频库”,用于m6模块的测试。视频中不仅包含面部信息,还包含了整体的全身的肢体活动、姿态等信息。
84.m6模块的具体执行步骤如下:
85.s610:显示第三测试影像。第三测试影像为“中国成年人基本情绪视频库”中的一段或多段视频。
86.s620:通过摄像机采集被试人员观看第三测试影像时的第三反应影像。其中,第三反应影像需要记录被试人员的面部与肢体动作。
87.s630:对第三反应影像进行数据处理,得到被试人员的面部数据特征和肢体数据特征。
88.在本技术的一个实施例中,数据处理过程如下:
89.标记被试人员面部的3个区域,分别标记为re1:额头-眉毛部分,re2:面颊-鼻翼部分,re3:下巴-嘴部分,在开始显示第三测试影像前,记录标记区域的空间特征facespaceb,并在第三测试影像播放中,记录标记区域空间特征在播放视频过程中的变化facespaced。
90.标记被试人员肢体的双手、双肘、双膝盖点位,在开始显示第三测试影像前,记录标记区域的空间特征bodyspaceb,并在第三测试影像播放时,记录标记区域在播放视频过程中的变化bodyspaced。。
91.s640:基于基本情绪似然度判断模型simibem,确定被试人员观看第三测试影像时的反应与所观看的基本情绪视频的相似度。
92.在本技术的一个实施例中,simibem为一个图像预处理程序与卷积神经网络模型的组合模型,以“中国成年人基本情绪视频库”作为训练数据训练得到。图像预处理程序提取训练数据中的re1与re2组合部分,抽取re1与re2的全局拓扑空间几何特征,定义为gst,gst为一组三维坐标。图像预处理程序提取完成训练数据集的gst后,输入一组预训练卷积神经网络模型,该组预训练卷积神经网络模型包括三个通道,通道1处理第一个区域即re1的图像数据,卷积核参数描述为16
×
42;通道2处理第二个区域即re2的图像数据,卷积核参数为18
×
40;通道3处理gst的数据,输入为gst的三维数组。上述三个通道为输入数据,输出
数据为被试人员面部与肢体活动与所展示的视频中情绪类型的相似程度,相似程度以百分比形式表示。
93.s650:根据被试人员面部与肢体活动与所展示的视频中情绪类型的相似程度,确定被试人员的基本情绪识别功能障碍风险。
94.在本技术的一个实施例中,定义基本情绪识别功能障碍得分为degreeber,degreeber=1-相似程度。degreeber的值越高,表示存在基本情绪识别功能障碍的风险越大。将degreeber与自适应阈值t(ber)进行比较,若degreeber高于自适应阈值t(ber),则基本情绪识别功能障碍检测结果为有风险,该结果定义为c5+;否则,该项检测结果为无风险,定义为c5-。
95.m7模块的具体执行步骤如下:
96.s710:显示第五测试影像。第五测试影像为“中国成年人复杂情绪视频库”中的一段或多段视频。
97.s720:通过摄像机采集被试人员观看第五测试影像时的第五反应影像。其中,第五反应影像需要记录被试人员的面部与肢体动作。
98.s730:对第五反应影像进行数据处理,得到被试人员的面部数据特征和肢体数据特征。
99.s730的数据处理过程可以参照s630,在此不做赘述。
100.s740:基于复杂情绪似然度判断模型simicem,确定被试人员观看第五测试影像时的反应与所观看的基本情绪视频的相似度。
101.在本技术的一个实施例中,simicem为一个图像预处理程序与卷积神经网络模型的组合模型,以“中国成年人复杂情绪视频库”作为训练数据训练得到。图像预处理程序提取训练数据中的re1与re2组合部分,抽取re1与re2的全局拓扑空间几何特征,定义为gst,gst为一组三维坐标。图像预处理程序提取完成训练数据集的gst后,输入一组预训练卷积神经网络模型,该组预训练卷积神经网络模型包括三个通道,通道1处理第一个区域即re1的图像数据,卷积核参数描述为16
×
42;通道2处理第二个区域即re2的图像数据,卷积核参数为18
×
40;通道3处理gst的数据,输入为gst的三维数组。上述三个通道为输入数据,输出数据为被试人员面部与肢体活动与所展示的视频中情绪类型的相似程度,相似程度以百分比形式表示。
102.s750:根据被试人员面部与肢体活动与所展示的视频中情绪类型的相似程度,确定被试人员的复杂情绪识别功能障碍风险。
103.在本技术的一个实施例中,定义复杂情绪识别功能障碍得分为degreecer,degreecer=1-相似程度。degreecer的值越高,表示存在基本情绪识别功能障碍的风险越大。将degreecer与自适应阈值t(cer)进行比较,若degreecer高于自适应阈值t(cer),则基本情绪识别功能障碍检测结果为有风险,该结果定义为c6+;否则,该项检测结果为无风险,定义为c6-。
104.在本技术的一个实施例中,检测系统还包括风险判断模块,用于根据上述检测结果,判断被试人员是否存在自闭症谱系障碍风险,以及存在何种自闭症谱系障碍风险。本技术实施例将自闭症谱系障碍分为四种:asperger综合症、高功能自闭症、低功能自闭症与williams综合症。当上述检测结果为c1+或c2+或c3+或c4+或c5+且c6+时,风险判断模块认
定被试人员存在asperger综合症风险;当上述检测结果为c1+或c2+或c3+或c4+且c5+且c6+时,风险判断模块认定被试人员存在高功能自闭症风险;当上述检测结果为c1+或c2+或c3+时,风险判断模块认定被试人员存在低功能自闭症风险;当上述检测结果为c1+或c2+或c3+且c4+时,风险断模块认定被试人员存在williams综合症风险。
105.在本技术的一个实施例中,各个检测模块间存在顺序关系,具体的顺序关系为:m1、m2、m3、m4、m5模块为依次顺序关系,在完成前一个模块之前,不启动后一个检测模块。m6、m7模块为依次顺序关系,在完成m6模块之前,不启动m7模块。
106.在本技术的一个实施例中,根据被试人员的年龄大小,确定实际启动的模块。例如,当被试人员年龄为0-3岁时,由于其认知功能、识字能力、逻辑判断能力尚不健全,因此不启动m3、m4、m5、m7模块,仅启动m1、m2、m6模块。当被试人员年龄大于3岁时,可以启动全部m1-m7检测模块。
107.在本技术的又一个实施例中,根据被试人员的性别,启动不同的测试数据库,并采用不同的自适应阈值。例如,当被试为男性儿童,m6,m7模块启动男性对应数据库,反之则启动女性对应数据库。同时,在启动c2,c3,c5,c6的自适应阈值时,根据对应性别采用不同的自适应阈值,根据前期研究成果,在上述四个自适应阈值上,男性阈值高于女性阈值,且优选男性阈值为女性阈值的2.93倍。
108.基于同样的发明构思,本技术实施例还提供了一种检测终端与云服务器,用以组成上述检测系统的具体硬件结构。
109.图2为本技术实施例提供的一种自闭症谱系障碍风险检测系统框图。
110.在本技术的一个实施例中,系统采用分布式部署方式。如图2所示,本技术实施例提供的检测系统,包括检测终端与云服务器,利用检测终端与云服务器相互配合,实现系统各模块的功能。其中,检测终端主要用于显示测试影像、采集被试人员的反应影像,以及进行边缘计算等;而云服务器主要用于判断各模块的启动条件,启动合适的检测模块进行测试,以及根据检测终端的边缘计算结果判断被试人员的自闭症谱系障碍风险。
111.在本技术的一个实施例中,检测终端包括显示器、交互单元、摄像头、处理器、发送器。
112.其中,显示器,用于显示测试影像,所述测试影像包括第一测试影像、第二测试影像、第三测试影像、第四测试影像、第五测试影像中的任意一项或多项;以及用于显示测试问题。显示器显示的影像范围,与检测系统实际启动的检测模块有关。
113.交互单元,用于被试人员选择所述测试问题的答案。在本技术的一个实施例中,交互单元可以是触摸屏,即交互单元与显示器集成为一个硬件,由被试人员直接点击屏幕进行交互,将选择的选项输入至检测终端。交互单元还可以是其他可实现交互功能的任意方式,例如通过鼠标点击、说话声音进行交互等。
114.摄像头,用于获取被试人员观看所述测试影像时的反应影像。其中,反应影像可以是第一反应影像、第二反应影像、第三反应影像、第四反应影像、第五反应影像中的任意一项或多项。摄像头采集的影像范围,与检测系统实际启动的检测模块有关。
115.处理器,用于执行边缘计算。在本技术的一个实施例中,当仅启动m1、m2、m6模块时,边缘计算包括:根据第一反应影像确定被试人员的第一注视点集合,并计算第一注视点集合与第一测试影像的重合度;根据第二反应影像确定被试人员的第二注视点集合,并计
算第二注视点集合与第二测试影像中的图像运动轨迹的重合度;根据第三反应影像确定被试人员观看第三测试影像时的面部数据特征和肢体数据特征。
116.在本技术的另一个实施例中,当启动全部m1-m7模块时,边缘计算还包括:根据被试人员在m3模块测试中选择的选项,计算c4-1得分;根据第四反应影像确定被试人员的第四注视点集合,并计算被试人员的第四注视点集合与第四测试影像中人物形象朝向的多个方位点的重合度;根据被试人员在m5模块测试中的判断选择,计算c4-2得分;根据第五反应影像确定被试人员观看第五测试影像时的面部数据特征和肢体数据特征。
117.其中,边缘计算的具体方法参照本说明书关于检测系统的描述部分,在此不再赘述。
118.发送器,用于将边缘计算结果发送至云服务器,该边缘计算结果用于确定所述被试人员是否患有自闭症谱系障碍以及具体障碍类型。
119.在本技术的一个实施例中,上述检测终端可以是家用电脑、家用检测仪、家用移动终端等设备形态。解决了传统技术使用脑电、眼动仪等外接设备难以实现便捷化、家用化的难题,打破了传统技术进行风险评估和辅助诊断在应用场景上的局限性。
120.在本技术的一个实施例中,云服务器包括接收器、处理器。
121.其中,接收器,用于接收终端发送的数据,其中包括检测终端的边缘计算结果。
122.处理器,用于确定各检测模块的风险检测结果,以及用于确定被试人员的自闭症谱系障碍风险以及具体障碍类型。
123.其中,检测结果的判定方法,可以参照本说明书关于检测系统的描述部分,在此不再赘述。
124.在本技术的一个实施例中,检测终端的交互单元还用于设定被试人员的年龄、性别等信息,该交互操作可以由被试人员、监护人或着测试人员来完成。在完成被试人员的年龄、性别等信息设置后,检测终端将上述信息通过发送器发送至云服务器。云服务器接收上述信息后,根据被试人员的年龄信息选择适宜的检测模块启动检测,并根据被试人员的性别信息自行选取对应的测试影像数据库,并启用对应性别的自适应阈值对相关障碍风险进行判断。
125.其中,云服务器如何根据被试人员的年龄、性别信息进行上述调整,可以参照本说明书关于检测系统的描述部分,在此不再赘述。
126.本领域技术人员可以理解,图2示出的系统部署方式并不构成对检测终端以及云服务器的限定,实际上,系统部署方式可以对各模块的功能进行不同的分配布置。
127.本技术实施例提供的上述自闭症谱系障碍风险检测系统、检测终端和云服务器,至少产生了以下有益效果:
128.(1)本技术实施例能够便捷地实现自闭症谱系障碍的四种子类型的分型检测:asperger综合症、william综合症、低功能自闭症、高功能自闭症。
129.(2)针对传统技术未区分不同的被试人员年龄、性别局限性,本技术实施例对被试人员进行了年龄段、性别的划分,并根据临床观察数据进行了年龄段切分的阈值自适应调整,针对不同的年龄段和性别配置不同的风险评估与辅助诊断步骤;
130.(3)针对传统技术未区分共病因素,难以实现对自闭症谱系障碍与阅读障碍、听觉障碍以及视觉障碍等进行区分的局限性,本技术实施例提供了一种区分不同障碍的致病因
素的成因推断系统;
131.(4)针对传统技术使用脑电、眼动仪等外接设备难以实现便捷性、家用性的数据采集与分析局限性,本技术实施例提出基于家用移动端、家用电脑与云服务器相连接的技术实现方案与配套的装置及系统,解决了传统技术难以家用化进行风险评估和辅助诊断的局限性。
132.本技术中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备、装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
133.还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
134.以上所述仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1