一种基于交互式干预机器人的图片交换沟通方法及系统

1.本发明属于人机互动技术改进领域，尤其涉及一种基于交互式干预机器人的图片交换沟通方法及系统。


背景技术：

2.传统的方法是真人治疗师一对一进行干预，或市面上的商用机器人并非针对孤独症儿童设计。
3.孤独症谱系障碍(autism spectrum disorder,asd)，又称孤独症，是一种广泛性发展障碍。患者主要临床表现为社交能力缺失、沟通能力缺失、重复、刻板的行为及兴趣范围狭窄。社会交往障碍是孤独症儿童的核心障碍之一，这些障碍会导致他们与人交流困难，进而引发各种行为和情绪问题。而这些行为的核心原因就是孤独症儿童缺乏社会交往能力。因此提升孤独症儿童的沟通能力，教会他们如何与人沟通，与人建立关系，理解他人的言语表达并且给予正确的回应，并与他人启动交往是干预孤独症儿童的重中之重。
4.传统的干预治疗采用治疗师和患儿一对一的方式进行。对治疗师的专业资质要求高、一对一的临床干预耗时长，且无法推广。而与机器人的交往环境是一个相对简单、安全的环境，因此有利于其社交技能的发展。机器人的运用能够帮助引导孤独症谱系障碍儿童形成一定的接受和表达意愿，相比真实的人，他们也更愿意与机器人接触和交往。
5.以往研究中所采用的机器人类型主要分为两部分：第一部分为市场上已有的成熟机器人，如nao机器人、keepon机器人等；第二部分则为自制的，能够实现某项特定的，研究者想要探究内容功能的机器人，如ifbot机器人、simon机器人等。以simon机器人为例，研究者想要探究机器人对孤独症儿童的共同注意的影响，仅调整设计了机器人的关节自由度，外观等其他方面均未考虑。无论是采用商业机器人还是自制机器人，他们都存在各自的弊端：成熟的商用机器人不是针对孤独症群体设计的，不具备干预功能；自制机器人大多为单纯探究某项实验指标或完成某项功能而选定或制造出来的机器人，并非针对面向孤独症儿童开展的从外观到语音、动作交互，到干预内容的系统设计，且缺乏临床数据支持其效果有效性。


技术实现要素：

6.本发明的目的在于提供一种基于交互式干预机器人的图片交换沟通方法及系统，旨在解决市场上的商用机器人不是基于临床数据算法反馈专门为孤独症儿童从外观偏好、语音、动作交互完成的设计；该发明能够完成针对图片交换沟通场景的各个分级阶段干预流程，解决真人治疗师只能一对一干预、无法大量同步推广干预的技术问题。
7.本发明是这样实现的，一种基于交互式干预机器人的图片交换沟通方法，所述基于交互式干预机器人的图片交换沟通方法包括以下步骤：
8.s1、根据孤独症儿童的ados结果，通过认知神经指标推算法获取适合所述孤独症儿童的互动模式；
9.s2、根据获取适合所述孤独症儿童的互动模式提取症状特征制定分级递进干预流程；
10.s3、根据制定的分级递进干预流程对所述孤独症儿童与机器人之间建立图文互动交换沟通方式。
11.本发明的进一步技术方案是：所述步骤s1中还包括以下步骤：
12.s11、判断临床诊断(ados)结果的1/2总分是否大于等于设定值，如是，则孤独症儿童与机器人互动时，左、右背外侧前额叶皮层(dlpfc)区域激活强度显著低于与真人互动时的脑区激活，推送语音交互模式机械化、动作交互模式单一的机器人互动模式；如不是，则孤独症儿童与机器人互动时，左、右背外侧前额叶皮层(dlpfc)区域激活强度和与真人互动时的脑区激活相似时，推送语音交互模式类人化、动作交互模式复杂的机器人互动模式。
13.本发明的进一步技术方案是：所述分级递进干预流程包括物换物阶段、提高自发性阶段及辨识图片阶段进行互动交换沟通强化训练。
14.本发明的进一步技术方案是：所述物换物阶段中帮助孤独症儿童建立物物交换的意识，在孤独症儿童看到喜爱的强化物时，能拿起该强化物对应的沟通图片，并交到机器人手中换取强化物。
15.本发明的进一步技术方案是：所述提高自发性阶段中逐渐拉远实验物品与被试者的距离，孤独症儿童能从沟通板上取下他所要的物品图片，交至机器人手中换取强化物。
16.本发明的进一步技术方案是：所述辨识图片阶段中孤独症儿童所喜欢东西的图卡和不喜欢东西的图卡并列在一起时，能选出他喜欢东西的图卡。
17.本发明的进一步技术方案是：所述基于交互式干预机器人的图片交换沟通方法还包括以下步骤：
18.s4、根据所述孤独症儿童一段时间图文互动交换沟通方式后获得的srs得分与新的ados的结果利用认知神经指标推算法获取适合所述孤独症儿童的最新互动模式；
19.s5、依据最新互动模式循环步骤s2、s3、s4的过程。
20.本发明的另一目的在于提供一种基于交互式干预机器人的图片交换沟通系统，所述基于交互式干预机器人的图片交换沟通系统包括
21.获取互动模式模块，用于根据孤独症儿童的ados结果，通过认知神经指标推算法获取适合所述孤独症儿童的互动模式；
22.制定干预模块，用于根据获取适合所述孤独症儿童的互动模式提取症状特征制定分级递进干预流程；
23.互动交换模块，用于根据制定的分级递进干预流程对所述孤独症儿童与机器人之间建立图文互动交换沟通方式。
24.本发明的进一步技术方案是：所述获取互动模式模块中还包括
25.判断单元，用于判断(ados)结果的总分是否大于等于设定值，如是，则孤独症儿童与机器人互动时，左、右背外侧前额叶皮层(dlpfc)区域激活强度显著低于与真人互动时的脑区激活，推送语音交互模式机械化、动作交互模式单一的机器人互动模式；如不是，则孤独症儿童与机器人互动时，左、右背外侧前额叶皮层(dlpfc)区域激活强度和与真人互动时的脑区激活相似时，推送语音交互模式类人化、动作交互模式复杂的机器人互动模式。
26.本发明的进一步技术方案是：所述制定干预模块中分级递进干预流程包括物换物
阶段、提高自发性阶段及辨识图片阶段进行互动交换沟通强化训练。
27.本发明的进一步技术方案是：所述物换物阶段中帮助孤独症儿童建立物物交换的意识，在孤独症儿童看到喜爱的强化物时，能拿起该强化物对应的沟通图片，并交到机器人手中换取强化物；
28.所述提高自发性阶段中逐渐拉远实验物品与被试者的距离，孤独症儿童能从沟通板上取下他所要的物品图片，交至机器人手中换取强化物；
29.所述辨识图片阶段中孤独症儿童所喜欢东西的图卡和不喜欢东西的图卡并列在一起时，能选出他喜欢东西的图卡。
30.本发明的进一步技术方案是：所述基于交互式干预机器人的图片交换沟通系统还包括：
31.再次评估获取模式模块，用于根据所述孤独症儿童一段时间图文互动交换沟通方式后获得的srs得分与新的ados的结果利用认知神经指标推算法获取适合所述孤独症儿童的最新互动模式；
32.执行循环模块，用于依据最新互动模式循环执行制定干预模块、互动交换模块、再次评估获取模式模块的过程。
33.本发明的有益效果是：对比传统真人干预方式以及不是针对孤独症设计的特异性机器人，本发明大大提高有针对性的分级孤独症儿童社交沟通干预；本研究基于临床数据和认知神经指标确定孤独症儿童症状程，并以此推送不同语音和交互特点的机器人互动模式，对患者具有更加明确的针对性和个性化特征；该发明不依赖于真人治疗师的重复劳动，自动化、易操作，大大提高干预的快捷性、可推广性。
附图说明
34.图1是本发明实施例提供的基于交互式干预机器人的图片交换沟通方法的流程图。
35.图2是本发明实施例提供的以物换物阶段的示意图。
36.图3是本发明实施例提供的提高自发性阶段的示意图。
37.图4是本发明实施例提供的辨识图片阶段的示意图
具体实施方式
38.发明能够完成针对图片交换沟通场景的各个分级阶段干预流程，解决真人治疗师只能一对一干预、无法大量同步推广干预的问题。
39.如图1所示，出了本发明方法基于孤独症儿童临床数据算法提取机器人的语音、动作交互反馈策略，完成引导语句、鼓励语句、引动动作、互动内容的系列干预。并根据孤独症儿童的表现，推送下一阶段干预内容。具体实施步骤如下：
40.步骤s1、基于临床数据算法得出适用于孤独症儿童的语音交互类型：
41.语音交互类型
[0042][0043][0044]
根据不同孤独症儿童偏好选择确定语音互动类型和模式后，选择动作模式。基于临床算法得出适用于孤独症儿童的动作交互；
[0045]
[0046][0047]
以兴趣脑区激活模式及孤独症诊断观察量表(ados)得分为基础，对孤独症儿童的社交障碍程度，对语音、动作交互模式的偏好进行划分。
[0048]
具体来讲，首先，当ados(autism diagnostic observation schedule，孤独症诊断观察量表)模块的总分高于12，孤独症儿童与机器人互动时，左、右背外侧前额叶皮层(dlpfc)区域激活强度显著低于与真人互动时的脑区激活，则推送语音交互模式机械化、动作交互模式单一的机器人互动模式。当ados模块的总分低于12，孤独症儿童与机器人互动时，左、右背外侧前额叶皮层(dlpfc)区域激活强度和与真人互动时的脑区激活相似时，推送语音交互模式类人化、动作交互模式复杂的机器人互动模式。随着干预流程的推进，通过上述模式对孤独症儿童的社交表现进行分级评估，根据结果的变化调整推送的机器人互动模式。
[0049]
步骤s2，根据获取适合不同孤独症儿童的互动模式提取症状特征制定分级递进干预流程。
[0050]
基于症状特征的分级递进干预流程，所述制定干预模块中分级递进干预流程包括物换物阶段、提高自发性阶段及辨识图片阶段进行互动交换沟通强化训练。
[0051]
以物换物阶段：
[0052]
该阶段目标为帮助被试建立物物交换的意识，当儿童看到喜爱的强化物时，能拿起该强化物对应的沟通图片，并交到机器人手中换取强化物。
[0053]
主要流程如下：
[0054]
完全协助：桌上放着被试喜爱的物品，当被试要伸手拿取时，在被试身后的辅助者用肢体动作协助被试拿起图片，交到被试对面的机器人手中。图片交到机器人手中之后，机器人立马语音回应：“哦！你想要字母！”，并将强化物拿给他。
[0055]
减少协助：去除辅助者的帮助，机器人在被试对面将手抬起作为提示，只要被试拿起沟通图片放在机器人手中，机器人马上以语音回应“哦！你想要字母！”，并把强化物拿给他。
[0056]
去掉提示：辅助者和机器人都不对被试进行任何形式的提示协助，当被试将图片递向机器人时，机器人才张开手接受并以语音回应：“哦！你想要字母！”，并把强化物交给被试。
[0057]
提高自发性阶段：
[0058]
该阶段目标为逐渐拉远实验物品与被试的距离，被试能从沟通板上取下他所要的物品图片，交至机器人手中换取强化物。
[0059]
主要流程如下：
[0060]
拉远机器人与被试之间的距离(2米)：在桌子上事先放好被试喜欢的物品的一张图片，当被试主动取下桌子上的图片交给机器人时，机器人从一开始在被试对面，随着成功率的提高，机器人逐渐远离被试，被试必须站起来才能拿给机器人，被试将沟通图片从沟通板上取下来并放到机器人手中时，机器人马上以语音回应“哦，你想要字母！”，并把强化物拿给他。
[0061]
增加图卡和被试之间的距离(2米)：机器人在被试对面，随着成功率的提高，逐渐拉远图卡和被试之间的距离，直到被试能从远处的桌子上取下图片交给机器人换取强化物。
[0062]
增加机器人、被试和图卡之间的距离(两者均相距2米)：将前两个流程的实施过程综合实施，机器人与被试，被试与图卡之间的距离根据成功率一同逐渐增加，使被试能走过去拿起图卡再走向机器人将图片交给他，当被试将图卡拿给机器人后，机器人才把手张开接受并马上以口语回应“哦，你想要字母！”，并且把强化物拿给他。
[0063]
辨识图片阶段：
[0064]
该阶段目标为当被试喜欢的东西的图卡和不喜欢的东西的图卡并列在一起时，能选出他喜欢东西的图卡。
[0065]
主要流程如下：
[0066]
辨认：将2张内容差别大的图片放在沟通板上，一张是被试喜欢的物品，另一张是他不喜欢的物品。若被试拿了他喜欢的物品的图卡交给机器人，机器人马上以口语回应“哦，你想要字母”并给予语音，音效，动作赞美，并且把要求的强化物拿给他；若被试拿的是非强化物图卡，就给予被试他选择的东西，并不给他赞美。增加辨认图片的数量(3-5张)，要求被试能从众多图卡中选出他想要的图卡放到机器人的手上，机器人的回应同流程(1)。
[0067]
检验：在沟通板上呈现2种物品的对应图片，被试将任意图片拿给机器人，机器人就示意被试去拿图卡上显示的物品，如果被试拿对了物品，机器人马上给予鼓励增强干预效果；如果被试拿错，机器人要语音与音效制止与订正。
[0068]
步骤s3，根据制定的分级递进干预流程对孤独症儿童与机器人之间建立图文互动交换沟通方式。
[0069]
步骤s4，根据所述孤独症儿童一段时间图文互动交换沟通方式后获得的srs得分与新的ados的结果利用认知神经指标推算法获取适合所述孤独症儿童的最新互动模式；完成第一次诊断、分级和一个疗程的全程干预后(s1,s2,s3)，再次对孤独症儿童进行评估。结合ados分数，认知神经指标与社交互动行为指标进行综合评估(s 1)，并在下一个干预阶段根据评估结果推送不同的交互模式(s2)并进行下一阶段的干预(s3)。
[0070]
在孤独症儿童经过一段时间图文互动交换沟通方式的干预训练后，与他人的社交互动频率显著高于训练前，社交反应量表(srs)得分与干预之前的得分相比显著高于训练前，而最新的ados的结果分数低于训练前，由此发现孤独症儿童与机器人互动时左、右背外侧前额叶皮层(dlpfc)区域激活强度与和真人互动时候的脑区激活强度相似，或高于与真人互动时的脑区激活强度时，可以根据最新的评测推送语音交互模式类人化、动作交互模式复杂的机器人互动模式。
[0071]
在孤独症儿童在经过一段时间图文互动交换沟通方式的干预训练后，与他人的社交互动频率与干预前无差异，社交反应量表(srs)得分与训练前无差异，而最新的ados的结果分数与训练前无差异，且孤独症儿童与机器人互动时，左、右背外侧前额叶皮层(dlpfc)区域激活强度低于与真人互动时的脑区激活，推送语音交互模式机械化、动作交互模式单一的机器人互动模式。
[0072]
步骤s5，依据最新互动模式循环步骤s2、s3、s4的过程。
[0073]
本发明的另一目的在于提供一种基于交互式干预机器人的图片交换沟通系统，所述基于交互式干预机器人的图片交换沟通系统包括
[0074]
获取互动模式模块，用于根据孤独症儿童的ados结果，通过认知神经指标推算法获取适合所述孤独症儿童的互动模式；
[0075]
制定干预模块，用于根据获取适合所述孤独症儿童的互动模式提取症状特征制定分级递进干预流程；
[0076]
互动交换模块，用于根据制定的分级递进干预流程对所述孤独症儿童与机器人之间建立图文互动交换沟通方式。
[0077]
所述获取互动模式模块中还包括
[0078]
判断单元，用于判断ados结果的总分是否大于等于设定值，如是，则孤独症儿童与机器人互动时，左、右背外侧前额叶皮层(dlpfc)区域激活强度显著低于与真人互动时的脑区激活，推送语音交互模式机械化、动作交互模式单一的机器人互动模式；如不是，则孤独症儿童与机器人互动时，左、右背外侧前额叶皮层(dlpfc)区域激活强度和与真人互动时的脑区激活相似时，推送语音交互模式类人化、动作交互模式复杂的机器人互动模式。
[0079]
所述制定干预模块中分级递进干预流程包括物换物阶段、提高自发性阶段及辨识图片阶段进行互动交换沟通强化训练。
[0080]
所述物换物阶段中帮助孤独症儿童建立物物交换的意识，在孤独症儿童看到喜爱的强化物时，能拿起该强化物对应的沟通图片，并交到机器人手中换取强化物；
[0081]
所述提高自发性阶段中逐渐拉远实验物品与被试者的距离，孤独症儿童能从沟通板上取下他所要的物品图片，交至机器人手中换取强化物；
[0082]
所述辨识图片阶段中孤独症儿童所喜欢东西的图卡和不喜欢东西的图卡并列在一起时，能选出他喜欢东西的图卡。
[0083]
所述基于交互式干预机器人的图片交换沟通系统还包括：
[0084]
再次评估获取模式模块，用于根据所述孤独症儿童一段时间图文互动交换沟通方式后获得的srs得分与新的ados的结果利用认知神经指标推算法获取适合所述孤独症儿童的最新互动模式；
[0085]
执行循环模块，用于依据最新互动模式循环执行制定干预模块、互动交换模块、再次评估获取模式模块的过程。
[0086]
对比传统真人干预方式以及不是针对孤独症设计的特异性机器人，本发明大大提高有针对性的分级孤独症儿童社交沟通干预；本研究基于临床数据和认知神经指标确定孤独症儿童症状程，并以此推送不同语音和交互特点的机器人互动模式，对患者具有更加明确的针对性和个性化特征；该发明不依赖于真人治疗师的重复劳动，自动化、易操作，大大提高干预的快捷性、可推广性。
[0087]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。