一种基于大模型和VB-MAPP的儿童孤独症社交训练干预系统

本发明涉及孤独症儿童临床干预领域，尤其是涉及一种基于大模型和vb-mapp的儿童孤独症社交训练干预系统。

背景技术：

1、孤独症谱系障碍是一种广泛性的神经发育障碍，其主要病症有社交障碍和重复，刻板行为，同时可能存在情绪调节，语言非语言交流障碍等其他病症。孤独症患者会存在生活无法自理，无法正常融入社会生活的问题，为家庭和社会造成较大的负担。有报告显示，在全球的适龄儿童中，孤独症的患病率高达1/59，且呈增长趋势。而及早的诊断和有效的干预治疗，是可以在一定程度上改善孤独症儿童的语言、认知能力以及行为习惯，所以如何进行高效的孤独症诊断和干预成为了重点。

2、而由于医疗资源的不充分和不平衡，部分地区的干预资源非常有限，所以研究者们希望利用计算机技术来辅助专业干预师进行干预或开发新的系统和范式来完成独立干预，使得更多的孤独症儿童获得干预支持。而当前的主流研究通常以ar、机器人为载体，并通过人工设计的干预范式来引导孤独症儿童进行交互，然后收集指标进行干预效果的评估。

3、如文献"social intervention strategy of augmented reality combinedwith theater-based games to improve the performance of autistic children insymbolic play and social skills."以及文献“effectiveness of a robot-assistedpsychological intervention for children with autism spectrum disorder.”。

4、但是当前的方法缺乏了一定的专业性，范式方法的设计上没有以临床评估和干预的方法作为依据，干预形式上缺乏了针对不同主题被试的个性化内容。

技术实现思路

1、本发明提供了一种基于大模型和vb-mapp的儿童孤独症社交训练干预系统，可以针对不同孤独症儿童，生成个性化的对话内容，使得对话丰富度更高，更容易吸引儿童的注意力，提升干预效果。

2、一种基于大模型和vb-mapp的儿童孤独症社交训练干预系统，包括感知模块、表现模块和控制模块；所述的感知模块用于收集被试的信息，包括说话的内容和音频；所述的表现模块用于根据被试的信息以及自身的配置，生成相应的反馈内容；所述的控制模块用于控制整个系统的工作流程，完成同步和记录；

3、所述的表现模块基于vb-mapp范式构建系统提示词，并利用大模型根据系统提示词进行对话生成；所述的系统提示词包括三部分，第一部分是被试的个人信息；第二部分是当前大模型需要扮演的虚拟形象描述，包括角色说明和能力限制；第三部分是当前对话主题的描述；

4、系统的干预流程分为准备阶段、干预阶段和收集阶段，具体如下：

5、准备阶段，输入被试儿童的个人信息，并选择虚拟形象后正式进入干预阶段；干预阶段，表现模块结合儿童的个人信息、大模型的虚拟形象以及当前主题构建好系统提示词，输入给大模型，使大模型在限定的主题下和孤独症儿童开始有限制的多轮对话干预；收集阶段贯穿于整个干预阶段，在每个主题的干预都结束后，系统利用控制模块将感知模块收集的近红外、文本、音频数据保存，用于评估儿童的表现和系统的有效性。

6、vb-mapp(verbal behavior milestones assessment and placement program)是一种广泛使用的评估工具，根据被试的发展水平划分项目和评估分数并给出干预的指导意见。而轮流对话的形式就是vb-mapp所推荐的一种有效的干预形式，也是大模型所擅长的任务形式之一，所以根据vb-mapp提供的指南和执业治疗师的建议，本发明设计了一个预定主题的交流范式。本发明定制了五个日常交流中常用的话题：食物、动物、玩具、家庭和颜色。

7、对话过程中，问题的形式被限制为“谁”、“什么”、“哪里”三类问题，而“为什么”、“如何、”何时”这类形式的问题被排除，本发明考虑到前三种问题与具体的记忆形象相关，存在孤独症语言障碍的被试回答时相对容易；而“为什么、如何、何时”涉及到逻辑思维、抽象概括和时间感知能力，问题较为复杂，孤独症儿童的思考和回答意愿会下降，而起不到干预效果。

8、本发明中，大模型可采用chat-gpt或者其它大语言模型。

9、进一步地，系统提示词的第一部分中，被试的个人信息包含被试的年龄、性别、昵称、偏好、兴趣和最近的经历，根据这些个人信息来个性化对话干预主题内容，从而提高儿童互动的积极性。

10、干预阶段，大模型在限定的主题下和孤独症儿童开始有限制的多轮对话干预，具体为：

11、表现模块在和孤独症儿童打招呼后发问，然后根据儿童的响应做出不同的反馈，儿童没有回应时，会输入额外的提示词，让表现模块鼓励儿童开口说话，儿童开口说话时，则进行赞扬，然后开始新一轮的对话，直到预设的时间耗尽。

12、干预阶段，在每轮对话开始前加入一个固定提示词，用于强化基于vb-mapp范式设计有限制的对话生成。

13、干预阶段，在对话时间耗尽后会有用于结束的结束提示词输入，让表现模块与孤独症儿童进行道别。

14、干预阶段，为了处理孤独症儿童不回应的问题，系统通过声音检测的方法来判断其是否发声，如果超过十秒的静默，则会触发预先设置好的鼓励语音，鼓励儿童开口说话。

15、收集阶段，对话干预的文本和音频由系统自动保存，近红外信号由8通道nirsmart系统进行采集，时间分辨率为0.1秒，电极位于前额皮质。

16、与现有技术相比，本发明具有以下有益效果：

17、本发明基于当前临床孤独症干预评估方法之一的vb-mapp来进行整个系统范式和提示的设计，并且利用大模型作为系统的对话生成中枢，从而提高系统在干预阶段的对话质量。所提出的系统对话能力强，并支持个性化对话内容定制，并通过多模态的临床数据分析，证明了该系统对话干预的有效性，可以一定程度上缓解孤独症儿童干预资源稀缺的问题。

技术特征：

1.一种基于大模型和vb-mapp的儿童孤独症社交训练干预系统，其特征在于，包括感知模块、表现模块和控制模块；所述的感知模块用于收集被试的信息，包括说话的内容和音频；所述的表现模块用于根据被试的信息以及自身的配置，生成相应的反馈内容；所述的控制模块用于控制整个系统的工作流程，完成同步和记录；

2.根据权利要求1所述的基于大模型和vb-mapp的儿童孤独症社交训练干预系统，其特征在于，系统提示词的第一部分中，被试的个人信息包含被试的年龄、性别、昵称、偏好、兴趣和最近的经历，根据这些个人信息来个性化对话干预主题内容，从而提高儿童互动的积极性。

3.根据权利要求1所述的基于大模型和vb-mapp的儿童孤独症社交训练干预系统，其特征在于，系统提示词的第三部分中，主题包括食物、动物、玩具、家庭和颜色。

4.根据权利要求1所述的基于大模型和vb-mapp的儿童孤独症社交训练干预系统，其特征在于，干预阶段，大模型在限定的主题下和孤独症儿童开始有限制的多轮对话干预，具体为：

5.根据权利要求1所述的基于大模型和vb-mapp的儿童孤独症社交训练干预系统，其特征在于，干预阶段，在每轮对话开始前加入一个固定提示词，用于强化基于vb-mapp范式设计有限制的对话生成。

6.根据权利要求5所述的基于大模型和vb-mapp的儿童孤独症社交训练干预系统，其特征在于，干预阶段，在对话时间耗尽后会有用于结束的结束提示词输入，让表现模块与孤独症儿童进行道别。

7.根据权利要求1所述的基于大模型和vb-mapp的儿童孤独症社交训练干预系统，其特征在于，干预阶段，为了处理孤独症儿童不回应的问题，系统通过声音检测的方法来判断其是否发声，如果超过十秒的静默，则会触发预先设置好的鼓励语音，鼓励儿童开口说话。

8.根据权利要求1所述的基于大模型和vb-mapp的儿童孤独症社交训练干预系统，其特征在于，收集阶段，对话干预的文本和音频由系统自动保存，近红外信号由8通道nirsmart系统进行采集，时间分辨率为0.1秒，电极位于前额皮质。

技术总结
本发明公开了一种基于大模型和VB‑MAPP的儿童孤独症社交训练干预系统，包括感知模块、表现模块和控制模块；感知模块用于收集被试的信息，包括说话的内容和音频；表现模块用于根据被试的信息以及自身的配置，生成相应的反馈内容；控制模块用于控制整个系统的工作流程，完成同步和记录；表现模块基于VB‑MAPP范式构建系统提示词，并利用大模型根据系统提示词进行对话生成；系统提示词包括三部分，第一部分是被试的个人信息；第二部分是当前大模型需要扮演虚拟形象，包括角色说明和能力限制；第三部分是当前对话主题的描述。本发明可以针对不同孤独症儿童，生成个性化的对话内容，使得对话丰富度更高，更容易吸引儿童的注意力，提升干预效果。

技术研发人员：姚林,赖述忠,邓承昀,王跃明
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2025/3/6