面向孤独症儿童的智能远程社交辅助治疗机器人的制作方法
【专利摘要】本发明属于远程控制与人工智能领域，涉及一种针对孤独症儿童进行实时社交能力训练的智能辅助康复治疗机器人装置。该装置包括头部运动驱动器（1）、手臂运动驱动器（2）、设备承载器（3）、主-从轮式底盘（4）、及外壳模块（7）。采用多关节联合驱动方式，提高了机器人对各运动关节的协同驱动能力并解决了延时影响交互效果的问题，通过PWM双向控制技术，达到机器人任意方向精度的姿态控制，及自动避让障碍的肢体运动路径规划功能，针对患儿普遍存在的情绪认知障碍，在人机交互过程中通过语音、图像、触控、感应等多种形式实现人与机器人之间智能的情感交互及实现安全可靠的家庭远程康复治疗模式。
【专利说明】面向孤独症儿童的智能远程社交辅助治疗机器人
【技术领域】
[0001]本发明属于远程控制与人工智能领域，涉及一种针对孤独症儿童进行实时社交能力训练的智能辅助康复治疗机器人装置及其系统。
技术背景
[0002]据不完全统计，目前全球约有3500万孤独症患者，患病比率高达94:1。根据中国残疾人联合会2009年保守估计，我国0至15岁的孤独症患儿有150万，0至20岁以上的孤独症患儿有500万，而且其发病率呈逐年上升趋势。由于孤独症病因未明，因此尚无有效的治疗方法。除药物干预以外，现阶段孤独症的训练方式一般采用一对一的行为矫治和简单的康复游戏。训练周期长(绝大多数患儿需要终身参与训练)、医疗费用极高、医护人员稀缺、医疗机构水平良莠不齐，且辅助治疗工具简陋等重大问题日益凸显。
[0003]针对以上突出问题，将控制、人工智能等先进的信息科学手段与辅助治疗相结合，开发面向孤独症儿童的远程社交辅助治疗机器人其旨在发展孤独症儿童的社会交往能力，为患儿的教育和治疗提供新的工具。机器人作为一个全面、可信的互动系统，应用到学校及家庭教育中，为医生、教师、家长和特殊需求的孤独症儿童服务，通过具备认知情感能力的人性化社交辅助治疗为孤独症儿童的康复带来曙光。
【发明内容】
[0004]为了能够及时、有效地改善孤独症儿童的社会交往能力，给患儿提供先进的康复治疗工具。本发明的目的之一，是提供一种辅助治疗机器人装置，通过多关节驱动、避障及路径规划、智能信息融合等控制技术，实现基于多元化交互手段的社交辅助治疗模式；同时，提供网络隔离管理、自适应数据过滤等网络安全技术，以实现对于广域网络中威胁信息的自主过滤及主动防御功能，从而为患儿隐私和机器人系统安全提供有力保障；并提供基于表情认知及脑电分析的情绪捕捉与情感计算技术，以实现针对患儿情绪特点的协调、同步的人机互动，从而有效地培养孤独症儿童的社会交往和情感沟通技能。
[0005]具体方案如下:
一种远程辅助治疗机器人装置，包括头部运动驱动器(I)、手臂运动驱动器(2)、设备承载器(3)、主-从轮式底盘(4)、及外壳模块(7)，该机器人装置的头部运动驱动器(I)搭载于设备承载器(3)顶端；手臂驱动器(2)分别搭载于设备承载器(3)两侧；底盘(4)安装于承载器(3)底端。
[0006]优选地，所述头部运动驱动器(I)为两组，两组之间相互垂直耦合，每组头部运动驱动器(I)包括离合器(101)、减速器(102)、直流电机(103)及其直流电机控制驱动机构(104);所述直流电机控制驱动机构为环形直流电机控制板，直流电机控制板上装有5个光电传感器(105)及2个微动开关(106)，光电传感器(105)及微动开关(106)以30度夹角均匀分布于直流电机控制板(104) —侧中半圆周的外边缘，其中2个微动开关(106)之间呈180度夹角。[0007]优选地，所述手臂驱动器(2)为安装于承载器(3)左右两侧的两组多电机协同驱动装置；其中每组手臂驱动器(2)包括4个步进式运动关节(107)、1块手臂电机控制板(120)、1个肩关节支架(108)、1个大臂支架(109)、1个小臂支架(110)、1个手部支架(111)、1个300万像素COMS摄像头(118)。
[0008]优选地,每个步进式运动关节(107)由步进电机及其减速器构成；肩关节由两个步进式运动关节(107)垂直稱合构成,两个步进式运动关节(107)分别控制旋转自由度和上下摆动自由度。
[0009]优选地，所述设备承载器(3)包括I个立式支架(112)、1个折叠式支架(113)、1个抽拉式框架(114)和抽拉式框架中的可抽拉矩形隔板(115);所述立式支架(112)用于安装头部运动驱动器(1)，折叠式支架(113)用于安装触摸式交互屏幕，矩形隔板(115)用于安放手臂电机控制板(120)以及工业控制计算机(8);所述头部运动驱动器(I)和手臂驱动器
(2)以RS485总线为物理传输基础，通过ModBus协议与工业控制计算机(8)进行信息交互。
[0010]优选地，所述主-从轮式底盘(4)包括2个主驱动轮(I 16)、I个全向从动轮(I 17)和一个底盘承载器(122);所述主驱动轮(116)与头部运动驱动器(I)共用直流电机控制驱动机构(104)。
[0011]优选地，所述外壳模块(7)由硬质PVC材料制成，外壳模块(7)共搭载有柔性触摸传感器(124) 5个，其中，头顶I个、耳部2个、肩部2个，同时外壳模块(7)搭载有11组超声波测距传感器(125)，其中，前部4组、后部3组、两侧各2组。
[0012]优选地，所述矩形隔板(115)上还安装有多传感器控制及信息反馈模块(5)、网络安全模块(6),
其中，所述多传感器控制及信息反馈模块(5)为传感器信息收发控制模块，与各传感器进行信息交换，并以RS485总线为物理传输基础，通过ModBus协议与计算机主板(8)进行信息交互，所述传感器为柔性触摸传感器和超声波测距传感器；
所述网络安全模块(6)由物理隔离模块与数据过滤模块两部分构成构成；其中，物理隔离模块包括4片6N317光电隔离芯片、2片ARM处理器。
[0013]优选地，所述远程辅助治疗机器人装置包括视频采集模块、语音交互模块、LED输出模块(128)、IXD显示(129)及TC触控(130)模块；其中视频采集模块包括安装于抽拉式框架(114)顶部的I个CXD高速工业摄像机(119)，用于对患儿进行表情及微表情采集；语音交互模块包括安装于抽拉式框架(114)顶部的I个内置无线麦克风(126)、机器人头部及背后的3个扩音器(127)、语音识别及合成单元；LED输出模块(128)包括机器人头部及手部的LED灯及其LED控制电路；IXD显示模块(129)及TC触控模块(130)分别是安装于头部运动驱动器(I)上的IXD显示屏，以及安装于折叠式支架(113)上的触摸式交互屏幕。
[0014]一种面向孤独症儿童的智能社交系统，包括上述的远程辅助治疗机器人装置、社交能力训练子系统(9)、智能情绪分析子系统(10)、量表评估及数据库子系统(11);所述视频采集模块、语音交互模块、LED输出模块(128)、IXD显示(129)及TC触控(130)模块挂载于RS485总线之上，通过ModBus协议与社交能力训练子系统通信；智能情绪分析子系统采用非侵入式脑电监控模块实时采集患儿的脑电信息，并通过蓝牙无线传输到智能情绪分析子系统中进行解析。
[0015]本发明的优点和积极效果在于: I)通过RS485-ModBus协议转换模块与工业控制计算机进行信息交互实现了多关节联合驱动方式，使机器人具备实时的运动关节驱动能力；引入F_Direction基准向量缩减了随机节点与最优路径间的偏差，从而有效地缩短了路径规划耗时，提高了机器人运动的实时性与准确性；结合实时图像处理技术，实现可自动避让障碍的肢体运动路径规划功能；通过PWM双向控制技术与传感器及时延计算相结合的方式，控制肢体动作速度并测算运动角度及距离，实现机器人任意方向精度的姿态控制，使机器人在人机交互过程中可以实时准确地完成交互命令，有效地提高交互成功率。
[0016]2)该装置装载有柔性触摸传感器、超声波测距传感器、光电传感器等多种感应器件，COMS摄像头、CCD摄像头等图像采集器，同时装有LED、LCD等多种信息输出设备，为人机交互过程中的社交情绪互动行为提供了智能化的基础；各类别I/O设备分别通过多传感器控制及信息反馈模块协调管理，各模块挂载于RS485总线上，并通过RS485-ModBus协议转换模块直接与控制中心通信，这种分布式信息融合技术使系统具备高效的通信管理能力，同时增强了容错能力、便于设备的剪裁与升级。
[0017]3)根据医学专家意见，设计难度阶梯式的六种渐进型训练模式，为不同年龄及程度的患儿提供切实有效的治疗方案；采用多传感器、语音、图像、TC触控等多种手段全方位开展社交能力交互训练，大大增加了情感交互的途径，在提高患儿参与兴趣的同时为交互训练的效果带来了积极的影响；将高速工业摄像机对表情及微表情识别与分析技术与脑电监控技术相结合，为患儿情绪状态及辅助治疗阶段性成果的判定提供了可靠的工学和生理学依据；通过情绪转移算法，实现个性化的人机互动过程，训练患儿产生移情的社交能力；采用基于大型数据库的信息管理方式，利于安全管理和资料收集与病情分析，也可为日后治疗提供参考和依据。
[0018]4)系统具备自主训练与远程交互治疗两种模式，自主训练模式可使患儿在家庭等环境下随时随地进行社交能力训练，将治疗与娱乐有机地融为一体，远程交互治疗模式可使患儿足不出户就可享受医生的康复治疗指导，医生也可在提供在线医疗的同时及时了解、掌握患儿康复进度；在自主训练模式下，训练数据通过安全隔离模块向远程服务器单向传输，既可保障通信实时性，也可实现硬件阻隔外网信息威胁的功能；在远程交互治疗模式下，机器人系统采用基于关联规则挖掘的自适应数据过滤算法有效屏蔽外网危险信息、杜绝隐私泄露、保障交互系统的安全运行；该治疗模式的提出可有效节约医疗资源，大力促进家庭远程康复治疗的开展。
【专利附图】
【附图说明】
[0019]图1是本发明机器人的各功能模块之间的关系图。
[0020]图2是本发明机器人的头部机械结构图。
[0021]图3是本发明机器人头部及底盘运动控制核心电路电气连接原理图。
[0022]图4是本发明机器人手臂机械结构的立体图。
[0023]图5是本发明机器人手臂运动控制核心电路电气连接原理图。
[0024]图6是本发明机器人“凸”字形底盘的俯视图。
[0025]图7是本发明机器人设备承载器的结构图。
[0026]图8是本发明机器人折叠式触摸屏支架的结构图。[0027]图9是本发明机器人的总体机械结构图。
[0028]图10是本发明机器人的外壳效果图。
[0029]图11是本发明机器人设备控制/通信核心电路电气连接原理图。
[0030]图12是本发明机器人网络安全控制核心电气连接原理图。
[0031]图13是本发明机器人智能远程社交辅助治疗的主体控制流程图。
【具体实施方式】
[0032]下面结合附图与实例做进一步说明。
[0033]图1是本发明机器人的各功能模块之间的关系图。本发明通过应用多级模块式管理结构，提供了一种远程模式下安全可靠的人机智能交互技术，实现针对孤独症儿童的实时数据采集处理，智能响应及远程辅助治疗功能，解决了现有社交辅助治疗工具资源匮乏、情感互动程度不足、远程安全受限的问题。
[0034]如图2所示，该机器人的头部运动驱动器(I)有两组，相互垂直耦合，每组头部运动驱动器(I)包括相互独立的离合器(101)、减速器(102)、直流电机(103)及其控制驱动机构(104)，其中每组头部运动驱动器(I)负责一个自由度，一组负责机器人的点头动作，一组负责摇头动作。直流电机的控制驱动机构(104)为直流电机控制板，其呈圆环形垂直镶嵌于减速器(102)外侧，光电传感器(105)及微动开关(106)以30度夹角等差均匀分布于控制板(104) —侧中半圆周的外边缘，其中2个微动开关(106)之间呈180度夹角，微动开关(106)到控制板(104)圆心距离为5厘米，光电传感器(105)到控制板(104)圆心距离为6厘米。头部运动驱动器(I)采用STC12C5A16AD芯片作为核心控制器，即直流电机控制板(104)，其控制电路如图3所示，通过PWM双向控制与传感器及延时计算相结合的方式控制直流电机转动角度，例如，在每个30°内通过直流电机(103)控制延时(角速度X时延)来控制转动角度，并可通过具有限位功能的微动开关(106)设置头部转动最大角度物理限位，实现电机运动角度的精确定位。
[0035]如图4所示，该机器人的手臂驱动器(2)由肩关节、肘关节、腕关节三个运动机构协同驱动产生动作，手臂驱动器(2)分别安装于承载器(3)左右两侧，每组手臂驱动器(2)包括4个步进式运动关节(107)、I块手臂电机控制板(120)、I个肩关节支架(108)、I个大臂支架(109 )、I个小臂支架(110 )、I个手部支架(111 )、I个300万像素COMS摄像头(118)。其中，每个步进式运动关节(107)由步进电机及其减速器构成；肘关节及腕关节分别包括一个步进式运动关节(107),肩关节由两个步进式运动关节(107)垂直稱合构成,两个步进式运动关节(107)分别控制两个自由度，一个旋转自由度，一个上下摆动自由度，可实现手臂的360度全向旋转及180度上下摆动功能。手臂驱动器(2)采用TB6560AHQ芯片作为核心控制器，即手臂电机控制板(120)，其控制电路如图5所示，肩关节中负责旋转自由度的步进式运动关节(107)通过全向旋转轴与其它3个步进式运动关节(107)(肩关节中负责上下摆动的步进式运动关节(107),以及分别对应于肘关节及腕关节的两个步进式运动关节(107))的协同控制，机器人手臂可以灵活的指向任意方向，实时准确地完成系统下达的控制命令，控制误差小于0.5度。此外，在机器人两侧各加装有一枚300万像素COMS摄像头(118 )对手臂位姿及周围环境进行实时图像采集，通过USB通信接口实时上传，建立三维坐标系进行手臂动作实现的最有路径规划计算，并引入F_Direction基准向量以缩减随机节点与最优路径的偏差，从而缩短路径规划耗时，提高了该机器人运动的实时性与准确性，同时实现避障功能，有效避免由机器人肢体运动造成的人员误伤，使患儿与机器人的交互过程更加安全。
[0036]如图6所示，该机器人采用“凸”字形主-从轮式底盘地盘设计，主-从轮式底盘
(4)包括2个主驱动轮(116)、1个全向从动轮(117)和一个“凸”形底盘承载器(122)。“凸”形底盘承载器上具有电池安装位(123 )。主驱动轮(116 )通过独立的直流电机驱动，且与头部运动驱动器(I)共用核心控制器，即直流电机控制板(104)(图2)，通过PWM双向控制驱动直流电机转动，运动速度灵活可调，能够完成变/变速、直/曲线运动等多速度等级的快速动作响应。
[0037]该机器人的头部运动驱动器(I)搭载于承载器(3)顶端；手臂驱动器(2)分别搭载于承载器两侧；底盘(4)安装于承载器(3)底端。本发明机器人的设备承载器(3)结构图如图7所示，所述设备承载器(3)包括I个立式支架(112)、1个折叠式支架(113)、1个抽拉式框架(114)和抽拉式框架(114)中的2块可抽拉矩形隔板(115)。其中，立式支架(112)用于安装头部运动驱动器，折叠式支架(113)用于安装触摸式交互屏幕。安装触摸式交互屏幕的折叠式支架(113)采用三折叠式结构设计，如图8所示，在每个折叠位置设全向旋转轴，即包括3个360度全向旋转轴，可将触摸屏调节到适宜的高度及角度进行操作，使交互装置的设计更加人性化，同时也可达到节约储藏空间的目的；承载器(3)的内部采用抽拉式框架结构一抽拉式框架(114)，通过上下两条滑轨上加装两块隔板(115)实现对空间的立体化应用，抽拉式框架(114 )用于安装手臂驱动器并支撑整个机器人装置，上层矩形隔板(115)用于安放工业控制计算机(8)，下层矩形隔板(115)用于安放手臂驱动板(即手臂电机控制板(120))、多传感器控制及信息反馈模块(5)、网络安全模块(6)，安装在矩形隔板
(115)上的各控制板，包括工业控制计算机(8)，手臂电机控制板(120)，多传感器控制机信息反馈模块(5)，网络安全模块(6)，采用隔离柱架起，便于系统的检修维护与硬件升级。以此构成本如图9所示的机器人总体机械结构，图10为其安装外壳后的机器人装置效果图。所述外壳模块(7)由硬质PVC材料制成，具有卡通外形。该模块共搭载有柔性触摸传感器
(124)5个，其中，头顶I个、耳部2个、肩部2个，同时搭载有11组超声波测距传感器(125)，其中，前部4组、后部3组、两侧各2组。
[0038]机器人的头部运动驱动器(I)和手臂驱动器(2)挂载于RS485总线之上来实现多关节联合驱动，通过RS485-ModBus协议转换模块与工业控制计算机(8)进行信息交互，以此提高机器人对各运动关节的驱动能力并解决了延时影响交互效果的问题。所述装置将路径规划与避障技术应用于机器人的运动控制中，同时引入F_Direction基准向量以缩减随机节点与最优路径的偏差，从而有效地缩短了路径规划耗时，提高了该装置运动的实时性与准确性。机器人的头部关节及底盘主动轮采用直流电机驱动，通过PWM双向控制技术与传感器及时延计算相结合的方式，测算运动角度及距离；手臂关节采用步进电机驱动，通过图像处理技术与上述路径规划与避障技术相结合，控制误差小于0.5度，实现机器人任意方向的姿态控制和可自动避让障碍的肢体运动路径规划功能，此功能不仅提高了装置的运动可控性，同时也可有效避免由机器人肢体运动造成的人员误伤，使患儿与机器人的交互过程更加安全。
[0039]本发明中多传感器控制及信息反馈模块(5)为所有传感器信息的收发控制模块，由多传感器控制及信息反馈模块(5)与各传感器进行信息交换，通过RS485-ModBus协议转换模块与工业控制计算机(8)进行信息交互，所述传感器为柔性触摸传感器(124)和超声波测距传感器(125)。
[0040]网络安全模块(6)由物理隔离模块与软件过滤模块两部分构成。物理隔离模块由4片6N137光电隔离芯片及2片ARM处理器组成。在自主训练模式下，4片转换速率高达lOMb/s的6N137光电隔离芯片可在保障系统训练信息上传速度的同时实现硬件阻隔外网信息干扰的功能；一片ARM处理器用于安全模块与机器人系统的通信及信息控制，另一片ARM处理器用于数据格式转换及数据缓存，按照以太网协议规范打包数据并完成外网的信息传输及通信控制功能。在远程交互治疗模式下，从动态更新的网络安全数据库中提取高频项集，分层次建立数据关联规则，采用遗传算法实时调整关联参数，衍生出新的关联规贝U，从而实现自适应的数据过滤功能，保障交互系统的安全运行，进而实现安全可靠的家庭远程康复治疗模式。
[0041]本发明对多传感器信息进行采集分析，具体包括:
I)表情及微表情采集模块通过安装于抽拉式框架顶部的F-033BL型CXD高速工业摄像机(119)对患儿进行表情采集，摄像机的分辨率为656 X 494，帧率高达58帧/秒，因此，可在实时采集患儿表情图像的同时捕捉到微表情关键帧。所采集视频通过1394a接口将实时地传输给智能情绪分析子系统，通过特征提取、表情认知等图像处理后可更加准确地洞悉患儿的真实情绪变化过程，使机器人产生恰当的情感交互行为，并为孤独症儿童情感分析及社交训练规划提供客观的分析依据。
[0042]2)非侵入式脑电监测模块可通过无创的方法实时采集患儿的脑电信息，并通过蓝牙无线传输到智能情绪分析子系统中对其进行解析，与表情及微表情图像处理结果进行比对，综合产生患儿的情绪判断结果，为孤独症儿童的辅助治疗及医生的专业指导提供可靠的生理依据。
[0043]3 )5个柔性触摸传感器分布于机器人装置的头顶、耳部及肩部(可应具体需求任意增减)，柔性触摸传感器以卷式金属网格技术为基础，采用底层精细线条金属实现窄边弧的弯曲表面应用，其纤薄、轻量等特征利于机器人流线型表面的安装，该传感器为患儿提供了更加丰富的触摸体验，使机器人的拟人效果更加逼真，在交互训练过程中增强了交互感知能力，可提闻训练的未和力。
[0044]4) 11组超声波测距传感器分布于机器人底盘运动机构外边沿，通过对并行采集的距离数据进行分析来判断机器人周围障碍物的距离，误差小于0.5厘米。为患儿的交互过程提供适宜的操作距离，确保表情及微表情采集模块以最佳位置采集到交互者的面部图像，同时通过环境障碍物的检测，实现机器人的防碰撞保护功能。
[0045]本发明中所涉及的RS232-RS485转换及RS485-ModBus协议转换模块采用以STM32F103RC为核心的控制/通信电路设计，如图11所示。其中，STM32F103RC为采用32位Thumb2精简指令集系统的64引脚微控制器，是目前市场上集高性能、低功耗、强实时性于一体的嵌入式芯片之一。该微控制器具有Cortex-M3内核，内置高达256K字节的高速存储器，其I/O翻转速度可达18MHz，完全可以满足一对多的数据采集、设备控制、协议转换及实时通信的需求。分布式设备采用总线式的控制方式，其传输速率最高可达lOMbit/s，允许连接128个收发设备，极大地提高了机器人装置的设备扩展能力，电路设计有信号保护电路，使系统具有良好的防雷、抗浪涌及过流保护功能，使系统更加稳定。
[0046]该机器人采用光电隔离芯片与双ARM处理器相结合对广域网向局域网实行隔离式管理的自主训练网络上传模式以及基于关联规则挖掘的自适应数据过滤算法的远程交互治疗网络传输模式两种网络安全控制方式，以此提高对患儿隐私和机器人系统安全的保护能力，实现安全可靠的家庭远程康复治疗模式。在自主训练模式下，如图12所示，4片转换速率高达lOMb/s的6N137光电隔离芯片可在保障系统训练信息上传速度的同时实现硬件阻隔外网信息干扰的功能，以此保障训练数据可实时上传到服务器端并使系统在自主训练模式下不受外网病毒攻击；两片ARM946E-S处理器具备可动态分配的高速缓存，分别用于安全模块与机器人系统的通信与信息控制，以及局域网与以太网数据传输协议的转换，确保数据按照以太网协议规范打包并完成外网的信息传输与通信控制功能。在远程交互治疗模式下，在动态更新的网络安全数据库中提取出高频项集，分层次建立数据关联规则，采用遗传算法实时调整关联参数，衍生出新的关联规则，从而通过自适应的数据过滤算法有效屏蔽外网危险信息，保障交互系统的安全运行。
[0047]本发明机器人智能远程社交辅助治疗的主体控制流程如图13所示。面向孤独症儿童的智能社交系统的控制中心为华北工控所产的灵动型工业控制计算机(搭载Windows7操作系统)，设有社交能力训练、智能情绪分析以及量表评估及数据库三个子系统，其附属I/O结构包括:视频采集模块、脑电采集模块、非特定人语音识别模块、语音合成模块、LED多功能输出模块、LCD图像显示模块和TC触控交互模块等。
[0048]社交能力训练子系统是直接与患儿交互的前台；智能情绪分析则通过前台采集的表情图像进行基于连续状态空间的情绪状态映射，结合脑电分析结果在三维空间中应用基于心理能量及概率理论的情绪转移算法进行情感计算，并将结果转化为控制指令下达给社交能力训练子系统，使其产生人性化的交互响应；量表评估及数据库子系统不仅可完成交互过程中过程数据、表情图像、脑电信号及智能情绪分析结果的归档存储功能，还可实现ABC、ASSQ、CARS、社交反应量表、克氏表五种量表的在线填写功能，用于管理医务人员及家长的第三方评估结果，为日后的数据挖掘、疗效评估等提供有效依据。
[0049]具体地，社交能力训练子系统的硬件设备包括视频采集模块、语音交互模块、LED输出模块(128)、IXD显示(129)及TC触控(130)模块。视频采集模块通过安装于抽拉式框架顶部的I个CCD高速工业摄像机(119)对患儿进行表情及微表情采集并将图像信息实时地传输给智能情绪分析子系统。语音交互模块包括安装于抽拉式框架顶部的I个内置无线麦克风(126)、机器人头部耳机位置及背后的3个扩音器(127)、语音识别及合成单元。语音合成单兀配备有男声、女声、儿童声三种声音模式可供选择，并具备环绕立体声音效；LED输出模块(128)主要包括头部及手部的多彩LED指示灯和它的控制电路，以此吸引患儿的注意，配合完成共同关注等相关系统功能。LCD显示模块(129)及TC触控模块(130)是交互操作的核心，分别是安装于头部运动驱动器(I)上的LCD显示屏，以及安装于折叠式支架
(113)上的触摸式交互屏幕，IXD显示模块采用5.7寸(4:3)工业级高清液晶屏，TC触控部分采用7寸(16:9)工业级高清触摸屏，保障系统具备清晰的画质、良好的反应速度并可工作于较为恶劣的环境下。各模块所涉及的硬件设备均通过RS232转RS485转换板挂载于RS485总线之上，通过RS485-ModBus协议转换模块与社交能力训练子系统通信。
[0050]智能情绪分析子系统采用非侵入式脑电监控模块实时采集患儿的脑电信息，并通过蓝牙无线传输到智能情绪分析子系统中对其进行解析，为孤独症儿童的辅助治疗提供可靠的依据。同时，将社交能力训练子系统传来的表情图像进行基于连续状态空间的情绪状态映射，结合脑电分析结果在三维空间中应用基于心理能量及概率理论的情绪转移算法进行情感计算，并将结果转化为控制指令(具体过程为表情图像预处理一3D梯度投影(微表情关键帧捕捉)一Gabor特征提取一LBP特征降维一基于梯度量级加权的最近邻分类)，最后将控制指令下达给远程辅助治疗机器人装置，来实现交互表情及动作的响应，完成个性化的人机互动过程,训练患儿产生移情的社交能力。
[0051]量表评估及数据库子系统以SQL Server 2012作为数据管理平台，可分为患儿信息管理、医务人员信息管理、量表评估、交互信息记录四个模块。患儿信息管理模块主要对患儿的姓名、年龄、性别等基本信息进行管理；医务人员信息管理模块主要用于根据不同级别设置访问权限，有效保护患儿隐私；量表评估模块具备ABC、ASSQ、CARS、社交反应量表、克氏表五种量表的在线填写功能，用于管理医务人员及家长的第三方评估结果，为日后的数据挖掘、疗效评估等提供有效依据；交互信息模块在患儿登录后其交互训练的反应时间、完成时间、正确及错误率、重复训练次数等多项过程数据都将同步录入数据库中，让医务人员全面了解及掌握患儿在训练过程中体现的问题，以便进行有针对性的辅导和治疗。本发明机器人的社交能力训练子系统设置有共同关注、表情学习、表情测试、表情模仿、表情拼图、场景认知六种训练模式。以下依据其训练模式进行具体说明:
I)共同关注模式。机器人具备语音指引、语音+手臂动作同步指引、语音+手臂动作+LED闪动同步指引、语音+手臂+头部动作+LED闪动同步指引等多种引导方式，当语音指引发出后，通过实时的人脸位姿检测，判断患儿是否完成共同关注训练，若完成进行下一方向指引，若未完成则加大指引力度，再进行位姿判断，直到共同关注完成或多种引导方式全部用完为止，并同时将患儿响应时间、指引重复次数、每次指引后动作的完成情况、动作最终完成情况等数据提交给数据库统一管理。
[0052]2)表情学习模式。表情学习部分预置了六种基本情绪状态的表情图片，患儿可根据需要选择按类学习或随机学习。机器人通过LCD显示器及TC触控屏幕同步显示表情图片，并通过语音及文字提示讲述表情所蕴含的情绪状态，逐步改善患儿的认知情感缺失问题。与此同时，数据库同步记录患儿学习过的表情，及学习过程中对应的表情视频数据，为特殊教育及医生的专业指导提供研究依据。
[0053]3)表情测试模式。依据表情学习数据，该模块以设置关卡的方式为患儿提供适宜难度的表情测试题目，在同一难度下具体的测试形式分为:表情图片三选一、寻找正确的眼部表情、寻找正确的唇部表情，为提高患儿学习兴趣、加深记忆，本测试允许患儿在未选择正确的情况下再重复两次选择，同时设置语音、LED灯及IXD卡通表情奖励及鼓励机制，每题完成后在LCD屏重复显示正确答案，帮助患儿巩固所学表情。该测试过程中所显示的题目、每次选择结果、响应的时间等信息均会同步存入数据库中。此外，在学习过程中实时监测患儿表情及脑电信号的变化分析情绪变化，智能的调节测试难度，及时改善训练过程中的人机关系，为测试学习提供积极的影响。
[0054]4)表情模仿模式。依据表情学习的表情种类，该模块将为儿童提供语音指导与讲解来配合LCD屏显示的表情图片，帮助患儿完成表情的模仿。通过智能情绪分析子系统完成患儿表情特征的提取与分析，判断该表情的模仿契合度，并在给予患儿鼓励的同时予以进一步动作指导，提高患儿的表情表达能力。在模仿进行的过程中，数据将同步上传到数据库中，以便医务人员及时了解患者的训练进展，为后续治疗方案的设定提供切实依据。
[0055]5)表情拼图。依据患儿目前学习进展，该模块将筛选表情图片，并形成等额拼图和差额拼图两种形式的训练方法。患儿可通过TC触控屏幕拖拽图片，将其组合为语音提示中所要求的表情。若首次拼图未成功，则LCD屏将显示鼓励图片，语音提示患儿再来一次；若第二次拼图仍未成功，则系统以语音的形式引导患儿观看LCD屏短时显示的正确表情全图，并让患儿再次拼图。当患儿正确完成拼图时，系统将根据目前儿童的脑电信号判断其紧张程度，并智能地选择奖励音乐缓解患儿的紧张情绪。
[0056]6)场景认知。该模块根据图片的场景复杂度将图片进行分类，并共设置二选一、四选一、六选一三种表情选择题型，根据患儿学习进展，系统将综合考虑场景难度及题型难度解锁不同关卡。患儿可通过语音对于图片的内容讲解及自身看到图片后的内心感受选择与之相对应的表情情绪图片，同时系统通过摄像头及脑电监测模块实时分析患儿内心情绪变化予以正确的情绪引导与选择指导，使患儿认知场景的情绪状态、融入场景产生适当的移情，以帮助患儿逐步摆脱孤独的内心世界趋于正常的认知情绪状态。
【权利要求】
1.一种远程辅助治疗机器人装置，其特征在于:所述机器人装置包括头部运动驱动器(I)、手臂运动驱动器(2)、设备承载器(3)、主-从轮式底盘(4)、及外壳模块(7)，该机器人装置的头部运动驱动器(I)搭载于设备承载器(3)顶端；手臂驱动器(2)分别搭载于设备承载器(3)两侧；底盘(4)安装于承载器(3)底端。
2.根据权利I要求所述的远程辅助治疗机器人装置，其特征在于:所述头部运动驱动器(I)为两组，两组之间相互垂直耦合，每组头部运动驱动器(I)包括离合器(101 )、减速器(102)、直流电机(103)及其直流电机控制驱动机构(104);所述直流电机控制驱动机构为环形直流电机控制板，直流电机控制板上装有5个光电传感器(105)及2个微动开关(106)，光电传感器(105)及微动开关(106)以30度夹角均匀分布于直流电机控制板(104)—侧中半圆周的外边缘，其中2个微动开关(106)之间呈180度夹角。
3.根据权利I要求所述的远程辅助治疗机器人装置，其特征在于:所述手臂驱动器(2)为安装于承载器(3)左右两侧的两组多电机协同驱动装置；其中每组手臂驱动器(2)包括4个步进式运动关节(107)、I块手臂电机控制板(120)、I个肩关节支架(108)、I个大臂支架(109),1个小臂支架(110)、1个手部支架(111)、1个300万像素COMS摄像头(118)。
4.根据权利3要求所述的远程辅助治疗机器人装置，其特征在于:每个步进式运动关节(107)由步进电机及其减速器构成；肩关节由两个步进式运动关节(107)垂直I禹合构成，两个步进式运动关节(107)分别控制旋转自由度和上下摆动自由度。
5.根据权利I要求所述的远程辅助治疗机器人装置，其特征在于:所述设备承载器(3)包括I个立式支架(112)、1个折叠式支架(113)、1个抽拉式框架(114)和抽拉式框架中的可抽拉矩形隔板(115);所述立式支架(112)用于安装头部运动驱动器(1)，折叠式支架(113)用于安装触摸式交互屏幕，矩形隔板(115)用于安放手臂电机控制板(120)以及工业控制计算机(8);所述头部运动驱动器(I)和手臂驱动器(2)以RS485总线为物理传输基础，通过ModBus协议与工业控制计算机(8)进行信息交互。
6.根据权利I要求所述的远程辅助治疗机器人装置，其特征在于:所述主-从轮式底盘(4)包括2个主驱动轮(116)、1个全向从动轮(117)和一个底盘承载器(122);所述主驱动轮(116)与头部运动驱动器(I)共用直流电机控制驱动机构(104)。
7.根据权利I要求所述的远程辅助治疗机器人装置，其特征在于:所述外壳模块(7)由硬质PVC材料制成，外壳模块(7)共搭载有柔性触摸传感器(124) 5个，其中，头顶I个、耳部2个、肩部2个，同时外壳模块(7)搭载有11组超声波测距传感器(125)，其中，前部4组、后部3组、两侧各2组。
8.根据权利7要求所述的远程辅助治疗机器人装置，其特征在于:所述矩形隔板(115)上还安装有多传感器控制及信息反馈模块(5)、网络安全模块(6)，其中，所述多传感器控制及信息反馈模块(5)为传感器信息收发控制模块，与各传感器进行信息交换，并以RS485总线为物理传输基础，通过ModBus协议与计算机主板(8)进行信息交互，所述传感器为柔性触摸传感器和超声波测距传感器；所述网络安全模块(6)由物理隔离模块与数据过滤模块两部分构成构成；其中，物理隔离模块包括4片6N317光电隔离芯片、2片ARM处理器。
9.根据权利I要求所述的远程辅助治疗机器人装置，其特征在于:所述远程辅助治疗机器人装置包括视频采集模块、语音交互模块、LED输出模块(128)、IXD显示(129)及TC触控(130)模块；其中视频采集模块包括安装于抽拉式框架(114)顶部的I个CCD高速工业摄像机(119)，用于对患儿进行表情及微表情采集；语音交互模块包括安装于抽拉式框架(114)顶部的I个内置无线麦克风(126)、机器人头部及背后的3个扩音器(127)、语音识别及合成单元；LED输出模块(128)包括机器人头部及手部的LED灯及其LED控制电路；LCD显示模块(129)及TC触控模块(130)分别是安装于头部运动驱动器(I)上的IXD显示屏，以及安装于折叠式支架(113)上的触摸式交互屏幕。
10.一种面向孤独症儿童的智能社交系统，其特征在于:包括如权利要求9所述的远程辅助治疗机器人装置、社交能力训练子系统(9)、智能情绪分析子系统(10)、量表评估及数据库子系统(11);所述视频采集模块、语音交互模块、LED输出模块(128)、IXD显示(129)及TC触控(130)模块挂载于RS485总线之上，通过ModBus协议与社交能力训练子系统通信；智能情绪分析子系统采用非侵入式脑电监控模块实时采集患儿的脑电信息，并通过蓝牙无线传输到智能情绪分析子系统中进行解析。
【文档编号】G06Q50/22GK103612252SQ201310643539
【公开日】2014年3月5日 申请日期:2013年12月3日 优先权日:2013年12月3日
【发明者】刘欣, 付冬梅, 徐俊伟, 解仑, 王志良, 吴汝坤 申请人:北京科技大学