一种面向沟通训练的模块化交互装置、系统及组合方法与流程

本发明属于人机交互技术，具体涉及一种面向沟通训练的模块化交互装置、系统及组合方法。

背景技术：

1、现有的辅助沟通系统(aac)是面向上述沟通障碍的有效训练系统。aac是用于帮助无法口头交流或需要辅助交流的个体表达自己的系统。这些系统可以包括文字、符号、图片、手势、电子设备等。aac系统包括很多种，从简单的手势和图片板到更复杂的语音生成器和电子设备。其中一些系统使用预制的符号和图片，而其他系统则允许用户自定义内容。aac系统被用于帮助多种不同的人群，包括患有自闭症、失语症、运动障碍或其他语言沟通障碍的个体。这些系统有助于提高他们的沟通能力和日常生活的独立性。

2、但是，现有的辅助沟通系统通常是基于固定式的交流卡片和用于发声的固定硬件组成。但是固定模式的往往不具有灵活的扩展性。

技术实现思路

1、发明目的：针对现有技术中的acc存在不够灵活等问题，本发明提供一种面向沟通训练的模块化交互装置、系统及组合方法。

2、为实现上述的发明目的，本发明采用如下的技术方案。

3、一种面向沟通训练的模块化交互装置，包括：

4、控制装置：用于整个模块化交互装置的控制，包括控制通信，控制传输内容，解析传输内容和监测电量状态；

5、交互装置：基于nfc技术识别交互卡片所包含的内容，并通过控制装置输出；

6、所述的交互卡片可写入沟通训练的内容，包括校验码；

7、所述控制装置和交互装置组合采用1+n的方式，1个控制装置可组合n个交互装置以构成所述面向沟通训练的模块化交互装置，给定控制装置d0，交互装置d1～dn；

8、给定存在任意的组合方式的位置关系可以表示为n+1维的邻接矩阵a，则存在如下定义：

9、

10、其中，aij的取值0,±1，±2；取值0表示di和dj不相连，取值1表示di和dj为左右相连，取值2表示di和dj为上下相连，取值-1表示di和dj为右左相连，取值-2表示di和dj为下上相连；

11、aii＝nan，表示装置自身不存在连接或者不连接的定义。

12、进一步地，所述的控制模块包括核心主控模块、供电模块、扬声器模块、通信模块、充电模块、按钮模块以及触点接口；

13、所述的核心主控模块：用于整个沟通训练的模块化交互装置的控制，包括控制通信，控制传输内容，解析传输内容，监测电量状态；

14、所述供电模块：为核心主控模块提供电源；

15、所述扬声器模块：在阅读卡片内容时候进行发声；

16、所述通信模块：采用蓝牙、wi-fi或者移动通信网络进行对外通信；

17、所述充电模块：通过外接电源对所有装置进行充电；

18、所述按钮模块：包括一个或者多个，进行按钮触发及相应操作；

19、所述触点接口：用于交互装置间的桥接，触点用于通电和信息传输。

20、进一步地，所述的交互装置包括从主控模块、供电模块、扬声器模块、灯光模块、nfc读模块、按钮模块以及四个触点接口：

21、从主控模块：用于交互装置的控制，包括控制通信，解析nfc内容，传输内容，监测电量状态；

22、供电模块：为从主控模块提供电源；

23、扬声器模块：在阅读卡片内容时候进行发声；

24、灯光模块：进行灯光反馈，包括设置led灯；

25、nfc读模块：当卡片放置在模块上时阅读nfc芯片内容；

26、按钮模块：包括一个及以上，进行按钮触发及相应操作；

27、触点接口：用于模块间的桥接，触点用于通电和信息传输。

28、进一步地，所述装置是将模块化的交互装置采用磁吸式的拼装方式进行组合，至少包括控制装置和两个交互装置，所述的两个交互装置通过触点接口与控制装置连接，分别是主交互装置和从交互装置。

29、针对上述装置所采用的灵活组合，本发明提供一种面向沟通训练的模块化交互装置的组合使用方法，该方法用于控制装置确定交互装置的位置，步骤如下：

30、s1、首先点开控制装置上的开机，所有装置均上电初始化；

31、s2、所有交互装置将自己的id＝{0,1,2，……，n}通过四个触点向四个侧面进行发送；

32、s3、每个交互装置接收到相邻装置发送的id号，形成自己的邻接关系数组，记为

33、s4、每个交互装置将自己的位置关系数据发送给控制装置；

34、s5、由控制装置将所有的位置关系数据合并起来，计算组成整体的位置关系矩阵a。

35、为了实现上述面向沟通训练的模块化交互装置的交互沟通训练行为，本发明提供一种交互系统，该系统用于实现所述装置的交互和沟通训练，该系统包括数据模块、语音包模块、算法模块和管理模块；

36、任务模块：含有各种用于沟通训练的任务，包括卡片识读、卡片填空、选择问答在内的训练任务；

37、语音包模块：包括有所有交互卡片内对应发声的语音包，以及扩展的场景化的连续语音包；

38、数据模块：用于采集和存储完成训练过程中的全程实时数据采集，包括任务完成情况，包括完成时长、正确率、错误率和反应时间；

39、算法模块：基于数据模块实时提供的数据来对儿童的任务完成情况进行评估；

40、用户管理模块：用于学生信息登记、干预训练任务选择、历史训练记录查看、以及附加训练任务的记录管理；

41、管理模块：用于进行用户信息管理、设备管理、资源下载管理。

42、进一步地，该系统对于交互卡片的处理包括：

43、卡片识别：交互装置阅读到nfc卡片上的全局唯一id号，然后通过该id号查到语音包模块中对应id的音频文件进行播放，从而得到自动卡片识读；

44、卡片填空：给出一个有多张卡片组成的完整的语义表达题目q，根据题目要求，将其中的几张预先放置在交互装置上，然后让学生去将其他未放置的放置上去，当全部完成后，系统会将识别到的卡片id号对应的内容组成答案a，如果判断a＝q则判定为正确，如果a≠q则判定为错误；

45、选择回答：系统给出一个具有预设结果q的选择性问答题目，学生以肯定或否定，或从给定的选项中给出应答，由系统给出应答的正确与否判定。

46、所述系统中，所述算法模块的实现包括如下：

47、对于一个任务完成的主要指标包括完成时间time和正确率rate；

48、评估结果打分根据完成时间和正确率进行加权计算，所述系统包括如下两种方式：

49、(a)对于打分规则定义为：score＝a*time+b*rate；

50、其中系数a和b可以根据不同的评分规则进行定义；

51、(2)打分规则定义为：score＝fa,b,time,rate；

52、其中a和b是算法参数，f()包括线性计算或非线性计算。

技术特征：

1.一种面向沟通训练的模块化交互装置，其特征在于，包括：

2.根据权利要求1所述的面向沟通训练的模块化交互装置，其特征在于，所述的控制模块包括核心主控模块、供电模块、扬声器模块、通信模块、充电模块、按钮模块以及触点接口；

3.根据权利要求1所述的面向沟通训练的模块化交互装置，其特征在于，所述的交互装置包括从主控模块、供电模块、扬声器模块、灯光模块、nfc读模块、按钮模块以及四个触点接口：

4.根据权利要求1所述的面向沟通训练的模块化交互装置，其特征在于，所述装置是将模块化的交互装置采用磁吸式的拼装方式进行组合，至少包括控制装置和两个交互装置，所述的两个交互装置通过触点接口与控制装置连接，分别是主交互装置和从交互装置。

5.根据权利要求1-4任一项所述的面向沟通训练的模块化交互装置的组合使用方法，其特征在于，该方法用于控制装置确定交互装置的位置，步骤如下：

6.基于权利要求1所述的面向沟通训练的模块化交互装置的交互系统，该系统用于实现所述装置的交互和沟通训练，其特征在于，该系统包括数据模块、语音包模块、算法模块和管理模块；

7.根据权利要求6所述的的交互系统，其特征在于，该系统对于交互卡片的处理包括：

8.根据权利要求6所述的的交互系统，其特征在于，所述算法模块的实现包括如下：

技术总结
本发明公开了一种面向沟通训练的模块化交互装置、系统及组合方法，属于人机交互技术。本发明所述的装置包括用于整个模块化交互装置的控制，还包括控制通信，控制传输内容，解析传输内容和监测电量状态的控制装置，该装置基于NFC技术识别交互卡片所包含的内容，并通过控制装置输出的交互装置。本发明还提供一种交互系统实现该装置的交互使用。在本发明中，控制装置和交互装置组合采用1+N的方式，1个控制装置可组合N个交互装置以构成所述面向沟通训练的模块化交互装置。本发明能够在沟通训练教学过程中，保留基于交互卡片沟通交流形式，同时还能够根据使用场景进行灵活组合，并且还可以配合软件系统进行互动式训练。

技术研发人员：刘军发,蒋鑫龙,莫富尧,高晨龙,徐文
受保护的技术使用者：中科科乐智造科技（苏州）有限公司
技术研发日：
技术公布日：2024/4/17