一种带情感交互的座舱系统及其交互方法与流程

本发明实施例涉及车辆智能座舱，具体涉及一种带情感交互的座舱系统及其交互方法。

背景技术：

1、随着智能化概念在车辆领域的广泛使用，越来越多的车辆生产厂家在车辆上使用了各种智能化，特别是那些追求市场竞争力的头部车企业，在智能化领域投入了大量的人力、物力和财力，以提高产品的智能化。随之用户对座舱的使用场景也更加丰富，对服务和体验有更高要求，而智能化除了体现在智能驾驶方面，如何让用户获得更加智能化的体验，在智能座舱上展现智能场景是智能化理念在座舱领域一个重要的使用途经。随着座舱系统智能化的普及，用户越来越多的关注个人情绪的表达以及精神层面的需求。一般说来，座舱系统的情感交互仅仅局限于在一些手动操作领域，并没有在座舱系统内预置情感交互模型。因此，挖掘各种精神层面的智能化场景，通过座舱系统集成各种智能化情感交互的模型，就尤其显得重要。

技术实现思路

1、为此，本发明实施例提供一种带情感交互的座舱系统及其交互方法，以解决现有技术中座舱系统无法实现满足高层次情感交互需求和情绪表达的问题。

2、为了实现上述目的，本发明实施例提供如下技术方案：

3、根据本发明实施例的第一方面，本发明实施例提供了一种带情感交互的座舱系统，所述系统包括主控模块、dms驾驶员监测模块、oms乘员监测模块、语音采集模块、存储模块、音频输出模块以及交互显示模块，所述dms驾驶员监测模块、oms乘员监测模块、语音采集模块、存储模块、音频输出模块以及交互显示模块均与所述主控模块连接：

4、所述dms驾驶员监测模块用于采集驾驶员人脸情绪表情的视频图像数据，并将采集的视频图像数据传输至主控模块；

5、所述oms乘员监测模块用于采集车内乘员状态及人脸情绪表情的视频图像数据，并将采集的视频图像数据传输至主控模块；

6、所述语音采集模块用于采集车内所有人员的语音数据，并将采集的语音数据传输至主控模块；

7、所述存储模块用于存储预置的情感交互模型；

8、所述音频输出模块用于输出缓解情绪、情感关怀或满足特殊情感需求的音频交互信息；

9、所述交互显示模块用于输出缓解情绪、情感关怀或满足特殊情感需求的视频交互信息；

10、所述主控模块用于根据采集到的驾驶员或乘员的音视频数据利用预置的情感交互模型分析和判断驾驶员或乘员当前的情绪状态，根据驾驶员或乘员的情绪状态控制进入特定的智能化情感交互场景，并基于所述情感交互场景控制输出缓解情绪、情感关怀或满足特殊情感需求的音视频交互信息实现情感交互。

11、进一步的，所述主控模块包括mcu处理器以及与所述mcu处理器连接的soc处理器。

12、进一步的，所述mcu处理器与soc处理器之间采用uart、spi通信方式。

13、进一步的，所述dms驾驶员监测模块包括dms摄像采集模块，所述dms驾驶员监测模块与主控模块采用lvds通信方式。

14、进一步的，所述oms乘员监测模块包括oms摄像采集模块，所述oms乘员监测模块与主控模块采用lvds通信方式。

15、进一步的，所述语音采集模块与主控模块采用iic通信方式。

16、进一步的，所述存储模块与主控模块采用dma通信方式。

17、进一步的，所述交互显示模块包括交互显示界面以及内嵌的os操作系统及应用。

18、根据本发明实施例的第二方面，本发明实施例提供了一种带情感交互的座舱系统的交互方法，所述方法包括：

19、通过dms驾驶员监测模块采集驾驶员人脸情绪表情的视频图像数据，并将采集的视频图像数据传输至主控模块；

20、通过oms乘员监测模块采集车内乘员状态及人脸情绪表情的视频图像数据，并将采集的视频图像数据传输至主控模块；

21、通过语音采集模块用于采集车内所有人员的语音数据，并将采集的语音数据传输至主控模块；

22、通过存储模块存储预置的情感交互模型；

23、通过主控模块根据采集到的驾驶员或乘员的音视频数据利用预置的情感交互模型分析和判断驾驶员或乘员当前的情绪状态，根据驾驶员或乘员的情绪状态控制进入特定的智能化情感交互场景，并基于所述情感交互场景通过控制音频输出模块或交互显示模块输出缓解情绪、情感关怀或满足特殊情感需求的音视频交互信息实现情感交互。

24、进一步的，所述方法还包括：

25、当检测到车内有儿童活动时，控制播放适宜于儿童的相关动画片，以便于使儿童转移注意力，不影响车内驾驶员的驾车操作。

26、与现有技术相比，本发明提供的一种带情感交互的座舱系统及其交互方法，所述系统包括主控模块、dms驾驶员监测模块、oms乘员监测模块、语音采集模块、存储模块、音频输出模块以及交互显示模块，所述dms驾驶员监测模块、oms乘员监测模块、语音采集模块、存储模块、音频输出模块以及交互显示模块均与所述主控模块连接。通过主控模块根据采集到的驾驶员或乘员的音视频数据利用预置的情感交互模型分析和判断驾驶员或乘员当前的情绪状态，根据驾驶员或乘员的情绪状态控制进入特定的智能化情感交互场景，并基于所述情感交互场景通过控制音频输出模块或交互显示模块输出缓解情绪、情感关怀或满足特殊情感需求的音视频交互信息实现情感交互，从而达到缓解情绪、满足用户精神需求的目的。本发明的车辆内智能座舱系统通过车辆内部的信号采集设备采集相关数据并结合座舱系统集成的数学模型实现情感交互的方式，从而使座舱系统能根据当前车内的应用场景，产生个性化的情感交互，从而提高了智能座舱系统的智能化。

技术特征：

1.一种带情感交互的座舱系统，其特征在于，所述系统包括主控模块、dms驾驶员监测模块、oms乘员监测模块、语音采集模块、存储模块、音频输出模块以及交互显示模块，所述dms驾驶员监测模块、oms乘员监测模块、语音采集模块、存储模块、音频输出模块以及交互显示模块均与所述主控模块连接：

2.根据权利要求1所述的一种带情感交互的座舱系统，其特征在于，所述主控模块包括mcu处理器以及与所述mcu处理器连接的soc处理器。

3.根据权利要求2所述的一种带情感交互的座舱系统，其特征在于，所述mcu处理器与soc处理器之间采用uart、spi通信方式。

4.根据权利要求1所述的一种带情感交互的座舱系统，其特征在于，所述dms驾驶员监测模块包括dms摄像采集模块，所述dms驾驶员监测模块与主控模块采用lvds通信方式。

5.根据权利要求1所述的一种带情感交互的座舱系统，其特征在于，所述oms乘员监测模块包括oms摄像采集模块，所述oms乘员监测模块与主控模块采用lvds通信方式。

6.根据权利要求1所述的一种带情感交互的座舱系统，其特征在于，所述语音采集模块与主控模块采用iic通信方式。

7.根据权利要求1所述的一种带情感交互的座舱系统，其特征在于，所述存储模块与主控模块采用dma通信方式。

8.根据权利要求1所述的一种带情感交互的座舱系统，其特征在于，所述交互显示模块包括交互显示界面以及内嵌的os操作系统及应用。

9.根据权利要求1-8中任一所述的一种带情感交互的座舱系统的交互方法，其特征在于，所述方法包括：

10.根据权利要求9所述的一种带情感交互的座舱系统的交互方法，其特征在于，所述方法还包括：

技术总结
本发明公开了一种带情感交互的座舱系统及其交互方法，所述系统包括主控模块、DMS驾驶员监测模块、OMS乘员监测模块、语音采集模块、存储模块、音频输出模块以及交互显示模块。通过主控模块根据采集到的驾驶员或乘员的音视频数据利用预置的情感交互模型分析和判断驾驶员或乘员当前的情绪状态，根据驾驶员或乘员的情绪状态控制进入特定的智能化情感交互场景，并基于所述情感交互场景通过控制音频输出模块或交互显示模块输出缓解情绪、情感关怀或满足特殊情感需求的音视频交互信息实现情感交互，从而达到缓解情绪、满足用户精神需求的目的。

技术研发人员：武科,张金磊,芮开闩,陈光飞,马强,朱结园,王涛,吴繁森
受保护的技术使用者：奇瑞新能源汽车股份有限公司
技术研发日：
技术公布日：2024/8/16