一种面向机器的多模态协同编码装置及其运用方法

技术特征：

1.一种面向机器的多模态协同编码装置，其特征在于，包括：

2.如权利要求1所述的面向机器的多模态协同编码装置，其特征在于，所述特征抓取模块，具体包括：

3.如权利要求1所述的面向机器的多模态协同编码装置，其特征在于，所述特征解编码模块，具体包括：

4.如权利要求1所述的面向机器的多模态协同编码装置，其特征在于，所述模态想象模块，具体为：

5.如权利要求1所述的面向机器的多模态协同编码装置，其特征在于，所述分类器模块，具体包括：

6.如权利要求1所述的面向机器的多模态协同编码装置，其特征在于，还包括：

7.如权利要求1所述的面向机器的多模态协同编码装置，其特征在于，所述面向机器的多模态协同编码装置的联合损失函数，具体包括：

8.如权利要求1所述的面向机器的多模态协同编码装置，其特征在于，所述各模态的原生特征是帧级别的特征，所述各模态的原生特征的抓取方式，具体包括：

9.一种面向机器的多模态协同编码装置的运用方法，其特征在于，将如权利要求1-8任一项所述的面向机器的多模态协同编码装置运用于测试阶段，包括：

10.一种面向机器的多模态协同编码装置的运用方法，其特征在于，将如权利要求1-8任一项所述的面向机器的多模态协同编码装置运用于训练阶段，包括：

技术总结
本发明公开了一种面向机器的多模态协同编码装置及其运用方法，所述装置包括特征抓取模块，用于从各模态的原生特征中抓取对应的专属嵌入特征；特征编解码模块，用于对所述专属嵌入特征进行编码压缩，通过信道传输在解码端进行特征解码获得重构特征；模态想象模块，用于通过已有模态信息想象出丢弃模态信息，获得前向丢弃模态特征以及联合多模态特征；分类器模块，用于以所述联合多模态特征为输入，获得概率分布结果，以进行多模态任务情感识别。因此，本发明实施例能够舍弃数据级别的保真而采用了语义级别的保真，对中间特征进行压缩、传输来降低带宽负载。

技术研发人员：宋晓丹,覃浩峻,高大化,谢雪梅,石光明
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/1/25