基于直接序列扩频体制的多模态语义通信方法及装置

本发明涉及卫星通信系统的智能编解码，具体涉及一种基于直接序列扩频体制的多模态语义通信方法及装置。

背景技术：

1、卫星通信作为移动通信的重要手段，具有覆盖范围广的优势，可以为无法基站的偏远地区提供信息传输服务。

2、目前，传统的卫星通信系统传输速率较低、业务种类受限、信道信噪比低，难以支撑未来的移动通信互联网服务。在卫星通信系统中，传统的文本、图像、视频压缩编码算法如霍夫曼编码、jpeg编码、h256等对数据量的压缩有限，无法实现多模态数据的实时传输，另外传统图片信源压缩编码算法对信噪比十分敏感，当信噪比下降到一定范围时，图像和视频解码效果会急速降低，所以传统的信源压缩编码方法无法适应抗干扰信道的低带宽和低信噪比特点。

3、因此，如何发明一种多模态语义通信方法，能够有效压缩文本、图像、视频的数据量，并在有限带宽的抗干扰信道中实现多模态业务传输，成为亟需解决的问题。

技术实现思路

1、为此，本发明提供一种基于直接序列扩频体制的多模态语义通信方法及装置，可有效压缩文本、图像、视频的数据量，在有限带宽的抗干扰信道中实现多模态业务传输。

2、为了实现上述目的，本发明提供如下技术方案：基于直接序列扩频体制的多模态语义通信方法，包括：

3、通过语义编码算法对多模态数据进行语义编码处理，获得压缩编码数据；

4、通过直扩频体制发送端设备对所述压缩编码数据进行扩频调制处理，并将调制后的所述压缩编码数据发送至无线信道；通过所述无线信道传输至直扩体制接收端设备；所述直扩体制接收端设备对接收到的所述压缩编码数据进行解扩解调处理，获得解调编码数据；

5、通过语义解码算法对所述解调编码数据进行语义解码处理，获得所述多模态数据。

6、作为基于直接序列扩频体制的多模态语义通信方法的优选方案，在通过所述语义编码算法对所述多模态数据进行语义编码处理的过程中，所述语义编码算法采用深度神经网络模型，包括文本语义编码算法、图像语义编码算法和视频语义编码算法。

7、作为基于直接序列扩频体制的多模态语义通信方法的优选方案，在通过所述语义解码算法对所述解调编码数据进行语义解码处理的过程中，所述语义解码算法采用深度神经网络模型，包括文本语义解码算法、图像语义解码算法和视频语义解码算法。

8、作为基于直接序列扩频体制的多模态语义通信方法的优选方案，所述语义解码算法及所述语义解码算法均通过语义知识库数据集进行联合训练。

9、作为基于直接序列扩频体制的多模态语义通信方法的优选方案，在通过所述语义编码算法对所述多模态数据进行语义编码处理的过程中，通过语义发送端监控软件对语义编码处理状态及结果进行监控；

10、在通过所述语义解码算法对所述解调编码数据进行语义解码处理的过程中，通过语义接收端监控软件对语义解码处理状态及结果进行监控。

11、本发明还提供基于直接序列扩频体制的多模态语义通信装置，基于以上基于直接序列扩频体制的多模态语义通信方法，包括：

12、语义编码模块，用于通过语义编码算法对多模态数据进行语义编码处理，获得压缩编码数据；

13、信道传输模块，用于通过直扩频体制发送端设备对所述压缩编码数据进行扩频调制处理，并将调制后的所述压缩编码数据发送至无线信道；通过所述无线信道传输至直扩体制接收端设备；所述直扩体制接收端设备对接收到的所述压缩编码数据进行解扩解调处理，获得解调编码数据；

14、语义解码模块，用于通过语义解码算法对所述解调编码数据进行语义解码处理，获得所述多模态数据。

15、作为基于直接序列扩频体制的多模态语义通信装置的优选方案，所述语义编码模块中，在通过所述语义编码算法对所述多模态数据进行语义编码处理的过程中，所述语义编码算法采用深度神经网络模型，包括文本语义编码算法、图像语义编码算法和视频语义编码算法。

16、作为基于直接序列扩频体制的多模态语义通信装置的优选方案，所述语义解码模块中，在通过所述语义解码算法对所述解调编码数据进行语义解码处理的过程中，所述语义解码算法采用深度神经网络模型，包括文本语义解码算法、图像语义解码算法和视频语义解码算法。

17、作为基于直接序列扩频体制的多模态语义通信装置的优选方案，所述语义编码模块及所述语义解码模块中，所述语义解码算法及所述语义解码算法均通过语义知识库数据集进行联合训练。

18、作为基于直接序列扩频体制的多模态语义通信装置的优选方案，所述语义编码模块中，在通过所述语义编码算法对所述多模态数据进行语义编码处理的过程中，通过语义发送端监控软件对语义编码处理状态及结果进行监控；

19、所述语义解码模块中，在通过所述语义解码算法对所述解调编码数据进行语义解码处理的过程中，通过语义接收端监控软件对语义解码处理状态及结果进行监控。

20、本发明具有如下优点：通过语义编码算法对多模态数据进行语义编码处理，获得压缩编码数据；通过直扩频体制发送端设备对所述压缩编码数据进行扩频调制处理，并将调制后的所述压缩编码数据发送至无线信道；通过所述无线信道传输至直扩体制接收端设备；所述直扩体制接收端设备对接收到的所述压缩编码数据进行解扩解调处理，获得解调编码数据；通过语义解码算法对所述解调编码数据进行语义解码处理，获得所述多模态数据。本发明针对卫星通信中的多模态数据(文本、图像、视频)可靠传输问题，基于深度学习网络构建了相应的语义编解码算法，在保证数据传输语义准确率的前提下，实现数据比特量的压缩，使其更适应扩频体制的低带宽信道。本发明使用直接序列扩频传输体制，保证数据传输的可靠性，使得该通信架构可以适应更低信噪比的恶劣信道。

技术特征：

1.基于直接序列扩频体制的多模态语义通信方法，其特征在于，包括：

2.根据权利要求1所述的基于直接序列扩频体制的多模态语义通信方法，其特征在于，在通过所述语义编码算法对所述多模态数据进行语义编码处理的过程中，所述语义编码算法采用深度神经网络模型，包括文本语义编码算法、图像语义编码算法和视频语义编码算法。

3.根据权利要求2所述的基于直接序列扩频体制的多模态语义通信方法，其特征在于，在通过所述语义解码算法对所述解调编码数据进行语义解码处理的过程中，所述语义解码算法采用深度神经网络模型，包括文本语义解码算法、图像语义解码算法和视频语义解码算法。

4.根据权利要求3所述的基于直接序列扩频体制的多模态语义通信方法，其特征在于，所述语义解码算法及所述语义解码算法均通过语义知识库数据集进行联合训练。

5.根据权利要求4所述的基于直接序列扩频体制的多模态语义通信方法，其特征在于，在通过所述语义编码算法对所述多模态数据进行语义编码处理的过程中，通过语义发送端监控软件对语义编码处理状态及结果进行监控；

6.基于直接序列扩频体制的多模态语义通信装置，采用权利要求1-5任一项所述的基于直接序列扩频体制的多模态语义通信方法，其特征在于，包括：

7.根据权利要求6所述的基于直接序列扩频体制的多模态语义通信装置，其特征在于，所述语义编码模块中，在通过所述语义编码算法对所述多模态数据进行语义编码处理的过程中，所述语义编码算法采用深度神经网络模型，包括文本语义编码算法、图像语义编码算法和视频语义编码算法。

8.根据权利要求7所述的基于直接序列扩频体制的多模态语义通信装置，其特征在于，所述语义解码模块中，在通过所述语义解码算法对所述解调编码数据进行语义解码处理的过程中，所述语义解码算法采用深度神经网络模型，包括文本语义解码算法、图像语义解码算法和视频语义解码算法。

9.根据权利要求8所述的基于直接序列扩频体制的多模态语义通信装置，其特征在于，所述语义编码模块及所述语义解码模块中，所述语义解码算法及所述语义解码算法均通过语义知识库数据集进行联合训练。

10.根据权利要求9所述的基于直接序列扩频体制的多模态语义通信装置，其特征在于，所述语义编码模块中，在通过所述语义编码算法对所述多模态数据进行语义编码处理的过程中，通过语义发送端监控软件对语义编码处理状态及结果进行监控；

技术总结
本发明公开基于直接序列扩频体制的多模态语义通信方法及装置，该方法通过语义编码算法对多模态数据进行语义编码处理，获得压缩编码数据；通过直扩频体制发送端设备对所述压缩编码数据进行扩频调制处理，并将调制后的所述压缩编码数据发送至无线信道；通过所述无线信道传输至直扩体制接收端设备；所述直扩体制接收端设备对接收到的所述压缩编码数据进行解扩解调处理，获得解调编码数据；通过语义解码算法对所述解调编码数据进行语义解码处理，获得所述多模态数据。本发明能够有效压缩文本、图像、视频的数据量，在有限带宽的抗干扰信道中实现多模态业务传输。

技术研发人员：刘思力,朱勇刚,吕蓉,杨志玺,陈如翰,张煜锋,崔璨,谢世珺,梁豪
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2025/3/27