多源语义通信模型的训练方法、装置、设备及存储介质

本发明属于深度学习及物联网通信，尤其涉及一种多源语义通信模型的训练方法、装置、设备及存储介质。

背景技术：

1、5g的部署催生出各种新兴物联网应用不断涌现，互联互通的智能设备产生的海量数据交换带来了巨大的通信负荷，对通信系统的各项技术指标提出了更为苛刻的要求，因此业界开始积极探索6g移动通信技术以满足未来物联网应用的技术要求。然而，目前基于香农信息论的无线通信架构已逐步逼近理论极限，例如信源编码技术已逼近信源熵率失真函数，ldpc码、极化码等信道编码技术也已接近信道容量，另外，在多源中继通信网络中，源节点和目标节点之间的通信依赖于中继节点的协助转发，以扩大源节点的通信范围并降低信号传输损耗。目前中继协同通信网络主要的研究集中在基于比特传输的传统通信范式，旨在通过优化关键性能指标(如吞吐量、时延和丢包率)，以实现比特传输的传输效率与可靠性，例如，一些方案提出不同的中继转发策略，针对不同的优化目标设计中继如何对信号进行处理并转发，此外，许多方案致力于开发中继选择算法，通过评估各个中继节点的质量和性能指标(如信号强度、干扰水平、路径损耗等)来选择最优的下一跳中继节点。然而，面向比特传输的传统通信方案都忽略了所发送消息内的丰富语义信息，消息中的重要语义和冗余信息被一同编码为比特流，分配完全一致的通信资源，这就导致有潜在的通信资源浪费风险，因为接收方仅需关键的语义信息即可实现“达意”的通信目标，因此，当前基于比特传输的传统通信系统亟需技术革新，以适应未来6g移动通信的发展需求。

2、近年来，由于人工智能相关技术在不同领域的中的出色表现，业界开始探索无线通信与人工智能的有机结合，其中语义通信作为一种新型通信范式受到了广泛的关注，被认为是6g的关键技术之一。语义通信致力于传输消息的关键语义，使接收方理解消息的含义，即实现通信的最终目的——“达意通信”。相较于传统通信，语义通信有效减少对语义冗余信息的通信资源分配，从而提高通信效率，有望突破香农的理论限制。当前在中继网络中，大多语义通信方案只关注单源通信场景，即在单发送端单接收端的点对点通信系统中设计语义通信模型，以实现对多种类型的数据(例如文本、语义、图像、视频以及多模态数据)在语义层面的传输，少部分方案尝试在中继协同通信网络中应用语义通信设计不同的中继转发策略，但这些方案仅考虑了单源的情况，然而实际通信场景中可能存在多个信号源，当采用这些方案所设计的转发策略时，来自不同源的信号在中继将被单独转发，没有考虑不同源节点信号之间的关联性，因此，亟需一种新的面向多源中继协同通信网络的多源语义通信模型以解决上述问题。

技术实现思路

1、本发明的目的在于提供一种多源语义通信模型的训练方法、装置、设备及存储介质，旨在解决由于现有技术导致在多源中继通信网络中通信效率低、通信资源浪费的问题。

2、一方面，本发明提供了一种多源语义通信模型的训练方法，所述多源语义通信模型包括用于部署在源节点中的语义发送模块、用于部署在中继节点中的语义信息融合模块和用于部署在目的节点中的语义恢复模块，所述方法包括下述步骤：

3、基于预先构建的辅助接收器，根据局部图像数据集对所述语义发送模块进行训练，直至预先设置的第一损失函数收敛；

4、基于训练好的所述语义发送模块，根据完整图像数据集对所述语义信息融合模块和所述语义恢复模块进行训练，直至预先设置的第二损失函数收敛。

5、优选地，所述基于预先构建的辅助接收器，根据局部图像数据集对所述语义发送模块进行训练，直至预先设置的第一损失函数收敛的步骤，包括：

6、对所述局部图像数据集进行预处理；

7、从预处理后的所述局部图像数据集中随机抽取样本，得到第一训练样本；

8、通过所述语义发送模块对所述第一训练样本进行语义特征处理，得到语义特征信号；

9、通过所述辅助接收器对接收到的所述语义特征信号进行图像重构，得到第一恢复图像；

10、根据所述第一训练样本和所述第一恢复图像，计算所述第一损失函数的第一损失值，基于所述第一损失值，更新所述语义发送模块和所述辅助接收器的可训练参数，当所述第一损失函数未收敛时，跳转至所述从预处理后的所述局部图像数据集中随机抽取样本的步骤继续执行，直至所述第一损失函数收敛。

11、优选地，将训练好的所述语义发送模块部署到所有源节点中，所述源节点的数量不少于2个，所述基于训练好的所述语义发送模块，根据完整图像数据集对所述语义信息融合模块和所述语义恢复模块进行训练，直至预先设置的第二损失函数收敛的步骤，包括：

12、对所述完整图像数据集进行预处理；

13、从预处理后的所述完整图像数据集中随机获取样本，得到第二训练样本；

14、通过被激活的源节点中的所述语义发送模块对由所述源节点从所述第二训练样本中采集到的局部图像进行语义特征处理，得到局部语义特征信号；

15、通过所述语义信息融合模块对接收到的所述局部语义特征信号进行语义信息融合，得到融合特征信号；

16、通过所述语义恢复模块对接收到的所述融合特征信号进行语义恢复，得到第二恢复图像；

17、根据所述第二训练样本和所述第二恢复图像，计算所述第二损失函数的第二损失值，基于所述第二损失值，更新所述语义信息融合模块和所述语义恢复模块的可训练参数，当所述第二损失函数未收敛时，跳转至所述从预处理后的所述完整图像数据集中随机获取样本的步骤继续执行，直至所述第二损失函数收敛。

18、优选地，所述语义发送模块包括语义编码器和信道编码器，其中，所述语义编码器由一层二维卷积层和两层残差块构成，所述信道编码器由一层展平层、多层感知器层以及一层功率归一化层构成。

19、优选地，所述辅助接收器包括信道解码器和语义解码器，其中，所述信道解码器由一层连接层、多层感知器层以及一层重塑层构成，所述语义解码器由两层残差块与一层二维反卷积层构成。

20、优选地，所述语义信息融合模块包括连接层、位置编码层、转换器层、线性映射层、重塑层以及功率归一化层，所述语义恢复模块包括重塑层、线性映射层、标记嵌入层、位置编码层以及转换器层。

21、另一方面，本发明提供了一种在多源中继通信网络中的图像传输方法，基于如上述任一项所述的多源语义通信模型的训练方法得到的多源语义通信模型，将所述多源语义通信模型中的语义发送模块部署在所有的源节点中、将所述多源语义通信模型中的语义信息融合模块部署在中继节点中、将所述多源语义通信模型中的语义恢复模块部署在目的节点中，所述方法包括：

22、获取待观测的目标区域的目标完整图像；

23、通过被激活的源节点中的所述语义发送模块对由所述源节点从所述目标完整图像中采集到的局部图像进行语义特征处理，得到目标局部语义信号；

24、通过所述语义信息融合模块对接收到的所述局部语义信号进行语义信息融合，得到目标融合信号；

25、通过所述语义恢复模块对接收到的所述目标融合信号进行语义恢复，得到目标恢复图像。

26、另一方面，本发明提供了一种多源语义通信模型的训练装置，所述多源语义通信模型包括用于部署在源节点中的语义发送模块、用于部署在中继节点中的语义信息融合模块和用于部署在目的节点中的语义恢复模块，所述装置包括：

27、第一训练单元，用于基于预先构建的辅助接收器，根据局部图像数据集对所述语义发送模块进行训练，直至预先设置的第一损失函数收敛；

28、第二训练单元，用于基于训练好的所述语义发送模块，根据完整图像数据集对所述语义信息融合模块和所述语义恢复模块进行训练，直至预先设置的第二损失函数收敛。

29、另一方面，本发明还提供了一种通信设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述多源语义通信模型的训练方法所述的步骤。

30、另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述多源语义通信模型的训练方法所述的步骤。

31、本发明基于预先构建的辅助接收器，根据局部图像数据集对语义发送模块进行训练，直至预先设置的第一损失函数收敛，基于训练好的语义发送模块，根据完整图像数据集对语义信息融合模块和语义恢复模块进行训练，直至预先设置的第二损失函数收敛，其中，多源语义通信模型包括用于部署在源节点中的语义发送模块、用于部署在中继节点中的语义信息融合模块和用于部署在目的节点中的语义恢复模块，从而通过采用分阶段的训练策略，提高了用于多源中继通信网络中的模型的训练效率，并提高多源语义通信模型在多源通信中的通信效率，降低对通信资源的浪费。