一种针对语义通信的信道分集方法及装置

1.本发明涉及通信技术和计算机技术领域，特别是指一种针对语义通信的信道分集方法及装置。


背景技术：

2.信道分集(或空间分集)是无线通信系统中一种增强数据传输可靠性方法。具体而言，为获取分集增益，通信系统被设计为一个多输入多输出(multi-input multi-output,mimo)架构，即通信系统的发送端和接收端都具备多个收发天线。在发送数据时，发送端所有天线都同时发出同一数据，接收端所有天线则同时接收所发送数据，最后通过一定的合并规则解码出所发送的数据。由于分集技术能够利用收发端天线之间多个相对独立的无线传输信道，因此能够取得相比于一根天线对更高的传输可靠性。这种利用不同传输路径所取得的性能提升称为分集增益。
3.语义通信是一种利用深度学习技术实现替代传统通信的端到端通信技术。在语义通信中，发送端和接收端的功能分别由基于深度学习的编码器和解码器实现，其中能够实现信源编码、信道编码、调制等功能，接收端则能够实现解调、信道解码、信源解码等功能。相比于传统通信技术，语义通信具有更强的数据压缩能力和抗噪声能力，是未来6g等通信系统中关键支撑技术。
4.当前，针对语义通信的技术研究尚处于起步阶段，虽然目前的语义通信装置可以实现点到点的通信过程，但不具备重复利用语义信道的能力，因此无法利用语义信道的分集增益以进一步增强其通信过程的可靠性。


技术实现要素：

5.针对现有技术中不具备重复利用语义信道的能力，无法利用语义信道的分集增益以进一步增强其通信过程的可靠性的问题，本发明提出了一种针对语义通信的信道分集方法及装置。
6.为解决上述技术问题，本发明提供如下技术方案：
7.一方面，提供了一种针对语义通信的信道分集方法，该方法应用于电子设备，包括以下步骤：
8.s1：在语义通信系统的发送端和接收端，分别部署多个不同的编解码对edp模型；
9.s2：获取单个待发送数据，将所述待发送数据输入不同的编码器，获得多个不同的初始语义符号向量；
10.s3：所述多个不同的初始语义符号向量，通过发送端的发送装置分别发往所述接收端；所述接收端获得叠加了噪声干扰的语义符号向量；
11.s4：选取一个编码器中的初始语义符号向量，将所述初始语义符号向量输入到与所述编码器结对的解码器中，获得信号恢复结果或智能推理结果；将多个编码器输出的结果进行合并，得到最终的全局结果。
12.可选地，步骤s1中，在语义通信系统的发送端和接收端，分别部署多个不同的编解码对edp模型，包括：
13.s11：准备训练数据，在语义通信系统的发送端和接收端训练n个不同的edp模型；
14.s12：模拟不同信噪比条件下各个edp模型的数据传输能力，获得不同snr条件下每个edp模型所得到结果的质量；
15.s13：通过拟合或训练预测模型，获得物理信道的信噪比snr对edp输出结果质量的影响关系模型。
16.可选地，所述edp模型根据应用实际需要进行针对性设计，包括：深度学习模型、卷积神经网络、循环神经网络、注意力机制、全连接神经网络。
17.可选地，不同信噪比snr条件下edp模型传输能力的评估模型可根据实际应用需要进行灵活设计。
18.可选地，步骤s3中，所述多个不同的初始语义符号向量，通过发送端的发送装置分别发往所述接收端；所述接收端获得叠加了噪声干扰的语义符号向量，包括：
19.将获得的多个不同的初始语义符号向量通过物理信道发送至接收端；所述接收端获得叠加了噪声干扰的语义符号向量，记录每个初始语义符号向量对应的信噪比snr，表示为γ1,...,γn。
20.可选地，根据语义通信系统具备的语义多址接入能力，n个初始语义符号向量的放送方式包括：分次发送，或合并为一个混合语义符号向量后发送。
21.可选地，步骤s4中，选取一个编码器中的初始语义符号向量，将所述初始语义符号向量输入到与所述编码器结对的解码器中，获得信号恢复结果或智能推理结果；将多个编码器输出的结果进行合并，得到最终的全局结果，包括：
22.s41：选取一个编码器中的初始语义符号向量，将所述初始语义符号向量输入到与所述编码器结对的解码器中；每个解码器根据其配对编码器所发送来的初始语义符号向量得到数据恢复结果或推理结果；解码完成后，共计得到n个结果，表示为x1,...,xn；
23.s42：根据信噪比snr预测每个解码器所得到结果的质量，第i个解码器所输出结果与原始数据之间的方差的预测值为其中v(
·
)为质量预测函数；
24.s43：通过预设的融合规则将所有结果x1,...,xn融合为一个单独的全局结果。
25.可选地，步骤s43中，根据实际需要设计相应的融合方法，包括：数据级融合、特征级融合以及决策级融合三个层面的各类融合方法。
26.一方面，提供了一种针对语义通信的信道分集装置，该装置应用于电子设备，该装置包括：
27.模型部署模块，用于在语义通信系统的发送端和接收端，分别部署多个不同的编解码对edp模型；
28.初始编码模块，用于获取单个待发送数据，将所述待发送数据输入不同的编码器，获得多个不同的初始语义符号向量；
29.数据发送模块，用于所述多个不同的初始语义符号向量，通过发送端的发送装置分别发往所述接收端；所述接收端获得叠加了噪声干扰的语义符号向量；
30.全局解码融合模块，用于选取一个编码器中的初始语义符号向量，将所述初始语义符号向量输入到与所述编码器结对的解码器中，获得信号恢复结果或智能推理结果；将
多个编码器输出的结果进行合并，得到最终的全局结果。
31.可选地，所述模型部署模块还用于：
32.准备训练数据，在语义通信系统的发送端和接收端训练n个不同的edp模型；
33.模拟不同信噪比条件下各个edp模型的数据传输能力，获得不同snr条件下每个edp模型所得到结果的质量；
34.通过拟合或训练预测模型，获得物理信道的信噪比snr对edp输出结果质量的影响关系模型。
35.一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种针对语义通信的信道分集方法。
36.一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种针对语义通信的信道分集方法。
37.本发明实施例的上述技术方案至少具有如下有益效果：
38.上述方案中，本发明提出的语义通信的信道分集方法，综合利用不同的编解码对之间的语义信道的分集增益，进而大幅度增强语义通信过程的可靠性，提升数据恢复结果或智能推理结果的质量，如图像清晰度、语音清晰度、文本语义相似度、分类结果准确率、目标检测准确率等。
39.与现有的通信分集技术不同，本发明并非利用多物理传输信道差异性以实现分集增益，而是利用多个语义信道的差异性实现分集增益。其差别在于，物理信道是指物理世界电磁信号传播所依赖的物理传输介质，而语义信道则包含了语义层面的数据转换过程以及物理层面的信号传播过程。其中，语义层面的数据转换指语义通信深度学习模型对数据的变换和处理过程。在该过程中，原始数据会被植入语义层面的噪声，即使物理信道是完美无噪声的，语义信道也可能会存在随机噪声，一定程度上降低最终传输结果的质量。
40.在具体实现手段上，传统通信分集技术利用物理信道的时空差异性实现分集，例如基于多物理天线的多输入多输出(multi-input multi-output,mimo)技术、利用不同传输时隙的数据重发技术等。本发明利用深度学习模型的差异性实现语义信道层面的分集，及不同的传输分路使用不同的语义通信模型实现，最终利用融合规则合并所有分路结果以增强数据传输结果的质量。实际上，经过测试表明，物理信道分集技术对语义通信场景的增益非常有限，但本发明更加适用于语义通信场景，可以有效增强数据传输质量。对图像数据，在信噪比比较低的场景下，本发明可以获得超过3db的峰值信噪比(peak signal to noise ratio,psnr)增益。
附图说明
41.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1是本发明实施例提供的一种针对语义通信的信道分集方法的流程图；
43.图2是本发明实施例提供的一种针对语义通信的信道分集方法的流程图；
44.图3是本发明实施例提供的一种针对语义通信的信道分集方法的发送端接收端示意图；
45.图4是本发明实施例提供的一种针对语义通信的信道分集装置框图；
46.图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
47.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
48.本发明实施例提供了一种针对语义通信的信道分集方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的针对语义通信的信道分集方法流程图，该方法的处理流程可以包括如下的步骤：
49.s101：在语义通信系统的发送端和接收端，分别部署多个不同的edp(encoder decoder pair，编解码对)模型；
50.s102：获取单个待发送数据，将所述待发送数据输入不同的编码器，获得多个不同的初始ssv(semantic symbol vector,语义符号向量)；
51.s103：所述多个不同的初始语义符号向量，通过发送端的发送装置分别发往所述接收端；所述接收端获得叠加了噪声干扰的语义符号向量；
52.s104：选取一个编码器中的初始语义符号向量，将所述初始语义符号向量输入到与所述编码器结对的解码器中，获得信号恢复结果或智能推理结果；将多个编码器输出的结果进行合并，得到最终的全局结果。
53.可选地，步骤s101中，在语义通信系统的发送端和接收端，分别部署多个不同的编解码对edp模型，包括：
54.s111：准备训练数据，在语义通信系统的发送端和接收端训练n个不同的edp模型；
55.s112：模拟不同信噪比条件下各个edp模型的数据传输能力，获得不同snr(signal to noise ratio,信噪比)条件下每个edp模型所得到结果的质量；
56.s113：通过拟合或训练预测模型，获得物理信道的信噪比snr对edp输出结果质量的影响关系模型。
57.可选地，所述edp模型根据应用实际需要进行针对性设计，包括：深度学习模型、卷积神经网络、循环神经网络、注意力机制、全连接神经网络。
58.可选地，不同信噪比snr条件下edp模型传输能力的评估模型可根据实际应用需要进行灵活设计。
59.可选地，步骤s103中，所述多个不同的初始语义符号向量，通过发送端的发送装置分别发往所述接收端；所述接收端获得叠加了噪声干扰的语义符号向量，包括：
60.将获得的多个不同的初始语义符号向量通过物理信道发送至接收端；所述接收端获得叠加了噪声干扰的语义符号向量，记录每个初始语义符号向量对应的信噪比snr，表示为γ1,...,γn。
61.可选地，根据语义通信系统具备的语义多址接入能力，n个初始语义符号向量的放送方式包括：分次发送，或合并为一个混合语义符号向量后发送。
62.可选地，步骤s104中，选取一个编码器中的初始语义符号向量，将所述初始语义符
号向量输入到与所述编码器结对的解码器中，获得信号恢复结果或智能推理结果；将多个编码器输出的结果进行合并，得到最终的全局结果，包括：
63.s141：选取一个编码器中的初始语义符号向量，将所述初始语义符号向量输入到与所述编码器结对的解码器中；每个解码器根据其配对编码器所发送来的初始语义符号向量得到数据恢复结果或推理结果；解码完成后，共计得到n个结果，表示为x1,...,xn；
64.s142：根据信噪比snr预测每个解码器所得到结果的质量，第i个解码器所输出结果与原始数据之间的方差的预测值为其中v(
·
)为质量预测函数；
65.s143：通过预设的融合规则将所有结果x1,...,xn融合为一个单独的全局结果。
66.可选地，步骤s143中，根据实际需要设计相应的融合方法，包括：数据级融合、特征级融合以及决策级融合三个层面的各类融合方法。
67.本发明实施例中，本发明提出的语义通信的信道分集方法，综合利用不同的编解码对之间的语义信道的分集增益，进而大幅度增强语义通信过程的可靠性，提升数据恢复结果或智能推理结果的质量。与现有的通信分集技术不同，本发明并非利用多物理传输信道差异性以实现分集增益，而是利用多个语义信道的差异性实现分集增益。其差别在于，物理信道是指物理世界电磁信号传播所依赖的物理传输介质，而语义信道则包含了语义层面的数据转换过程以及物理层面的信号传播过程。其中，语义层面的数据转换指语义通信深度学习模型对数据的变换和处理过程。在该过程中，原始数据会被植入语义层面的噪声，即使物理信道是完美无噪声的，语义信道也可能会存在随机噪声，一定程度上降低最终传输结果的质量。
68.本发明实施例提供了一种针对语义通信的信道分集方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。以视频传输或图片传输任务为例，发送端首先利用编码器将图像数据编码为语义符号向量(或语义码元)，随后通过发送装置将语义符号发送至接收端。接收端根据收到的数据，利用解码器恢复出目的图像，完成一次图像传输任务。
69.如图2所示的针对语义通信的信道分集方法流程图，该方法的处理流程可以包括如下的步骤：
70.s201：准备训练数据，如视频、图像、语音等，在语义通信系统的发送端和接收端训练n个不同的edp模型；
71.s202：模拟不同信噪比条件下各个edp模型的数据传输能力，获得不同snr条件下每个edp模型所得到结果的质量。
72.一种可行的实施方式中，模型能力测试：模拟不同信噪比(signal to noise ratio,snr)条件下各个edp的数据传输能力，并获得不同snr条件下每个edp所得到结果的质量。
73.例如，任务为发送图像数据，则可以以恢复后的图像数据与传输端的真实图像数据之间的方差作为质量指标，表示为σ2＝v(snr)，其中v(snr)表示一个变量为snr的函数。方差越小，则图像数据恢复质量越高，反之则越差。
74.s203：通过拟合或训练预测模型，获得物理信道的信噪比snr对edp输出结果质量的影响关系模型。
75.一种可行的实施方式中，获得结果质量模型：通过拟合或训练预测模型，得到物理信道的snr对edp输出结果质量的影响关系模型。例如，对数据发送任务，当方差数据样本足
够时，则可以通过拟合得到v(snr)的预测模型。在后续的实用过程中则可以直接调用edp输出结果的质量。
76.一种可行的实施方式中，edp模型根据应用实际需要进行针对性设计，包括：深度学习模型、卷积神经网络、循环神经网络、注意力机制、全连接神经网络。
77.一种可行的实施方式中，不同信噪比snr条件下edp模型传输能力的评估模型可根据实际应用需要进行灵活设计。
78.s204：获取单个待发送数据，将所述待发送数据输入不同的编码器，获得多个不同的初始语义符号向量；
79.一种可行的实施方式中，根据语义通信系统具备的语义多址接入能力，n个初始语义符号向量的放送方式包括：分次发送，或合并为一个混合语义符号向量后发送。但是前提是该语义通信系统具备语义多址接入能力。
80.s205：所述多个不同的初始语义符号向量，通过发送端的发送装置分别发往所述接收端；所述接收端获得叠加了噪声干扰的语义符号向量；
81.一种可行的实施方式中，将获得的多个不同的初始语义符号向量通过物理信道发送至接收端；所述接收端获得叠加了噪声干扰的语义符号向量，记录每个初始语义符号向量对应的信噪比snr，表示为γ1,...,γn。
82.一种可行的实施方式中，如果语义通信系统具备多址接入能力，那么可能只发送一个混合ssv，因此发送端只需发送一次数据即可，此时所有ssv的物理信道snr都是一样的。
83.一种可行的实施方式中，如图3所示，本发明要求语义通信系统的发送端和接收端同时具有n个编解码对(encoder decoder pair,edp)，且每个edp中的解码器只能处理其配对的编码器所发送的语义符号向量(semantic symbol vector,ssv)。在该场景中，语义信道包括从数据输入到编码器开始到解码器输出的整个过程，主要包括edp的计算推理过程和物理信道的传输过程两部分。其核心过程在于：在发送单个数据时，本发明要求发送端和接收端使用多个不同的edp重复传输同一数据，并融合不同解码器所得到的结果为一个最终传输结果。该过程利用了不同的语义信道传输数据，能够获得语义信道的分集增益。
84.s206：选取一个编码器中的初始语义符号向量，将所述初始语义符号向量输入到与所述编码器结对的解码器中；每个解码器根据其配对编码器所发送来的初始语义符号向量得到数据恢复结果或推理结果；解码完成后，共计得到n个结果，表示为x1,...,xn。
85.s207：根据信噪比snr预测每个解码器所得到结果的质量，第i个解码器所输出结果与原始数据之间的方差的预测值为其中v(
·
)为质量预测函数。
86.一种可行的实施方式中，根据snr预测每个解码器所得到结果的质量。例如，对数据传输任务，解码器输出结果为所原始发送数据的恢复结果，那么第i个解码器所输出结果与原始数据之间的方差的预测值为其中v(
·
)为质量预测函数，由模型准备阶段的步骤四所给出示例得到。
87.s208：通过预设的融合规则将所有结果x1,...,xn融合为一个单独的全局结果。
88.一种可行的实施方式中，针对数据传输任务，当snr一致或比较相近时，则可以直
接计算平均值，即为如不同的结果snr差异较大，则可以采用加权融合的方式，即为其中wi为xi的权值，一般有的权值，一般有此时，如果可以得到解码器所输出结果与原始数据之间的方差预测结果，表示为那么采用最小方差融合规则，那么权值的计算方式可以为差融合规则，那么权值的计算方式可以为融合后的结果即为最终结果。
89.一种可行的实施方式中，上述实施例给出的融合方法仅为针对数据传输任务的可选方案，可以根据实际需要设计相应的融合方法，选择包括：数据级融合、特征级融合以及决策级融合三个层面的各类融合方法。
90.本发明实施例中，本发明提出的语义通信的信道分集方法，综合利用不同的编解码对之间的语义信道的分集增益，进而大幅度增强语义通信过程的可靠性，提升数据恢复结果或智能推理结果的质量。例如，当数据传输任务为视频或图片传输时，本发明可有效增强所接收图像的清晰度，尤其是在物理信道条件相对较差的场景中。
91.与现有的通信分集技术不同，本发明并非利用多物理传输信道差异性以实现分集增益，而是利用多个语义信道的差异性实现分集增益。其差别在于，物理信道是指物理世界电磁信号传播所依赖的物理传输介质，而语义信道则包含了语义层面的数据转换过程以及物理层面的信号传播过程。其中，语义层面的数据转换指语义通信深度学习模型对数据的变换和处理过程。在该过程中，原始数据会被植入语义层面的噪声，即使物理信道是完美无噪声的，语义信道也可能会存在随机噪声，一定程度上降低最终传输结果的质量。
92.在具体实现手段上，传统通信分集技术利用物理信道的时空差异性实现分集，例如基于多物理天线的多输入多输出(multi-input multi-output,mimo)技术、利用不同传输时隙的数据重发技术等。本发明利用深度学习模型的差异性实现语义信道层面的分集，及不同的传输分路使用不同的语义通信模型实现，最终利用融合规则合并所有分路结果以增强数据传输结果的质量。实际上，经过测试表明，物理信道分集技术对语义通信场景的增益非常有限，但本发明更加适用于语义通信场景，可以有效增强数据传输质量。对图像数据，在信噪比比较低的场景下，本发明可以获得超过3db的峰值信噪比(peak signal to noise ratio,psnr)增益。
93.图4是根据一示例性实施例示出的一种针对语义通信的信道分集装置装置框图。参照图4，该装置300包括：
94.模型部署模块310，用于在语义通信系统的发送端和接收端，分别部署多个不同的编解码对edp模型；
95.初始编码模块320，用于获取单个待发送数据，将所述待发送数据输入不同的编码器，获得多个不同的初始语义符号向量；
96.数据发送模块330，用于所述多个不同的初始语义符号向量，通过发送端的发送装置分别发往所述接收端；所述接收端获得叠加了噪声干扰的语义符号向量；
97.全局解码融合模块340，用于选取一个编码器中的初始语义符号向量，将所述初始语义符号向量输入到与所述编码器结对的解码器中，获得信号恢复结果或智能推理结果；将多个编码器输出的结果进行合并，得到最终的全局结果。
98.可选地，所述模型部署模块310还用于：准备训练数据，在语义通信系统的发送端和接收端训练n个不同的edp模型；
99.模拟不同信噪比条件下各个edp模型的数据传输能力，获得不同snr条件下每个edp模型所得到结果的质量；
100.通过拟合或训练预测模型，获得物理信道的信噪比snr对edp输出结果质量的影响关系模型。
101.可选地，所述edp模型根据应用实际需要进行针对性设计，包括：深度学习模型、卷积神经网络、循环神经网络、注意力机制、全连接神经网络。
102.可选地，不同信噪比snr条件下edp模型传输能力的评估模型可根据实际应用需要进行灵活设计。
103.可选地，数据发送模块330，还用于将获得的多个不同的初始语义符号向量通过物理信道发送至接收端；所述接收端获得叠加了噪声干扰的语义符号向量，记录每个初始语义符号向量对应的信噪比snr，表示为γ1,...,γn。
104.可选地，根据语义通信系统具备的语义多址接入能力，n个初始语义符号向量的放送方式包括：分次发送，或合并为一个混合语义符号向量后发送。
105.可选地，步全局解码融合模块340，还用于选取一个编码器中的初始语义符号向量，将所述初始语义符号向量输入到与所述编码器结对的解码器中；每个解码器根据其配对编码器所发送来的初始语义符号向量得到数据恢复结果或推理结果；解码完成后，共计得到n个结果，表示为x1,...,xn；
106.根据信噪比snr预测每个解码器所得到结果的质量，第i个解码器所输出结果与原始数据之间的方差的预测值为其中v(
·
)为质量预测函数；
107.通过预设的融合规则将所有结果x1,...,xn融合为一个单独的全局结果。
108.可选地，步全局解码融合模块340，还用于根据实际需要设计相应的融合方法，包括：数据级融合、特征级融合以及决策级融合三个层面的各类融合方法。
109.本发明实施例中，提出的语义通信的信道分集方法，综合利用不同的编解码对之间的语义信道的分集增益，进而大幅度增强语义通信过程的可靠性，提升数据恢复结果或智能推理结果的质量。
110.图5是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现下述针对语义通信的信道分集方法的步骤：
111.s1：在语义通信系统的发送端和接收端，分别部署多个不同的编解码对edp模型；
112.s2：获取单个待发送数据，将所述待发送数据输入不同的编码器，获得多个不同的初始语义符号向量；
113.s3：所述多个不同的初始语义符号向量，通过发送端的发送装置分别发往所述接收端；所述接收端获得叠加了噪声干扰的语义符号向量；
114.s4：选取一个编码器中的初始语义符号向量，将所述初始语义符号向量输入到与所述编码器结对的解码器中，获得信号恢复结果或智能推理结果；将多个编码器输出的结
果进行合并，得到最终的全局结果。
115.在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述针对语义通信的信道分集方法。例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
116.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
117.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。