一种面向机器视觉任务的自适应语义通信方法

本发明属于计算机视觉技术和图像通信，具体涉及一种面向机器视觉任务的自适应语义通信方法，属于计算机视觉融合图像通信领域。

背景技术：

1、随着物联网(iot)、人工智能、6g通信技术的逐步发展，传统的人-人通信将延伸到机-机、人-机、人-人多种方式智能互联，传输通信不再只是面向人与人之间的交流，更多是为了实现目标检测、语义分割、视频监控等机器视觉任务，通信的信源和信宿将变成具有智能分析和处理能力的人、机等智能体。在这样的背景下语义通信成为热点技术，以语义表征信息并传输，在语义层面解决信息的含义表达与传输，把信息含义的理解环节部分或全部地前置到发送端，从而降低传输量，减少带宽需求。

2、语义通信是一种通信新范式，与传统通信基于经典香农信息论不同的是，语义通信关注的是信息的语义级特征，遵循的是语义级传输机制，语义通信允许在带宽有限的通信信道中超越香农的容量限制，打破了香农极限与冯诺依曼架构的瓶颈。近年来，在深度学习技术的推动下，涌现了大量端到端语义通信系统模型，而根据接收端的任务类型，迄今为止的基于深度学习的语义通信传输工作又可以主要分为两类：数据重建和执行具体任务。数据重建类语义通信主要在接收端融合各类型语义特征进行目标语义恢复，而执行具体任务类语义通信主要在接收端利用接收到的相关语义信息执行具体任务。

3、然而，大多数现有的面向具体任务的语义通信传输系统例如等都存在一个问题，即信道变化情况下的适应性问题。通常的面向机器视觉任务的语义通信系统在训练阶段都是在固定信道信噪比条件下进行训练，得到的训练模型是该信噪比下的专用模型，只有当预测阶段的信道信噪比条件与之相似时，才能够得到较好的预测结果。然而实际上语义通信的信道条件是在变化的，如果想要在实际情况下进行通信传输后得到最佳性能就需要多次训练相应信噪比条件模型。这样的方式将会导致训练阶段占用更多的计算资源和测试阶段更高的存储需求。

技术实现思路

1、针对上述问题，本发明提出一种面向机器视觉任务的自适应语义通信方法，基于深度联合信源信道编解(deep joint source-channel coding，djscc)，在发送端采用软注意力机制根据信噪比条件和语义概念(例如图像分类中的鸟、汽车、猫狗等)自适应调整要传输的与任务(如图像分类等)相关的语义特征顺序，在降低需要传输的数据量的同时不影响任务执行性能，并且大大节省数据发送端计算资源，降低资源消耗。

2、本发明具有如下网络结构：

3、(1)图像预处理:对数据集的图像进行扩展和随机剪裁，得到原始训练图像和测试图像；

4、(2)深度信源信道联合编码模块：利用迁移学习加载resnet18预训练神经网络模型并添加软注意力机制模块，提取具有信道信噪比自适应权重的自适应语义特征；

5、(3)语义关系提取与压缩：针对每个语义概念根据神经元激活值计算平均梯度，得到针对语义概念的特征图的重要性权重，根据重要性权重对各语义概念的自适应语义特征进行降序排序，并根据给定压缩率进行进一步压缩；

6、(4)无线信道传输：将压缩后的自适应语义特征图通过无线信道传输到接收端；

7、(5)预测分类结果：接收机将接收到的语义特征送入全连接分类器与softmax函数层进行图像分类预测。

8、本发明具体主要包括以下过程步骤：

9、(1)图像预处理：

10、对数据集的图像进行扩展和随机剪裁，将图像尺寸剪裁为224×224大小，得到原始训练图像和测试图像；

11、(2)语义特征提取：

12、搭建resnet18神经网络：利用迁移学习加载预训练网络模型，并配置好相应的参数；

13、提取语义特征：首先利用resnet18神经网络中7×7卷积层提取图像初级特征，经过归一化和relu函数的处理提高训练稳定性、加速收敛，利用最大池化进一步降低特征图尺寸。然后将初级特征图输入resnet18网络的核心组件4个残差块，更好的提取出图像语义特征，每个残差块包含两个卷积层，4个残差块分别有不同的卷积和数量(64，128，256，512)。这个过程表示为x＝fψ(x0)，x0表示输入图像信源，fψ表示卷积残差神经网络，x表示得到的语义特征，其中为实数集，c为语义特征的数量，h×w为每个特征的大小；

14、(3)信道信噪比自适应：

15、改进resnet18神经网络：在resnet18神经网络最后一个残差块后加入软注意力机制模块，模块主要由上下文提取、预测神经网络(包括全连接层、relu函数、全连接层、sigmoid激活函数)和自适应语义特征重建组成；

16、上下文提取：对提取到的语义特征x进行全局平均池化得到全局语义特征，池化过程表示为然后将全局语义特征与信道信噪比snr相连接，产生上下文语义信息

17、预测缩放因子：将上下文信息输入由全连接层、relu函数、全连接层、sigmoid激活函数组成的神经网络，得到缩放比例因子xb，其中w1和b1为第一层全连接层的权重和偏执，w2和b2为第二层全连接层的权重和偏置，υ和δ分别表示relu函数和sigmoid函数；

18、自适应语义特征重建：将预测得到的缩放比例因子与原始语义特征x相乘，得到具有信道信噪比自适应权重的自适应语义特征x'，x'＝multi(xb,x)，

19、(4)无线信道传输：

20、选择awgn(additive white gaussian noise)加性高斯白噪声信道模拟无线信道传输，信道增益设为1，将具有信噪比自适应的语义特征通过awgn信道进行传输；

21、(5)训练并优化改进的信噪比自适应神经网络：

22、将经过预处理后图像数据源输入到改进的信噪比自适应神经网络，对其进行一次训练并学习优化，训练时，信道信噪比设置为一段范围，得到并保存优化网络模型。训练迭代次数epochs设置为30，batchsize设置为64，选用随机梯度下降(stochastic gradientdescent，sgd)优化器，学习率设置为0.001，损失函数选择交叉熵损失函数(crossentropyloss)。

23、(6)面向机器学习任务预测最终结果：

24、将测试图像作为数据源经过预处理后，输入到基于优化的信噪比自适应网络模型的预测神经网络，进行预测；

25、自适应语义特征提取：图像经过基于软注意力机制改进的resnet18神经网络，提取到具有信噪比自适应的语义特征x'；

26、语义重要性排序：传输语义特征之前针对每个语义概念根据神经元激活值计算平均梯度，计算公式表示为：表示针对语义概念c的第k个特征图的重要性权重，w和h表示特征图的尺寸，zc表示针对语义概念c在原始处理图像分类的卷积神经网络中最后一层全连接层经过softmax之前的神经元激活值，表示第k个特征图第i行第j列处的激活值。随后将特征图权重值按照从大到小排序得到排序后的权重矩阵再分别按照矩阵权重对各语义概念的自适应语义特征进行降序排序；

27、语义压缩：根据给定压缩率σ选取相应比例数量的自适应语义特征图通过awgn信道向接收机传输,实际传输的特征图数量其中n表示所有特征图的总数，σ表示压缩率，k表示图像分类语义概念总数；

28、无线信道传输：将实际需要传输的语义特征图通过awgn信道向接收机传输,信道信噪比可以是训练范围内的任意值。接收端接收到的信号表示为y'＝y+e，其中y表示压缩后的特征图，e表示加性高斯白噪声；

29、预测分类结果：接收机将接收到的语义特征送入全连接层与softmax函数层进行图像分类预测，其过程表示为p＝qγ(y')，p为对应概率值。

30、本发明所述的一种面向机器视觉任务的自适应语义通信方法优势在于，面对因干扰和噪声等因素造成的在一定范围内进行波动的信道环境，仅需要训练一次通信网络模型即能在测试阶段适应一段范围内的信道信噪比条件，在提高最终分类准确率的同时，还能大大节省训练时间，提高计算效率，具有更强的适应性、鲁棒性。