技术特征：
1.一种用于遥感影像语义生成的视觉特征增强方法，其特征在于，所述方法包括以下步骤：步骤s100：搭建视觉特征提取骨干网络和场景分类网络，其中，所述视觉特征提取骨干网络和所述场景分类网络的骨干网络的结构相同；步骤s200：获取遥感影像场景分类数据集，根据所述遥感影像场景分类数据集对所述场景分类网络进行训练，并使用预设的损失函数得到待场景分类的损失值，当所述损失值小于预设的阈值时，将所述预设的场景分类网络的骨干网络的模型保存；步骤s300：将所述预设的场景分类网络的骨干网络的模型的权重加载到所述视觉特征提取骨干网络上得到更新后的视觉特征提取骨干网络；步骤s400：获取遥感影像，将所述遥感影像发送至所述更新后的视觉特征提取骨干网络得到不同尺度的输出特征，将不同尺度的输出特征在通道维度进行组合得到待解码特征；步骤s500：将所述待解码特征输入至预设的语言解码网络进行解码，生成遥感影像语义文本。2.根据权利要求1所述的方法，其特征在于，步骤s200中的视觉特征提取骨干网络包括依次相连的第一残差模块、第二残差模块、第三残差模块和第四残差模块，所述第一残差模块用于对输入图像进行特征提取得到第一尺度的特征图，所述第二残差块用于对所述第一尺寸的特征图进行特征提取得到第二尺度的特征图，所述第三残差块用于对所述第二尺寸的特征图进行特征提取得到第三尺度的特征图，所述第四残差块用于对所述第三尺寸的特征图进行特征提取得到第四尺度的特征图。3.根据权利要求2所述的方法，其特征在于，步骤s400包括：步骤s410：获取遥感影像，将所述遥感影像发送至所述更新后的视觉特征提取骨干网络得到所述第一尺度的特征图、所述第二尺度的特征图、所述第三尺度的特征图和所述第四尺度的特征图；步骤s420：将所述第四尺度的特征图与其余任意至少一种不同尺度的特征图在通道维度上进行组合得到待解码特征。4.根据权利要求3所述的方法，其特征在于，步骤s200还包括：当所述损失值大于预设的阈值时，根据所述损失值对所述场景分类网络的网络参数进行更新，并重复使用预设的损失函数得到待场景分类的更新后的损失值，直至所述更新后的损失值小于预设的阈值。5.根据权利要求4所述的方法，其特征在于，预设的语言解码网络为fc模型、soft attention模型和up-down模型中的任意一个。6.根据权利要求5所述的方法，其特征在于，所述fc模型包括依次连接的第一lstm单元和第一mlp单元，所述第一lstm单元用于根据上一时刻隐藏状态、第一lstm单元携带信息、所述待解码特征获取当前时刻的隐藏状态和携带信息，所述第一mlp单元用来根据所述当前时刻的隐藏状态和携带信息解码生成单词文本。7.根据权利要求5所述的方法，其特征在于，所述soft attention模型包括第一注意力单元、第二lstm单元和第二mlp单元，所述第一注意力单元连接所述第二lstm单元和所述第二mlp单元，所述第二lstm单元连接所述第二mlp单元，所述第一注意力单元用于根据上一时刻隐藏状态为所述待解码特征赋予权重，所述lstm单元用于根据所述上一时刻的隐藏状
态、上一时刻生成的单词和经过所述第一注意力单元加权的待解码特征得到当前时刻的隐藏状态，所述mlp单元用来根据所述当前时刻的隐藏状态解码生成单词文本。8.根据权利要求5所述的方法，其特征在于，所述up-down模型包括第二注意力单元、注意力lstm单元、语言lstm单元和softmax单元，所述第二注意力单元连接所述语言lstm单元，所述注意力lstm单元连接所述第二注意力单元和所述语言lstm单元，所述语言lstm单元连接所述softmax单元，所述注意力lstm单元根据所述待解码特征、上一时刻语言lstm单元的隐藏状态、上一时刻注意力lstm单元的隐藏状态和上一时刻生成的单词生成当前时刻注意力lstm的隐藏状态；所述第二注意力单元结合注意力lstm单元输出的所述当前时刻注意力lstm的隐藏状态为视觉特征赋予权重；所述语言lstm单元根据经过所述第二注意力单元加权的视觉特征和当前时刻注意力lstm单元的输出和上一时刻的lstm单元的隐藏状态生成当前时刻语言lstm的隐藏状态；所述softmax单元利用所述当前时刻语言lstm的隐藏状态生成单词文本。
技术总结
本发明公开了一种用于遥感影像语义生成的视觉特征增强方法，包括搭建视觉特征提取骨干网络和场景分类网络，其中，视觉特征提取骨干网络和场景分类网络的骨干网络的结构相同；获取遥感影像场景分类数据集对场景分类网络进行训练，并使用预设的损失函数得到待场景分类的损失值，当损失值小于预设的阈值时，将预设的场景分类网络的骨干网络的模型保存并将其权重加载到视觉特征提取骨干网络上；获取遥感影像，将遥感影像发送至更新后的视觉特征提取骨干网络得到不同尺度的输出特征，将不同尺度的输出特征在通道维度进行组合得到待解码特征；将待解码特征输入至预设的语言解码网络进行解码，生成遥感影像语义文本。有效提高语义生成准确性。义生成准确性。义生成准确性。
技术研发人员：夏鲁瑞 蔺崎辉 李森 陈雪旗 卢妍 张占月 王鹏
受保护的技术使用者：中国人民解放军战略支援部队航天工程大学
技术研发日：2022.10.28
技术公布日：2023/2/27