图像语义分割方法、装置、电子设备及存储介质与流程

文档序号:30748279发布日期:2022-07-13 08:13阅读:来源:国知局

技术特征:
1.一种图像语义分割方法,其中,包括:获取待处理图像;确定所述待处理图像中像素点的初始分类预测结果;基于所述初始分类预测结果对所述待处理图像的图像特征进行特征增强处理;根据特征增强处理后的所述图像特征获得所述待处理图像的语义分割预测结果。2.根据权利要求1所述的方法,其中,基于所述初始分类预测结果对所述待处理图像的图像特征进行特征增强处理,包括:根据所述初始分类预测结果构建所述待处理图像的邻接矩阵;其中,所述邻接矩阵用于描述所述待处理图像中像素点之间的语义相关关系;基于所述邻接矩阵对所述图像特征进行特征增强处理。3.根据权利要求2所述的方法,其中,根据所述初始分类预测结果构建所述待处理图像对应的邻接矩阵,包括:通过将分类矩阵与分类矩阵的转置进行相乘的方式构建所述邻接矩阵;所述分类矩阵为所述初始分类预测结果的矩阵形式。4.根据权利要求2或3所述的方法,其中,所述特征增强处理包括多个阶段,基于所述邻接矩阵对所述图像特征进行特征增强处理,包括:基于所述邻接矩阵对输入特征进行当前阶段的特征增强处理;其中,所述输入特征为所述图像特征或者上一阶段的特征增强处理得到的输出特征;根据特征增强处理后的所述图像特征获得所述待处理图像的语义分割预测结果,包括:根据最后一个阶段的特征增强处理得到的输出特征获取所述语义分割预测结果。5.根据权利要求1-3任一项所述的方法,其中,确定所述待处理图像中像素点的初始分类预测结果,包括:利用语义分割模型中的基础模型获取所述待处理图像的图像特征;利用所述语义分割模型中的分类模型对所述待处理图像中的像素点进行分类预测,获得所述初始分类预测结果;基于所述邻接矩阵对所述图像特征进行特征增强处理,包括:利用所述语义分割模型中的特征增强模型,基于所述邻接矩阵对所述图像特征进行特征增强处理。6.根据权利要求1-3任一项所述的方法,其中,所述方法还包括:在所述语义分割预测结果的置信度低于预设阈值时,向用户展示所述语义分割预测结果;接收所述用户对于所述语义分割预测结果的修正数据;根据所述修正数据对所述语义分割预测结果进行调整。7.根据权利要求6所述的方法,其中,所述方法还包括:根据调整后的所述语义分割预测结果以及调整前的所述语义分割预测结果对语义分割模型的模型参数进行调整;其中,所述语义分割模型为获取调整前的所述语义分割预测结果的模型。8.根据权利要求1-3、5、7任一项所述的方法,其中,所述待处理图像为遥感影像,所述
语义分割预测结果包括以下一种或多种数据的组合:所述遥感影像中不同地物的轮廓信息、所述遥感影像中不同地物的资源类型、所述遥感影像中的路网信息。9.根据权利要求1-3、5、7任一项所述的方法,其中,所述待处理图像为目标区域的遥感影像,所述方法还包括:根据所述语义分割预测结果确定所述目标区域中的目标地物。10.根据权利要求1-3、5、7任一项所述的方法,其中,所述待处理图像为目标区域的遥感影像,所述方法还包括:根据所述语义分割预测结果确定所述目标区域中所包括的地物的资源类型。11.根据权利要求1-3、5、7任一项所述的方法,其中,所述待处理图像为目标区域的遥感影像,所述方法还包括:根据所述语义分割预测结果确定所述目标区域中道路的位置以及种类;根据所述道路的位置以及种类确定所述目标区域中的路网信息。12.根据权利要求1-3、5、7任一项所述的方法,其中,所述待处理图像包括第一遥感影像和第二遥感影像,所述方法还包括:根据所述第一遥感影像对应的所述语义分割预测结果与所述第二遥感影像对应的所述语义分割预测结果,确定所述第一遥感影像和第二遥感影像中地物的变化检测信息。13.根据权利要求1-3、5、7任一项所述的方法,其中,所述待处理图像包括自动驾驶车辆的前方道路图像,所述方法还包括:根据所述语义分割预测结果确定前方道路上的物体信息;基于所述物体信息确定车辆驾驶信息;将所述车辆驾驶信息输出至所述自动驾驶车辆。14.根据权利要求1-3、5、7任一项所述的方法,其中,所述待处理图像为视频中的第一图像,所述方法还包括:获取所述视频中的第二图像;根据所述第一图像和所述第二图像之间的差异对所述第一图像的所述初始分类预测结果进行更新,以获取所述第二图像的初始分类预测结果;基于所述第二图像的所述初始分类预测结果获得所述第二图像的语义分割预测结果。15.根据权利要求14所述的方法,其中,根据所述第一图像和所述第二图像之间的差异对所述第一图像的所述初始分类预测结果进行更新,以获取所述第二图像的初始分类预测结果,包括:获取所述第一图像和所述第二图像之间的前景偏移量;根据所述前景偏移量更新所述初始分类预测结果,以获得所述第二图像的初始分类预测结果。16.根据权利要求1-3、5、7任一项所述的方法,其中,所述待处理图像为包括商品的图像,所述方法包括:根据所述语义分割预测结果获取所述待处理图像中的商品图像;基于所述商品图像生成所述商品的视觉描述信息。17.根据权利要求1-3、5、7任一项所述的方法,其中,所述待处理图像为直播视频中的图像,所述方法包括:
根据所述语义分割预测结果对所述直播视频进行处理,获得目标视频;输出所述目标视频。18.根据权利要求17所述的方法,其中,根据所述语义分割预测结果对所述直播视频进行处理,获得目标视频,包括:根据所述语义分割预测结果确定所述待处理图像是否为包括商品的目标图像;对所述目标图像进行预设处理。19.根据权利要求17所述的方法,其中,根据所述语义分割预测结果对所述直播视频进行处理,获得目标视频,包括:根据所述语义分割预测结果获取所述直播视频中包括商品的目标图像;根据所述目标图像生成所述商品的视觉描述信息。20.一种语义分割模型的训练方法,其中,包括:获取训练图像;利用语义分割模型获取所述训练图像中像素点的初始分类预测结果,以及基于所述初始分类预测结果对所述训练图像的图像特征进行特征增强处理;根据特征增强处理后的所述图像特征获取所述训练图像的语义分割预测结果;基于所述初始分类预测结果以及所述语义分割预测结果对所述语义分割模型进行训练。21.根据权利要求20所述的方法,其中,基于所述初始分类预测结果对所述训练图像的图像特征进行特征增强处理,包括:根据所述初始分类预测结果构建所述训练图像对应的邻接矩阵,其中所述邻接矩阵用于描述所述训练图像中像素点之间的语义相关关系;基于所述邻接矩阵对所述训练图像对应的图像特征进行特征增强处理。22.根据权利要求21所述的方法,其中,根据所述初始分类预测结果构建所述训练图像对应的邻接矩阵,包括:通过分类矩阵与所述分类矩阵的转置进行相乘的方式构建所述邻接矩阵。23.根据权利要求20-22任一项所述的方法,其中,所述语义分割模型包括基础模型、分类模型和特征增强模型,基于所述初始分类预测结果以及所述语义分割预测结果对所述语义分割模型进行训练,包括:通过所述初始分类预测结果以及对应的真实分类结果之间的损失对所述分类模型以及所述基础模型的模型参数进行调整;所述分类模型用于获取所述初始分类预测结果;所述基础模型用于获取所述图像特征;通过所述语义分割预测结果及其对应的语义分割真实结果之间的损失对特征增强模型以及所述基础模型的模型参数进行调整;所述特征值增强模型用于对所述图像特征进行特征增强处理。24.根据权利要求21或22所述的方法,其中,所述特征增强处理包括多个阶段;基于所述邻接矩阵对所述训练图像对应的图像特征进行特征增强处理,包括:基于所述邻接矩阵对输入特征进行当前阶段的特征增强处理,以获得输出特征;所述输入特征为所述图像特征或者上一阶段特征增强处理后得到的输出特征;基于最后一个阶段特征增强处理后得到的输出特征获取所述语义分割预测结果。
25.一种图像语义分割方法,其中,包括:获取待处理图像;调用预设服务接口,以便所述预设服务接口获取待处理图像,确定所述待处理图像中像素点的初始分类预测结果,并基于所述初始分类预测结果对所述待处理图像的图像特征进行特征增强处理,以及根据特征增强处理后的所述图像特征获得所述待处理图像的语义分割预测结果;输出所述语义分割预测结果。26.一种语义分割模型的训练方法,其中,包括:获取训练图像;调用预设服务接口,以便所述预设服务接口利用语义分割模型获取所述训练图像中像素点的初始分类预测结果,以及基于所述初始分类预测结果对所述训练图像的图像特征进行特征增强处理,并根据特征增强处理后的所述图像特征获取所述训练图像的语义分割预测结果,以及基于所述初始分类预测结果以及所述语义分割预测结果对所述语义分割模型进行训练;输出所述语义分割模型。27.一种图像语义分割装置,其中,包括:第一获取模块,被配置为获取待处理图像;第一确定模块,被配置为确定所述待处理图像中像素点的初始分类预测结果;第一处理模块,被配置为基于所述初始分类预测结果对所述待处理图像的图像特征进行特征增强处理;第二获取模块,被配置为根据特征增强处理后的所述图像特征获得所述待处理图像的语义分割预测结果。28.一种语义分割模型的训练装置,其中,包括:第五获取模块,被配置为获取训练图像;第六获取模块,被配置为利用语义分割模型获取所述训练图像中像素点的初始分类预测结果,以及基于所述初始分类预测结果对所述训练图像的图像特征进行特征增强处理;第七获取模块,被配置为根据特征增强处理后的所述图像特征获取所述训练图像的语义分割预测结果;训练模块,被配置为基于所述初始分类预测结果以及所述语义分割预测结果对所述语义分割模型进行训练。29.一种图像语义分割装置,其中,包括:第八获取模块,被配置为获取待处理图像;第一调用模块,被配置为调用预设服务接口,以便所述预设服务接口获取待处理图像,确定所述待处理图像中像素点的初始分类预测结果,并基于所述初始分类预测结果对所述待处理图像的图像特征进行特征增强处理,以及根据特征增强处理后的所述图像特征获得所述待处理图像的语义分割预测结果;第二输出模块,被配置为输出所述语义分割预测结果。30.一种语义分割模型的训练装置,其中,包括:第九获取模块,被配置为获取训练图像;
第二调用模块,被配置为调用预设服务接口,以便所述预设服务接口利用语义分割模型获取所述训练图像中像素点的初始分类预测结果,以及基于所述初始分类预测结果对所述训练图像的图像特征进行特征增强处理,并根据特征增强处理后的所述图像特征获取所述训练图像的语义分割预测结果,以及基于所述初始分类预测结果以及所述语义分割预测结果对所述语义分割模型进行训练;第三输出模块,被配置为输出所述语义分割模型。31.一种电子设备,其中,包括存储器、处理器以及存储在存储器上的计算机程序,其中,所述处理器执行所述计算机程序以实现权利要求1-26任一项所述的方法。32.一种计算机可读存储介质,其上存储有计算机指令,其中,该计算机指令被处理器执行时实现权利要求1-26任一项所述的方法。33.一种计算机程序产品,其包括计算机指令,其中,该计算机指令被处理器执行时实现权利要求1-26任一项所述的方法。

技术总结
本公开实施例公开了一种图像语义分割方法、装置、电子设备及存储介质,所述方法包括:获取待处理图像;确定所述待处理图像中像素点的初始分类预测结果;基于所述初始分类预测结果对所述待处理图像的图像特征进行特征增强处理;根据特征增强处理后的所述图像特征获得所述待处理图像的语义分割预测结果。该技术方案由于使用特征增强处理后的图像特征对像素点进行聚类能够使得聚类精度更高,因此最终得到的语义分割预测结果也更加准确。到的语义分割预测结果也更加准确。到的语义分割预测结果也更加准确。


技术研发人员:杨喆
受保护的技术使用者:阿里巴巴集团控股有限公司
技术研发日:2021.01.07
技术公布日:2022/7/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1