一种基于深度学习的滑雪者图像检索方法和系统与流程

1.本发明涉及图像检索技术领域，具体涉及一种基于深度学习的滑雪者图像检索方法和系统。


背景技术：

2.电子移动设备的普及导致时刻存在海量图像产生，图像检索技术应运而生，因此图像检索成为待解决的主要问题。例如，拍摄了大量的滑雪图像，如何高效精准的检索需求图像，为当前的求解方向。为了便于进行不同滑雪者的相关图像检索，现如今，随着图像检索技术的更新迭代，主要通过以图搜图、行人重识别等技术进行图像检索，其检索效果较之传统检索方法，于检索效率方向存在一定的提升，但仍存在着一定的弊端，无法满足预期检索要求，还需进一步进行技术革新。
3.现有技术中，对于滑雪者图像的检索方法智能度与严谨度不足，使得图像特征的提取较为单一且匹配度不足，造成图像检索准确度存在一定的偏差，导致存在漏检、误检。


技术实现要素：

4.本技术提供了一种基于深度学习的滑雪者图像检索方法和系统，用于针对解决现有技术中存在的对于滑雪者图像的检索方法智能度与严谨度不足，使得图像特征的提取较为单一且匹配度不足，造成图像检索准确度存在一定的偏差，导致存在漏检、误检的技术问题。
5.鉴于上述问题，本技术提供了一种基于深度学习的滑雪者图像检索方法和系统。
6.第一方面，本技术提供了一种基于深度学习的滑雪者图像检索方法，所述方法包括：连接物联网，将多维场景作为索引方向采集滑雪图像集，包括图像存储位置与存储路径，构建目标检测图像集；基于所述目标检测图像集提取标识定位图像集，训练目标检测模型，其中，所述标识定位图像集带有滑雪者位置框选标记；配置图像预处理空间，基于所述图像预处理空间对所述标识定位图像集进行图像预处理，生成重识别图像集；基于所述重识别图像集，基于object-reid网络框架训练生成特征提取模型；基于所述目标检测模型、所述图像预处理空间与所述特征提取模型，构建图像特征处理模块；获取目标用户的检索请求，根据所述图像特征处理模块，对目标图像进行检索识别，获取目标特征；遍历存储数据库，基于所述目标特征确定图像检索结果，其中，所述图像检索结果表述为检索图像-存储位置-存储路径，所述存储位置与所述存储路径为附加输出信息。
7.第二方面，本技术提供了一种基于深度学习的滑雪者图像检索系统，所述系统包
括：图像集构建模块，所述图像集构建模块用于连接物联网，将多维场景作为索引方向采集滑雪图像集，包括图像存储位置与存储路径，构建目标检测图像集；目标检测模型训练模块，所述目标检测模型训练模块用于基于所述目标检测图像集提取标识定位图像集，训练目标检测模型，其中，所述标识定位图像集带有滑雪者位置框选标记；图像预处理模块，所述图像预处理模块用于配置图像预处理空间，基于所述图像预处理空间对所述标识定位图像集进行图像预处理，生成重识别图像集；特征提取模型训练模块，所述特征提取模型训练模块用于基于所述重识别图像集，基于object-reid网络框架训练生成特征提取模型；构建模块，所述构建模块用于基于所述目标检测模型、所述图像预处理空间与所述特征提取模型，构建图像特征处理模块；特征获取模块，所述特征获取模块用于获取目标用户的检索请求，根据所述图像特征处理模块，对目标图像进行检索识别，获取目标特征；结果确定模块，所述结果确定模块用于遍历存储数据库，基于所述目标特征确定图像检索结果，其中，所述图像检索结果表述为检索图像-存储位置-存储路径，所述存储位置与所述存储路径为附加输出信息。
8.本技术中提供的一个或多个技术方案，至少具有如下技术效果或优点：本技术实施例提供的一种基于深度学习的滑雪者图像检索方法，连接物联网，将多维场景作为索引方向采集滑雪图像集，构建目标检测图像集，提取标识定位图像集训练目标检测模型，其中，所述标识定位图像集带有滑雪者位置框选标记；配置图像预处理空间，对所述标识定位图像集进行图像预处理，生成重识别图像集；基于所述重识别图像集，基于object-reid网络框架训练生成特征提取模型；对所述目标检测模型、所述图像预处理空间与所述特征提取模型进行集成规整，构建图像特征处理模块；获取目标用户的检索请求，基于所述图像特征处理模块，对目标图像进行检索识别，获取目标特征；遍历存储数据库，基于所述目标特征确定图像检索结果，解决了现有技术中对于滑雪者图像的检索方法智能度与严谨度不足，使得图像特征的提取较为单一且匹配度不足，造成图像检索准确度存在一定的偏差，导致存在漏检、误检的技术问题，通过构建图像特征处理模块，内嵌多个功能模型，实现图像特征的完备性高效精准识别，完成高匹配度图像检索。
附图说明
9.图1为本技术提供了一种基于深度学习的滑雪者图像检索方法流程示意图；图2为本技术提供了一种基于深度学习的滑雪者图像检索方法中重识别图像集获取流程示意图；图3为本技术提供了一种基于深度学习的滑雪者图像检索方法中图像检索结果获取流程示意图；图4为本技术提供了一种基于深度学习的滑雪者图像检索系统结构示意图。
10.附图标记说明：图像集构建模块11，目标检测模型训练模块12，图像预处理模块13，特征提取模型训练模块14，构建模块15，特征获取模块16，结果确定模块17。
具体实施方式
11.本技术通过提供一种基于深度学习的滑雪者图像检索方法和系统，构建目标检测图像集，提取标识定位图像集训练目标检测模型；配置图像预处理空间进行图像预处理，生成重识别图像集；基于object-reid网络框架训练生成特征提取模型，集成规整生成图像特征处理模块，基于检索请求进行检索识别，获取目标特征，遍历存储数据库确定图像检索结果，用于解决现有技术中存在的对于滑雪者图像的检索方法智能度与严谨度不足，使得图像特征的提取较为单一且匹配度不足，造成图像检索准确度存在一定的偏差，导致存在漏检、误检的技术问题。
实施例1
12.如图1所示，本技术提供了一种基于深度学习的滑雪者图像检索方法，所述方法包括：步骤s100：连接物联网，将多维场景作为索引方向采集滑雪图像集，包括图像存储位置与存储路径，构建目标检测图像集；具体而言，电子移动设备的普及导致时刻存在海量图像产生，图像检索技术应运而生，拍摄了大量的滑雪图像，为了便于进行不同滑雪者的相关图像检索，提高图像检索准确度与检索效率，本技术提供了一种基于深度学习的滑雪者图像检索方法，基于深度学习算法进行建模，进行模型集成去定图像特征识别提取机制，可确保识别特征的人物契合度，进一步于存储数据库中进行检索确定图像检索结果。具体的，连接物联网，确定多维采集场景，包括多种天气状况、室内外、时间轴等，进行滑雪图像采集，包括多个不同目标人物的滑雪图像，并确定各图像的存储位置与存储路径，对采集图像进行标识，生成所述目标检测图像集。所述目标检测图像集的获取为后续进行模型训练提供了基本源数据。
13.进一步而言，本技术步骤s100还包括：步骤s110：连接互联网，采集多维场景下的滑雪图像集，作为目标图像集；步骤s120：对所述目标图像集进行多级光色调整与感受野调整，确定增广图像集；步骤s130：集成规整所述增广图像集与所述目标图像集，生成所述目标检测图像集。
14.具体而言，所述互联网为进行滑雪图像采集的辅助系统工具，连接所述互联网，确定多维采集场景，例如晴天、雪天、雾天、晚上、室外等，将其作为滑雪图像的索引方向，进行关联图像采集，对采集的图像基于目标人物进行归类整合，所述目标人物为图像中的滑雪者，获取所述目标图像集，所述目标图像集包括多种滑雪类型。设定多级光色调整尺度与感受野调整尺度，例如调整光源方向、亮度、色域、目标人物视野等，对所述目标图像集分别进行多次调整，将调整图像作为所述增广图像集。进一步将所述增广图像集添加进所述目标图像集中，生成所述目标检测图像集。通过进行图像增广，可有效提高图像的泛化程度，提高图像信息的完备性。
15.步骤s200：基于所述目标检测图像集提取标识定位图像集，训练目标检测模型，其中，所述标识定位图像集带有滑雪者位置框选标记；进一步而言，所述基于所述目标检测图像集提取标识定位图像集，训练目标检测模型，本技术步骤s200还包括：
步骤s210：基于所述目标检测图像集提取所述标识定位图像集；步骤s220：将所述目标检测图像集作为层级识别信息，将所述标识定位图像集作为层级决策信息，构建样本数据集，其中，所述目标检测图像集与所述标识定位图像集一一对应；步骤s230：将所述样本数据集划分为k组，获取k组样本数据子集；步骤s240：基于k折交叉法，将所述k组样本数据子集划分为训练集与测试集，训练所述目标检测模型。
16.具体而言，基于所述目标检测图像，对滑雪者进行图像位置识别，基于预定框选比例，确定目标人物，即滑雪者的图像区域，示例性的，设定框选区域的人景分布比例，基于图像目标人物的尺寸大小进行框选区域确定，进行滑雪者位置框选标记，作为所述标识定位图像集。
17.进一步的，提取所述标识定位图像集与所述目标检测图像集，将所述目标检测图像集作为层级识别信息，将所述标识定位图像集作为层级决策信息，对两者进行映射对应，以进行所述目标人物的框选区域识别与尺寸定位，构建所述样本数据集。将所述样本数据集均分为k组，确定k组样本数据子集。进一步基于所述k组样本数据子集，将其中的k-1组样本数据子集作为训练集，将1组样本数据子集作为测试集，基于训练集进行神经网络训练，获取训练完成的所述目标检测模型，进一步将所述测试集输入所述目标检测模型中，获取模型输出结果与所述测试集中的所述标识定位图像进行偏差比对，获取定位偏离度。同理，对保障所述测试集与所述训练集的样本量不变，对其中的样本进行调整，保障每组样本数据子集都可作为所述测试集进行模型训练结果测试，并分别进行偏差度定位，确定多个训练完成的所述目标检测模型，进一步进行偏离度比对，确定偏离度最小者，将对应的训练模型作为最终确定的所述目标检测模型，可有效保障模型的运行机制较优，提高检测精准度。
18.步骤s300：配置图像预处理空间，基于所述图像预处理空间对所述标识定位图像集进行图像预处理，生成重识别图像集；进一步而言，如图2所示，所述生成重识别图像集，本技术步骤s300还包括：步骤s310：基于所述标识定位图像，对滑雪者位置框选标记进行识别，获取目标识别结果；步骤s320：基于所述目标识别结果，确定目标像素坐标对所述标识定位图像进行裁剪，获取目标需求图像；步骤s330：对所述目标需求图像进行清晰度判定，获取满足清晰度阈值的图像，作为初级预处理图像；步骤s340：对所述初级预处理图像进行图像增强，作为所述重识别图像集。
19.具体而言，配置所述图像预处理空间，即进行图像调整的操作空间，确定图像预处理工艺，嵌入所述图像预处理空间中。具体的，提取所述标识定位图像，于所述图像预处理空间中进行滑雪者位置框选标记识别，以进行图像剪裁区域确定，作为所述目标识别结果。基于所述目标识别结果，进行目标像素坐标定位，提高定位精准度，在此基础上进行图像裁剪，留取框选区域，即所述目标人物的所在区域，对裁剪图像进行整合，作为所述目标需求图像。
20.进一步的，设定清晰度阈值，即进行图像清晰度合格判定的临界限定值。对所述目
标需求图像与所述清晰度阈值进行校对，提出其中清晰度小于所述清晰度阈值的图像，该图像清晰度较低，以造成识别偏差，将其中大于等于所述清晰度阈值的图像作为所述初级预处理图像。进一步对所述初级预处理图像进行轮廓、对比度处理，进行色域调整，改善图像视觉效果，提高信息的突出度，将增强后的所述初级预处理图像作为所述重识别图像，为后续进行图像特征识别提取夯实了基础。
21.步骤s400：基于所述重识别图像集，基于object-reid网络框架训练生成特征提取模型；进一步而言，所述基于所述重识别图像集，基于object-reid网络框架训练生成特征提取模型，本技术步骤s400还包括：步骤s410：基于所述重识别图像集，进行目标区域边缘检测，确定待识别区域集；步骤s420：基于所述待识别区域集，进行图像卷积分析，确定图像卷积特征集；步骤s430：将circle损失函数作为object-reid网络框架的损失函数；步骤s440：依据所述图像卷积特征集与所述待识别区域集，输入object-reid网络框架，进行有监督训练至circle损失函数收敛，生成所述特征提取模型。
22.具体而言，提取所述重识别图像，对目标区域进行边缘检测，所述目标区域为所述重识别图像的覆盖区域，进行边缘检测确定图像框选边缘，以确定所述重识别图像的区域定位识别，表面造成识别误差，将检测结果作为所述待识别区域集。对所述待识别区域集进行图像卷积分析，通过计算卷积核确定对应的卷积特征，进而对同目标人物的卷积特征进行汇总融合，确定代表性卷积特征，作为偶数图像卷积特征集。进一步将circle损失函数作为object-reid网络框架的损失函数，通过在正负样本之间加入一个权重，控制正负样本对各自梯度的贡献，使得模型在相似度辨别上更具有区分度，对于滑雪者图像因相同服装而造成的区分度低的问题有较为有效的提升。
23.进一步的，将所述图像卷积特征集与所述待识别区域集，输入object-reid网络框架进行训练，有监督训练至circle损失函数收敛，生成所述特征提取模型。基于所述特征提取模型进行图像特征识别，使得输出的特征图能够既提取高维语义信息又富有的空间信息。对于输入的滑雪图像，既可以提取其抽象的高维特征又可以保留决定其身体形态及动作姿态的空间信息特征。有效的提升了同一个人不同图像间的相似性特征和不同人之间的差异化特征，提高特征提取的精准度与代表性。
24.步骤s500：基于所述目标检测模型、所述图像预处理空间与所述特征提取模型，构建图像特征处理模块；步骤s600：获取目标用户的检索请求，根据所述图像特征处理模块，对目标图像进行检索识别，获取目标特征；具体而言，通过采集滑雪图像，进行检测、处理与训练，进行功能性建模获取所述目标检测模型、所述图像预处理空间与所述特征提取模型，将所述图像预处理空间后置于所述目标检测模型，前置于所述特征提取模型，通过进行链接组合，生成所述图像特征处理模块，将所述图像特征处理模块作为图像特征分析的辅助性工具。
25.进一步的，随着所述目标用户的检索请求的接收，所述检索请求为图像检索申请信息，所述目标用户为检索执行者所述检索请求还存在检索附加信息，为示例检测图像，即存在检索滑雪者的图像示例。将所述检索请求输入所述图像特征处理模块，基于所述目标
检测模型进行滑雪者检测定位，将定位结果传输至所述图像预处理空间中，进行图像裁剪、筛选与增强处理，将处理后的图像进一步传输至所述特征提取模型，基于模型训练机制，进行图像卷积特征识别提取，将特征提取结果作为所述目标特征，所述目标特征为待进行图像检索的参照特征信息，将所述目标特征作为索引方向，进行关联图像检测识别，所述目标特征为与检索人物相契合的，具有代表性与区分度的检索特征所述目标特征的获取为后续进行图像检索提供了依据。
26.步骤s700：遍历存储数据库，基于所述目标特征确定图像检索结果，其中，所述图像检索结果表述为检索图像-存储位置-存储路径，所述存储位置与所述存储路径为附加输出信息。
27.进一步而言，如图3所示，本技术步骤s700还包括：步骤s710：遍历存储数据库，基于所述目标特征进行相似度匹配，获取相似序列；步骤s720：配置初级相似度阈值与检索期望值；步骤s730：基于所述相似序列，确定满足所述初级相似度阈值的图像序列，作为待评图像序列；步骤s740：判断所述待评图像序列的量值是否大于所述检索期望值；步骤s750：当大于时，对所述初级相似度阈值进行上调，进行阈值判断完成所述待评图像序列的更新；步骤s760：直至所述待评图像序列的量值小于等于所述检索期望值，输出图像检索结果。
28.具体而言，获取所述存储数据库，所述存储数据库保存了丰富的滑雪图像，且存在图像的多种存储位置与存储路径。遍历所述存储数据库，将所述目标特征作为匹配识别信息，对所述存储数据库中的各个图像与所述目标特征进行相似度匹配，确定多个图像相似度，进一步对所述多个图像相似度由大到小进行排序，同步进行对应图像的排序，生成所述相似序列。进一步配置所述初级相似度阈值与所述检索期望值，所述初级相似度阈值为进行图像筛选的相似度临界值，所述检索期望值为进行筛选图像数量限定的临界值。基于所述初级相似度阈值对相似度排序进行截取，基于截取结果进行图像反向匹配，确定满足相似度阈值的图像序列，作为所述待评图像序列。
29.进一步的，对所述待评图像序列进行图像数量确定，获取序列量值，判断所述序列量值是否大于所述检索期望值。当小于等于所述检索期望值时，表明所述相似序列符合检索要求，将所述相似序列作为所述待评图像序列；当大于所述检索期望值时，表明满足所述初级相似度阈值的检索图像较多，在确保检索图像数量达标的基础上，尽可能确定相似度较高的图像，以进一步提高检索精准度。具体的，对所述初级相似度阈值进行上调，例如，将所述初级相似度阈值上调一个百分点，进一步进行所述相似序列的截取与量值判定，当仍旧大于所述检索期望值时，再次对所述初级相似度阈值进行上调判定，直至最终确定的图像序列量值小于等于所述检索期望值时停止进行所述初级相似度阈值的调整，对所述待评图像序列进行更新，将最终调整确定的所述待评图像序列作为所述图像检索结果，同时确定所述图像检索结果中各图像的存储位置与存储路径，将其作为附加输出信息，对所述图像检索结果进行标注，生成检索图像-存储位置-存储路径序列进行输出。可有效保障在检索要求内，所述图像检索结果的契合度，降低检索异常的偏差可能。
实施例2
30.基于与前述实施例中一种基于深度学习的滑雪者图像检索方法相同的发明构思，如图4所示，本技术提供了一种基于深度学习的滑雪者图像检索系统，所述系统包括：图像集构建模块11，所述图像集构建模块11用于连接物联网，将多维场景作为索引方向采集滑雪图像集，包括图像存储位置与存储路径，构建目标检测图像集；目标检测模型训练模块12，所述目标检测模型训练模块12用于基于所述目标检测图像集提取标识定位图像集，训练目标检测模型，其中，所述标识定位图像集带有滑雪者位置框选标记；图像预处理模块13，所述图像预处理模块13用于配置图像预处理空间，基于所述图像预处理空间对所述标识定位图像集进行图像预处理，生成重识别图像集；特征提取模型训练模块14，所述特征提取模型训练模块14用于基于所述重识别图像集，基于object-reid网络框架训练生成特征提取模型；构建模块15，所述构建模块15用于基于所述目标检测模型、所述图像预处理空间与所述特征提取模型，构建图像特征处理模块；特征获取模块16，所述特征获取模块16用于获取目标用户的检索请求，根据所述图像特征处理模块，对目标图像进行检索识别，获取目标特征；结果确定模块17，所述结果确定模块17用于遍历存储数据库，基于所述目标特征确定图像检索结果，其中，所述图像检索结果表述为检索图像-存储位置-存储路径，所述存储位置与所述存储路径为附加输出信息。
31.进一步而言，所述系统还包括：图像采集模块，所述图像采集模块用于连接互联网，采集多维场景下的滑雪图像集，作为目标图像集；图像调整模块，所述图像调整模块用于对所述目标图像集进行多级光色调整与感受野调整，确定增广图像集；图像集生成模块，所述图像集生成模块用于集成规整所述增广图像集与所述目标图像集，生成所述目标检测图像集。
32.进一步而言，所述系统还包括：边缘检测模块，所述边缘检测模块用于基于所述重识别图像集，进行目标区域边缘检测，确定待识别区域集；特征确定模块，所述特征确定模块用于基于所述待识别区域集，进行图像卷积分析，确定图像卷积特征集；函数嵌入模块，所述函数嵌入模块用于将circle损失函数作为object-reid网络框架的损失函数；模型生成模块，所述模型生成模块用于依据所述图像卷积特征集与所述待识别区域集，输入object-reid网络框架，进行有监督训练至circle损失函数收敛，生成所述特征提取模型。
33.进一步而言，所述系统还包括：图像集提取模块，所述图像集提取模块用于基于所述目标检测图像集提取所述标识定位图像集；
样本构建模块，所述样本构建模块用于将所述目标检测图像集作为层级识别信息，将所述标识定位图像集作为层级决策信息，构建样本数据集，其中，所述目标检测图像集与所述标识定位图像集一一对应；样本划分模块，所述样本划分模块用于将所述样本数据集划分为k组，获取k组样本数据子集；模型训练模块，所述模型训练模块用于基于k折交叉法，将所述k组样本数据子集划分为训练集与测试集，训练所述目标检测模型。
34.进一步而言，所述系统还包括：标记识别模块，所述标记识别模块用于基于所述标识定位图像，对滑雪者位置框选标记进行识别，获取目标识别结果；图像裁剪模块，所述图像裁剪模块用于基于所述目标识别结果，确定目标像素坐标对所述标识定位图像进行裁剪，获取目标需求图像；图像筛选模块，所述图像筛选模块用于对所述目标需求图像进行清晰度判定，获取满足清晰度阈值的图像，作为初级预处理图像；图像增强模块，所述图像增强模块用于对所述初级预处理图像进行图像增强，作为所述重识别图像集。
35.进一步而言，所述系统还包括：序列获取模块，所述序列获取模块用于遍历存储数据库，基于所述目标特征进行相似度匹配，获取相似序列；参数配置模块，所述参数配置模块用于配置初级相似度阈值与检索期望值；序列筛选模块，所述序列筛选模块用于基于所述相似序列，确定满足所述初级相似度阈值的图像序列，作为待评图像序列；量值判断模块，所述量值判断模块用于判断所述待评图像序列的量值是否大于所述检索期望值；序列更新模块，所述序列更新模块用于当所述待评图像序列的量值大于所述检索期望值时，对所述初级相似度阈值进行上调，进行阈值判断完成所述待评图像序列的更新；结果输出模块，所述结果输出模块用于直至所述待评图像序列的量值小于等于所述检索期望值，输出图像检索结果。
36.本说明书通过前述对一种基于深度学习的滑雪者图像检索方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于深度学习的滑雪者图像检索方法和系统，对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
37.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。