一种面向数字人文的移动视觉检索方法与流程

本发明属于视觉检索技术领域，尤其涉及一种面向数字人文的移动视觉检索方法。

背景技术：

数字人文学科领域的许多学者都致力于将技术融合进入学术研究，例如文本分析、gis、互动游戏和多媒体等在历史、哲学、文学、宗教学或社会学等学科的应用。基于方法论，它被归纳为利用知识产生、分散、收集的手段来来对人文学科进行补充。约翰昂斯沃什将这些活动归纳为发现、注释、对比、参照、抽样、说明和表示等行为。视觉搜索是以图识图，通过搜索视觉特征，为用户提供互联网上搜索相关图形图像资料检索服务的专业搜索的引擎系统，是搜索引擎的一种细分。然而，现有视觉检索时，对检索图像的图像特征点的提取方法能够识别的特征点的种类单一，提取精度差；同时，图像特征选择困难、匹配速度低和准确率低。

综上所述，现有技术存在的问题是：

现有视觉检索时，对检索图像的图像特征点的提取方法能够识别的特征点的种类单一，提取精度差；同时，图像特征选择困难、匹配速度低和准确率低。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种面向数字人文的移动视觉检索方法。

本发明是这样实现的，一种面向数字人文的移动视觉检索方法，包括以下步骤：

步骤一，通过上传模块利用上传程序将需要检索的人文图像进行上传；

步骤二，主控模块通过网络通信模块利用无线发射器连接无线互联网进行网络通信；

步骤三，通过图像特征提取模块利用图像处理程序提取图像特征元素信息；

获取特征点提取模型和待提取图像，其中，所述特征点提取模型为通过多张训练图像和每张训练图像所包括的特征点进行训练得到的模型；通过所述特征点提取模型对所述待提取图像中的特征点进行提取；

步骤四，通过匹配模块利用匹配程序对检索人文图像进行匹配相关人文图像、文本属性信息；建立hadoop框架的图像存储平台，将海量的图像存储在hadoop框架的图像存储平台中的hdfs中，并通过hadoop框架的图像存储平台中的mapreduce对所述海量的图像进行图像特征分布分析和计算；mapreduce对所述海量的图像进行的图像特征分布分析包括图像方向分布特征、图像长宽分布特征、图像内部结构比对特征和图像四分块灰度特征；mapreduce生成每一张图像的方向特征、长宽特征、内部结构比对特征和四分块灰度特征，最后使用一个7维的特征向量对图像进行特征表达；mapreduce选择一张图像作为待查询图像，mapreduce根据特征匹配相似度的方法对图像库中所有图片进行过滤，找出与待查询图像匹配的图像；

步骤五，通过云服务模块利用云服务器对匹配的关联数据进行云处理；

步骤六，通过检索数据存储模块利用存储器存储检索人文图像的关联数据；通过显示模块利用显示器显示检索数据信息。

进一步，所述获取特征点提取模型包括：

获取对神经网络模型的结构参数的设置；

获取所述多张训练图像；

获取所述每张训练图像所包括的特征点的位置标签；

通过所述多张训练图像和所述每张训练图像所包括的特征点的位置标签对所述结构参数的神经网络模型进行训练，将训练后的所述结构参数的神经网络模型作为所述特征点提取模型。

进一步，所述每张训练图像所包括的特征点的位置标签通过特征点标签图像表示，其中，所述特征点标签图像与对应的训练图像长宽相同，且在所述特征点标签图像中与所述对应的训练图像中的所有特征点位置相对应的位置通过像素值进行标记。

进一步，所述通过所述多张训练图像和所述每张训练图像所包括的特征点的位置标签对所述结构参数的神经网络模型进行训练包括：

将所述每张训练图像输入所述神经网络模型；

以所述每张训练图像输入所述神经网络模型所得到的输出与对应的特征点的位置标签相同作为训练目标，训练所述结构参数的神经网络模型。

进一步，所述神经网络模型包括输入层、输出层、至少一个中间层，其中，每个所述中间层为一个带有修正线性单元relu激活函数的卷积层。

进一步，所述特征匹配相似度的方法包括步骤如下：

步骤a：mapreduce从hadoop框架的图像存储平台中存储的所有图像中选择一张作为待查询图像；

步骤b：mapreduce在hadoop框架的图像存储平台中存储的图像数据中进行查询和检索，并根据步骤2中所述的方向特征、长宽比特征、内部结构比对特征和四分块灰度特征，找到与待查询图像相似的图像作为匹配图像；

步骤c：重复步骤b，统计出所有待查询图像的匹配图像的个数，并生成匹配图像统计表；

步骤d：重复步骤a到步骤c，统计出所有图像的匹配图像统计表和匹配图像占图片总数的百分比；

所述图像方向分布统计包括如下步骤：

mapreduce根据每一副图像的尺寸的长宽比例，分别把图像分成横向图片、纵向图片和方形图片；横向图片的尺寸的长宽比例为长大于宽；纵向图片的尺寸的长宽比例为长小于宽；方形图片的尺寸的长宽比例为长等于宽；

mapreduce根据图像的尺寸的长宽比例对所有图像进行筛选归类，生成并存储每一幅图像的方向分布特征，

mapreduce统计横向图片所占的比例、方形图片所占的比例和纵向图片所占的比例；

所述图像长宽分布统计包括如下步骤：

mapreduce将所有图像的尺寸均缩放到1000×n的大小，n的取值在0-1000之间；每一张图像的最大边长度为1000，次长边长度为n；

mapreduce对所有图像的次长边的边长进行统计分析，根据次长边长度将所有图像分成数个图像集；

mapreduce统计每一个图像集中包含的图像的个数。

本发明的另一目的在于提供一种面向数字人文的移动视觉检索程序，应用于计算机，所述面向数字人文的移动视觉检索程序实现权利要求1～6任意一项所述的面向数字人文的移动视觉检索方法。

本发明的另一目的在于提供一种终端，所述终端搭载实现所述面向数字人文的移动视觉检索方法的处理器。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的面向数字人文的移动视觉检索方法。

本发明的另一目的在于提供一种面向数字人文的移动视觉检索系统，所述面向数字人文的移动视觉检索系统包括：

上传模块，与主控模块连接，用于通过上传程序将需要检索的人文图像进行上传；

主控模块，与上传模块、网络通信模块、图像特征提取模块、匹配模块、云服务模块、检索数据存储模块、显示模块连接，用于通过中央处理器控制各个模块正常工作；

网络通信模块，与主控模块连接，用于通过无线发射器连接无线互联网进行网络通信；

图像特征提取模块，与主控模块连接，用于通过图像处理程序提取图像特征元素信息；

匹配模块，与主控模块连接，用于通过匹配程序对检索人文图像进行匹配相关人文图像、文本属性信息；

云服务模块，与主控模块连接，用于通过云服务器对匹配的关联数据进行云处理；

检索数据存储模块，与主控模块连接，用于通过存储器存储检索人文图像的关联数据；

显示模块，与主控模块连接，用于通过显示器显示检索数据信息。

本发明的优点及积极效果为：

本发明通过图像特征提取模块获取特征点提取模型和待提取图像，其中，特征点提取模型为通过多张训练图像和每张训练图像所包括的特征点进行训练得到的模型；通过特征点提取模型对待提取图像中的特征点进行提取，解决了相关技术中的图像特征点的提取方法能够识别的特征点的种类单一的技术问题，进而实现了能够更通用的对图像中不同类型的特征点进行提取的技术效果；同时，通过匹配模块解决了现有技术中图像特征选择困难、匹配速度低和准确率低的问题；本发明根据图像数据的多种特征分布，选择四种互补类型的特征，并通过简单直观的方式用最简短的方式来描述每一个特征，最后仅仅用一个长度为7的特征向量来表达一幅图像，大大减少了计算量，提高了图像匹配的速率；此外本发明结合多种特征进行分析，且这些特征具有互补特性，包含了更多更丰富的图像信息，弥补了单一特征的局限性，可以增加匹配的准确性；而且用7个特征值就可以把一个图像的特征描述出来，大大降低了特征维度、减少特征冗余，同时在保证一定匹配准确性的前提下，也大大提高了图像的匹配速率。用这种算法在海量互联网图像检索中，可以实现快速准确的图像匹配，具有很大的实用价值。

附图说明

图1是本发明实施例提供的面向数字人文的移动视觉检索方法流程图。

图2是本发明实施例提供的面向数字人文的移动视觉检索系统结构框图。

图中：1、上传模块；2、主控模块；3、网络通信模块；4、图像特征提取模块；5、匹配模块；6、云服务模块；7、检索数据存储模块；8、显示模块。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

现有视觉检索时，对检索图像的图像特征点的提取方法能够识别的特征点的种类单一，提取精度差；同时，图像特征选择困难、匹配速度低和准确率低。

为解决上述问题，下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明实施例提供的面向数字人文的移动视觉检索方法包括以下步骤：

s101，通过上传模块利用上传程序将需要检索的人文图像进行上传。

s102，主控模块通过网络通信模块利用无线发射器连接无线互联网进行网络通信。

s103，通过图像特征提取模块利用图像处理程序提取图像特征元素信息。

s104，通过匹配模块利用匹配程序对检索人文图像进行匹配相关人文图像、文本属性信息。

s105，通过云服务模块利用云服务器对匹配的关联数据进行云处理。

s106，通过检索数据存储模块利用存储器存储检索人文图像的关联数据；通过显示模块利用显示器显示检索数据信息。

如图2所示，本发明实施例提供的面向数字人文的移动视觉检索系统包括：上传模块1、主控模块2、网络通信模块3、图像特征提取模块4、匹配模块5、云服务模块6、检索数据存储模块7、显示模块8。

上传模块1，与主控模块2连接，用于通过上传程序将需要检索的人文图像进行上传。

主控模块2，与上传模块1、网络通信模块3、图像特征提取模块4、匹配模块5、云服务模块6、检索数据存储模块7、显示模块8连接，用于通过中央处理器控制各个模块正常工作。

网络通信模块3，与主控模块2连接，用于通过无线发射器连接无线互联网进行网络通信。

图像特征提取模块4，与主控模块2连接，用于通过图像处理程序提取图像特征元素信息。

匹配模块5，与主控模块2连接，用于通过匹配程序对检索人文图像进行匹配相关人文图像、文本属性信息。

云服务模块6，与主控模块2连接，用于通过云服务器对匹配的关联数据进行云处理。

检索数据存储模块7，与主控模块2连接，用于通过存储器存储检索人文图像的关联数据。

显示模块8，与主控模块2连接，用于通过显示器显示检索数据信息。

本发明提供的图像特征提取模块4提取方法如下：

(1)获取特征点提取模型和待提取图像，其中，所述特征点提取模型为通过多张训练图像和每张训练图像所包括的特征点进行训练得到的模型。

(2)通过所述特征点提取模型对所述待提取图像中的特征点进行提取。

本发明提供的获取特征点提取模型包括：

获取对神经网络模型的结构参数的设置。

获取所述多张训练图像。

获取所述每张训练图像所包括的特征点的位置标签。

通过所述多张训练图像和所述每张训练图像所包括的特征点的位置标签对所述结构参数的神经网络模型进行训练，将训练后的所述结构参数的神经网络模型作为所述特征点提取模型。

本发明提供的每张训练图像所包括的特征点的位置标签通过特征点标签图像表示，其中，所述特征点标签图像与对应的训练图像长宽相同，且在所述特征点标签图像中与所述对应的训练图像中的所有特征点位置相对应的位置通过像素值进行标记。

本发明提供的通过所述多张训练图像和所述每张训练图像所包括的特征点的位置标签对所述结构参数的神经网络模型进行训练包括：

将所述每张训练图像输入所述神经网络模型。

以所述每张训练图像输入所述神经网络模型所得到的输出与对应的特征点的位置标签相同作为训练目标，训练所述结构参数的神经网络模型。

本发明提供的神经网络模型包括输入层、输出层、至少一个中间层，其中，每个所述中间层为一个带有修正线性单元relu激活函数的卷积层。

本发明提供的匹配模块5匹配方法如下：

1)建立hadoop框架的图像存储平台，将海量的图像存储在hadoop框架的图像存储平台中的hdfs中，并通过hadoop框架的图像存储平台中的mapreduce对所述海量的图像进行图像特征分布分析和计算。

2)mapreduce对所述海量的图像进行的图像特征分布分析包括图像方向分布特征、图像长宽分布特征、图像内部结构比对特征和图像四分块灰度特征。mapreduce生成每一张图像的方向特征、长宽特征、内部结构比对特征和四分块灰度特征，最后使用一个7维的特征向量对图像进行特征表达。

3)mapreduce选择一张图像作为待查询图像，mapreduce根据特征匹配相似度的方法对图像库中所有图片进行过滤，找出与待查询图像匹配的图像。

本发明提供的特征匹配相似度的方法包括步骤如下：

步骤a：mapreduce从hadoop框架的图像存储平台中存储的所有图像中选择一张作为待查询图像。

步骤b：mapreduce在hadoop框架的图像存储平台中存储的图像数据中进行查询和检索，并根据步骤2中所述的方向特征、长宽比特征、内部结构比对特征和四分块灰度特征，找到与待查询图像相似的图像作为匹配图像。

步骤c：重复步骤b，统计出所有待查询图像的匹配图像的个数，并生成匹配图像统计表。

步骤d：重复步骤a到步骤c，统计出所有图像的匹配图像统计表和匹配图像占图片总数的百分比。

本发明提供的图像方向分布统计包括如下步骤：

mapreduce根据每一副图像的尺寸的长宽比例，分别把图像分成横向图片、纵向图片和方形图片。横向图片的尺寸的长宽比例为长大于宽。纵向图片的尺寸的长宽比例为长小于宽。方形图片的尺寸的长宽比例为长等于宽。

mapreduce根据图像的尺寸的长宽比例对所有图像进行筛选归类，生成并存储每一幅图像的方向分布特征，

mapreduce统计横向图片所占的比例、方形图片所占的比例和纵向图片所占的比例。

本发明提供的图像长宽分布统计包括如下步骤：

mapreduce将所有图像的尺寸均缩放到1000×n的大小，n的取值在0-1000之间。每一张图像的最大边长度为1000，次长边长度为n。

mapreduce对所有图像的次长边的边长进行统计分析，根据次长边长度将所有图像分成数个图像集。

mapreduce统计每一个图像集中包含的图像的个数。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。