一种海量动态图库的通用api接口对接及实时数据调用系统的制作方法

1.本发明涉及数据调用系统技术领域，尤其涉及一种海量动态图库的通用api接口对接及实时数据调用系统。


背景技术：

2.图库是汇集千万种不同种类或类似主题的图的集合，不同的图库可以按照自身独特的维度查找图片，在海量图库的检索过程中，通常需要利用api接口对图库中图片信息进行调用，而当图片的资源数据越大时，此时图片筛选时间就越长，进而导致需要一定的图片加载时间，同时占用内存较大，影响了设备的运行速度。


技术实现要素：

3.本发明的目的是为了解决现有技术中存在的缺点，而提出的一种海量动态图库的通用api接口对接及实时数据调用系统。
4.为了实现上述目的，本发明采用了如下技术方案：一种海量动态图库的通用api接口对接及实时数据调用系统，所述海量动态图库的通用api接口对接及实时数据调用系统包括，
5.图库存储模块，所述图库存储模块用于接收客户端提交的图片字节流，对原始图片进行处理，随后存储为预定大小的数据块保存在第一数据库中，而图片文件和与其相互关联的信息保存在第二数据库中；
6.服务调用模块，所述服务调用模块用于获取一条或多条服务配置变更消息，当客户端将图片上传后，api接口对上传的图片进行实时获取，随后反映到图库存储模块中重复保存操作；
7.图片检索模块，接收针对图片的检索请求，提取图片数据的多种特征信息，将多种特征信息转换为语义文本，转换的语义文本提取其中的关键字并且标记于多组待筛选图片上；
8.预处理模块，获取图片检索模块中的图片关键字，对多张目标图片文本信息语义相似度进行筛分排序，并对相似度超过平均数值的图片进行提取。
9.图片提取模块，调用预处理模块中信息相对应的图片，同时根据api接口将图片通过服务器展示给用户。
10.为了分类保存图片信息，本发明改进有，所述第一数据库为hbase数据库，所述第二数据库为elasticsearch数据库，所述图片属性信息以键值对的形式存储在所述elasticsearch数据库中。
11.为了存储上传图片，本发明改进有，所述服务配置变更消息对应于上线事件和/或路由表变更事件。
12.为了获取图片信息，本发明改进有，所述api接口在多个api的数据流中筛选所述目标api的数据流，进而获取图片的详细信息，同时还可以通过抓包方式直接获得目标api
信息。
13.为了获取数据，本发明改进有，所述api网关至少包括多个api接口类型、接口功能以及接口访问权限，api接口形式可以为http类型接口、rpc接口、web service接口。
14.为了获取图片信息，本发明改进有，所述图片数据的多种特征信息包括文本关键字、图片格式和色彩模型。
15.为了进一步筛分图片，本发明改进有，所述相似度的数值可以人为设置，设置后标记为阈值作为图片提取参考。
16.为了减少内存占用，本发明改进有，当图片数据不再调用时，则删除缓存于图片提取模块中的所有图片集合以及信息文件。
17.与现有技术相比，本发明的优点和积极效果在于，
18.本发明中，通过图库存储模块，使图片信息能够分类存储，进而方便后续的筛查操作，而图片检索模块以及预处理模块对需要获取的图片进行预先筛分，并对其进行关键字标记，进而便于系统对不符合要求的图片信息进行快速筛分，提高了图片的筛选效率，当图片不再需要调用时，通过自动删除缓存的方式，减少了内存的占用，使其不再影响到设备的运行速度。
附图说明
19.图1为本发明提出一种海量动态图库的通用api接口对接及实时数据调用系统的流程图。
具体实施方式
20.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
21.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。
22.实施例一，请参阅图1，本发明提供一种技术方案：一种海量动态图库的通用api接口对接及实时数据调用系统，海量动态图库的通用api接口对接及实时数据调用系统包括，
23.图库存储模块，图库存储模块用于接收客户端提交的图片字节流，对原始图片进行处理，随后存储为预定大小的数据块保存在第一数据库中，而图片文件和与其相互关联的信息保存在第二数据库中，通过图库存储模块，使图片信息能够分类存储，进而方便后续的筛查操作；
24.服务调用模块，服务调用模块用于获取一条或多条服务配置变更消息，当客户端将图片上传后，api接口对上传的图片进行实时获取，随后反映到图库存储模块中重复保存操作；
25.图片检索模块，接收针对图片的检索请求，提取图片数据的多种特征信息，将多种特征信息转换为语义文本，转换的语义文本提取其中的关键字并且标记于多组待筛选图片上；
26.预处理模块，获取图片检索模块中的图片关键字，对多张目标图片文本信息语义相似度进行筛分排序，并对相似度超过平均数值的图片进行提取。
27.图片提取模块，调用预处理模块中信息相对应的图片，同时根据api接口将图片通过服务器展示给用户。
28.第一数据库为hbase数据库，第二数据库为elasticsearch数据库，图片属性信息以键值对的形式存储在elasticsearch数据库中，hbase是一个分布式的、面向列的开源数据库，hbase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，另一个不同的是hbase基于列的而不是基于行的模式，elasticsearch是一个分布式、高扩展、高实时的搜索与数据分析引擎，它能很方便的使大量数据具有搜索、分析和探索的能力，充分利用elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值，elasticsearch的实现原理主要分为以下几个步骤，首先用户将数据提交到elasticsearch数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。
29.服务配置变更消息对应于上线事件和/或路由表变更事件。
30.api接口在多个api的数据流中筛选目标api的数据流，进而获取图片的详细信息，同时还可以通过抓包方式直接获得目标api信息，api接口是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件的以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。
31.api网关至少包括多个api接口类型、接口功能以及接口访问权限，api接口形式可以为http类型接口、rpc接口、web service接口。
32.图片数据的多种特征信息包括文本关键字、图片格式和色彩模型，图片上可能附加的信息有：mime文件类型、宽高、创建软件、修改时间、拍照方向、相机型号、拍摄时间、iso感光度、gps地理位置等。
33.相似度的数值可以人为设置，设置后标记为阈值作为图片提取参考。
34.当图片数据不再调用时，则删除缓存于图片提取模块中的所有图片集合以及信息文件。
35.本发明中，通过图库存储模块，使图片信息能够分类存储，进而方便后续的筛查操作，而图片检索模块以及预处理模块对需要获取的图片进行预先筛分，并对其进行关键字标记，进而便于系统对不符合要求的图片信息进行快速筛分，提高了图片的筛选效率，当图片不再需要调用时，通过自动删除缓存的方式，减少了内存的占用，使其不再影响到设备的运行速度。
36.以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。