专利名称：一种基于互联网的照片自动标注系统的制作方法
技术领域：
本实用新型涉及的是自动识别用户照片中图像内容，具体涉及的是一种基于互联网的照片自动标注系统。
背景技术：
近年来随着图像采集设备，平板电脑、智能手机等智能终端的广泛使用，用户可以随时随地拍摄数码照片。但是市场上并没有具有自动照片标注(自动识别用户照片中图像内容，给出描述照片内容的汉字标签和地理位置坐标)的智能终端，用户拍摄的照片也因此不能够有效地进行管理。发明内容本实用新型的目的是提供一种基于互联网的照片自动标注系统，它用于解决目前市场上没有对照片进行自动标注的智能终端的问题。本实用新型解决其技术问题所采用的技术方案是这种基于互联网的照片自动标注系统由本地终端装置和远程服务器构成，本地终端装置通过互联网与远程服务器连接，本地终端装置中设置的本地主控模块分别与摄像头、GPS定位器、网络接入单元、嵌入式处理器、图像特征抽取单元、存储器、显示屏连接，本地主控模块包括本地图像获取模块、GPS信号接收模块、显示模块、图像特征抽取模块；远程服务器的远程主控模块分别与图像语义标注服务器、网络接入单元、数据库服务器连接，远程主控模块包括互联网图像抓取模块、标签过滤模块、标注模块、图像特征抽取模块。上述方案中本地终端装置为智能手机或智能数码相机。本实用新型具有以下有益效果I、本实用新型大量运算均在远程服务器完成，具备本地终端装置负载低、功率损耗小的优点，利用互联网丰富的图像资源实现照片内容的自动标注。给智能手机用户带来了非常有趣的图像标注体验，系统自动识别用户照片中图像内容和照片拍摄地点的GPS坐标，可自动给出所拍摄照片内容的汉字描述(如“兵马俑、秦俑、秦始皇、西安”)；同时系统综合利用生成的照片时间信息、照片汉字描述、GPS坐标标注信息和互联网图像资源，依据互联网照片聚类结果，系统返回给用户相近地点、相同文本标签的网络图像；当用户拍摄了一幅景点照片后，系统可以返回不同时间(如10年前)，同一建筑不同场景(室内、室外)，同一地点、建筑或者标注词语义在不同自然条件下(白天、夜间、雨天、雪天、晴天)的照片。2、本实用新型提升了智能手机用户使用功能，激发了使用兴趣，也给予了用户拍照时间、拍摄内容和拍摄地点二次选择能力，给予了用户更多的拍摄体验和乐趣。
图I是本实用新型的结构示意图；图2是本实用新型的原理方框图；图3是本实用新型一种实施方式的结构示意图。I智能手机 2摄像头 3显示屏 4远程服务器。
具体实施方式
以下结合附图对本实用新型做进一步的说明结合图I、图2所示，这种基于互联网的照片自动标注系统由本地终端装置和远程服务器4构成，本地终端装置为智能手机或智能数码相机。本地终端装置通过互联网与远程服务器4连接，本地终端装置中设置的本地主控模块分别与摄像头、GPS定位器、网络接入单元、嵌入式处理器、图像特征抽取单元、存储器、显示屏连接，本地主控模块包括本地图像获取模块、GPS信号接收模块、显示模块、图像特征抽取模块；远程服务器4的远程主控模块分别与图像语义标注服务器、网络接入单元、数据库服务器连接，远程主控模块包括互联网图像抓取模块、标签过滤模块、标注模块、图像特征抽取模块。摄像头为高分辨率摄像头。如图3所示，这种实施方式的基于互联网的照片自动标注系统中的本地终端装置为智能手机1，智能手机I利用摄像头2、存储器、显示屏3，以及本地主控模块、GPS定位器、网络接入单元、嵌入式处理器、图像特征抽取单元工作，摄像头2拍摄图像后，本系统自动 识别用户照片中图像内容和照片拍摄地点的GPS坐标，可在显示屏3上自动给出所拍摄照片内容的汉字描述(如“兵马俑、秦俑、秦始皇、西安”)。本实用新型的工作过程为用户通过本地主控模块发出控制命令，本地主控模块操纵图像获取模块激活摄像头获取高分辨率图片，调用显示模块显示照片，同时本地主控模块调用GPS信号接收模块，这样就生成了具有地理位置坐标的高分辨率图像。本地主控模块和远程主控模块协商特征抽取类别编码和特征维度参数，协商成功后发出特征抽取控制命令，操纵图像特征抽取模块提取图像底层特征，本系统采用可编程器件实现本地图像特征抽取(包括64维的颜色直方图，144维的颜色相关图，73维的边缘方向直方图，128维的小波纹理和SIFT特征描述子)，特征抽取后依据协商结果进行相应的降维处理。降维后本地主控模块调用本地网络接入设备将特征描述符和照片GPS地理位置坐标发给远程服务器。远程互联网图像抓取模块是一个服务器守护程序，自动访问图像共享社区(如FLICKR等)和照片资源网站，获取图像时间信息、GPS地理位置坐标信息、标注词信息并存入数据库，在该步骤中需要进行两种处理保证数据完整性，一是针对上述信息不完整的图像，主控模块将发出舍弃命令，对于存储成功的照片，主控模块命令图像特征抽取模块提取该图像的底层特征并进行降维处理后存储于数据库服务器；二是针对获取的互联网图像汉字标签不准确、不完整的情况主控模块调用标签过滤模块进行标注词改善，最终标注词(文本标签)存入数据库服务器。当远程主控模块接收来自本地主控模块的发送信息后，将接收的本地特征描述符提交给标注模块比对图像特征相似度，完成照片内容语义标注、地理位置坐标近邻查找等任务。需要说明的是数据库服务器必须建立聚集索引和优化以减少处理延时。标注完成后远程主控模块将返回的标注词、即近邻图像和地理位置聚类图像等信息返回给本地主控模块，本地主控模块发送命令，显示模块显示标注词和返回的照片。本实用新型利用互联网图像数据和GPS定位信息，对用户拍摄的照片进行自动识别和标注。应用本系统功能，用户可以进行非常有趣的图像标注体验，如拍摄地点GPS坐标自动标注、照片内容自动标注等功能。功能(I)是指照片内容标注，针对用户拍摄的照片，系统可以依据对图像内容即时自动标注出(“狮身人面像”、埃及、“旅游”、“金字塔”)。功能(2)是指照片坐标标注，系统可以对用户拍摄的照片标注该照片生成时的地理位置坐标，如用户甲在国家大剧院附近拍摄了一张照片，系统可以给用户自动返回互联网上具有相同或者相近GPS坐标标注(即在相近地点拍摄)的网络照片，如“国家大剧院附近”的照片集合。功能(3)是指系统综合利用生成的照片时间信息、照片汉字标注信息、GPS坐标标注信息和互联网图像资源，当用户拍摄了一幅景点照片后，系统可以返回不同时间(如10年前)，同一建筑不同场景(室内、室外)，同一地点、建筑或者标注词语义在不同条件下(白天、夜间、雨天)的照片。这当然在提升用户使用功能、激发用户的使用兴趣的同时，也给予了用户拍照时间、拍摄内容和拍摄地点二次选择能力，给予了用户更多的心灵体验。本实用新型旨在利用互联网丰富的网 络图像和智能终端的运算能力，进行图像语义自动识别和标注。具备本地图像获取设备的智能终端(各种智能手持设备)用户在拍照获取图像后，可以通过本系统自动给出图像的识别和标注结果。系统的设计和实现方案考虑到尽量减少用户终端的工作和运算量，降低功率损耗。
权利要求1.一种基于互联网的照片自动标注系统，其特征在于这种基于互联网的照片自动标注系统由本地終端装置和远程服务器(4)构成，本地終端装置通过互联网与远程服务器(4)连接，本地终端装置中设置的本地主控模块分别与摄像头、GPS定位器、网络接入単元、嵌入式处理器、图像特征抽取単元、存储器、显示屏连接，远程服务器(4)的远程主控模块分别与图像语义标注服务器、网络接入単元、数据库服务器连接。
2.根据权利要求I所述的基于互联网的照片自动标注系统，其特征在于所述的本地終端装置为智能手机(I)或智能数码相机。
专利摘要本实用新型涉及的是一种基于互联网的照片自动标注系统，这种基于互联网的照片自动标注系统由本地终端装置和远程服务器构成，本地终端装置通过互联网与远程服务器连接，本地终端装置中设置的本地主控模块分别与摄像头、GPS定位器、网络接入单元、嵌入式处理器、图像特征抽取单元、存储器、显示屏连接，本地主控模块包括本地图像获取模块、GPS信号接收模块、显示模块、图像特征抽取模块；远程服务器的远程主控模块分别与图像语义标注服务器、网络接入单元、数据库服务器连接，远程主控模块包括互联网图像抓取模块、标签过滤模块、标注模块、图像特征抽取模块。本实用新型利用互联网丰富的图像资源实现照片内容的自动标注，具备本地终端装置负载低、功率损耗小的优点。
文档编号G06F17/30GK202443465SQ20112054653
公开日2012年9月19日 申请日期2011年12月23日 优先权日2011年12月23日
发明者周凯, 曹茂俊, 李建平, 李阳, 杜睿山, 田枫, 肖红 申请人:东北石油大学