Wap手机传媒色情图像识别、监管的多进程管理系统的制作方法

专利名称：Wap手机传媒色情图像识别、监管的多进程管理系统的制作方法
技术领域：
本发明涉及一种手机互联网淫秽色情内容及危害国家信息安全内容的识别、监管系统，特别是涉及一种手机互联网淫秽色情图像及危害国家安全内容的快速识别、监管平台的多进程管理系统。
背景技术：
移动通信网和互联网是当前信息产业的两大支柱，且随着通讯技术的进步不断迅猛发展的。而手机互联网具有将这两大领域结合的优势与能力，引发了我国手机互联网用户的迅猛发展，随着3G技术的进步和3G业务的广泛开展，带宽明显增加，手机互联网开始渗透和融合到社会、生活、学习、娱乐和产业的各个环节，权威人士估计，到2011年底我国手机互联网用户数将会超过传统互联网，届时将达到4亿以上。由于手机不受时间、地点、 环境的限制随时随地都可以上网，十分方便，加上交互的便利性，因而赶时尚的青少年自然成为手机上网的主力军。19岁以下的青少年，约占我国手机网民总数的40%。然而近年来，淫秽色情内容正猛烈地向手机互联网渗透，由于暴利的驱使，监管的困难，大量的手机WAP网站被淫秽内容染指。赤裸裸的色情图像和视频，只要通过手机上网就唾手可得，甚至推送到你的手机上，引诱你下载浏览。“目前大多数WAP网站公布的同时在线人数都达到了 5位数，而一线门户网站基本都在6位数以上”。再加上手机传播的低成本、私密性和易用性，互动性，非常容易将色情图像与他人分享，手机色情内容传播的广泛性远远超过想象。这对青少年具有相当大的吸引力，更容易诱使鉴别能力差、受好奇心驱使的未成年人误入歧途，诱发犯罪。据调查，北京市 60%以上的中学生手机上都有赤裸裸的色情图片，没有的反被说成是OUT。为逃避监管，色情WAP网站会设置IP地址访问权限，只允许手机用户访问，或只允许手机用户通过移动梦网服务访问非法WAP网站，电脑模拟器访问不到淫秽色情WAP网站的实际内容。通过设置 IP地址访问权限来逃避WAP网站的监管。手机互联网正在取代电脑网络成为学生接触色情信息的主要渠道。而家长监管远较PC机为难。手机互联网淫秽色情图像、视频等不良信息具有以下特点1)手机互联网上手机上传或浏览下载的数据信息是要经过WAP网关转换，带宽窄，图像传输速率低，但用户多， 总量大；2)隐蔽性强，采取伪装措施，发现难；3)地址跳转快；4)很多涉黄网站是通过搜索引擎和导航网站来传播；5)许多藏身于境外；6)手机网站主要面向手机用户访问使用，有的网站限制、屏蔽来自互联网的访问，致使人工监管难度加大。因此，采用人工方式进行观看肯定不能满足信息膨胀的需求，同时采用拨测方式对数据进行主动采集，也会因为手机互联网特殊的环境遇到种种困难，使得监管效果达不到指定要求。因此手机互联网服务已成为国家网络安全的巨大隐患。日本的3G运营后， 9000万手机网民每天下载的成人影视常常使3G网络超载。过去的人工监管方法已无能为力。而当前对手机互联网色情图片与视频内容的自动识别技术又特别缺乏，无法进行有效的监控和管理。
2009年新疆乌鲁木齐“75”事件中，境内外“三股势力”利用手机互联网大肆制造、 散播谣言，制造民族矛盾，利用网络视频挑起民族仇恨，煽动暴动。因此手机互联网服务已成为国家网络安全的巨大隐患。“75”事件凸显了加强信息监督管理、保障信息安全的重要性和紧迫性。政府应当建立和完善网络信息安全监控体系，对网上传播的信息进行严格识别，提高信息系统的安全防御能力和处理信息安全突发事件的能力，使其有效防控互联网、 手机互联网犯罪，做到及时识别发现、及时监管、及时处理。防止事态扩大。因此对手机互联网不良图像、视频内容及危害国家安全内容，只有用高技术手段智能识别过滤，构建基础防线才能根本解决这一难题，而此前这是空白。

发明内容
本发明所要解决的技术问题针对现有技术不足，提出一种手机互联网色情图像识别、 监管的多进程管理系统。本发明所采用的技术方案
一种WAP手机传媒色情图像识别、监管的多进程管理系统，包括资源调度子系统，全网多级URL去重子系统，并发处理子系统，图像检测服务子系统，内部通信子系统；其中
A、资源调度子系统包括图片、视频及文字搬运流程和IP地址归属地资源管理流程；所述IP地址归属地资源管理流程维护IP地址归属地的对应库，直接为用户呈现不良信息提供服务器或WAP网站的IP地址归属地信息；
B、全网多级URL去重子系统采用多级URL去重体系，前端机采集直接去重和处理子系统的数据去重以及汇集到数据中心的去重，同时包括在WAP网关的TTTP GET请求获得目标图像的目的URL信息后，查询该URL是否在指定的时间内检测过，如检测过不再重组对应的数据包；
C、并发处理子系统支持多线程多设备，对图片、视频和文字的采集和识别；
D、图像检测服务子系统，通过命令接口传递待检图像数据列表，并指定待检图像数据的传送方式；图像检测服务器检测完图像以后，将检测结果列表在进行分析，然后存在数据库中，作为共享的资源；
E、内部通信子系统，负责系统内部各设备间的通信，系统内部各设备间采用TCP/IP协议通信，具体功能间采用私有协议接口。所述的WAP手机传媒色情图像识别、监管的多进程管理系统，图像检测服务子系统的进程结构包括数据的获取和解析进程，图像队列管理进程，图像检测和报告进程，监控终端通信进程和错误保护进程。所述的WAP手机传媒色情图像识别、监管的多进程管理系统，图像检测服务子系统的逻辑结构包括在数据入口获取镜像数据，然后对获取的数据进行解析和重组，结合数据库查找并去除已检图像名单，将未检送入待检图像队列，然后送检至图像检测模块对检测结果进行分析并存储。所述的WAP手机传媒色情图像识别、监管的多进程管理系统，系统软件架构包括采集控制层、数据审核层、数据管理层、数据呈现层，其中
采集控制层将采集到的高带宽数据经协议解析还原为原始的图像帧和文本信息， 进行不良内容访问阻断与提醒，并在前端将URL去重，将完全相同的不良图像去重，以提高检测速度，然后将还原的图片、视频、文字内容通过接口送至数据审核层；数据审核层分别对文字、图像、视频进行自动审核，并将获取的不良信息内容传输到数据管理层；
数据管理层实现系统全局数据的统一管理和多维数据统计；
呈现层对全局数据进行审计，阻断不良内容、封锁不良网址，给出需要的审计报表。本发明的有益积极效果
1、本发明手机互联网色情图像识别、监管的多进程管理系统，在手机互联网淫秽色情图像、视频及不良信息识别监管无先例的情况下，首次提出该识别监管平台的多进程管理系统。高效处理该识别监管平台的软件系统处理流程与图像检测服务器进程，提供了多层次多进程并发管理的基础。2、本发明手机互联网色情图像识别、监管的多进程管理系统，通过以下技术提高了对图片、视频和文字的识别速度，对手机JPEG图片识别速度达到200幅/秒。1)对图片、 视频及文字搬运流程和IP地址归属地的有效的资源管理；2)对前端机采集URL直接去重和处理子系统数据去重，能够最大化的减少搬运和识别的图片与视频流数量；3)对图片、视频和文字的采集和识别的并发处理。3、本发明手机互联网色情图像识别、监管的多进程管理系统，通过全网数据中心的汇总管理，将不良的图片、文字及不良网址，统一资源共享，进一步提高了识别速度与准确率。


图1 本发明图像检测服务子系统的逻辑结构图； 图2 本发明图像检测服务子系统软件进程结构图； 图3 本发明多进程管理系统软件架构结构示意图。
具体实施例方式实施例一参见图1、图2、图3。本发明WAP手机传媒色情图像识别、监管的多进程管理系统，包括资源调度子系统，全网多级URL去重子系统，并发处理子系统，图像检测服务子系统，内部通信子系统；其中
A、资源调度子系统包括图片、视频及文字搬运流程和IP地址归属地资源管理流程；所述IP地址归属地资源管理流程维护IP地址归属地的对应库，直接为用户呈现不良信息提供服务器或WAP网站的IP地址归属地信息；
B、全网多级URL去重子系统采用多级URL去重体系，前端机采集直接去重和处理子系统的数据去重以及汇集到数据中心的去重，同时包括在WAP网关的TTTP GET请求获得目标图像的目的URL信息后，查询该URL是否在指定的时间内检测过，如检测过不再重组对应的数据包；系统采用多级URL去重体系，能够最大化的减少搬运和识别的图片与视频流数量， 减少系统中心存储数据的数量，进而提高识别速度；
C、并发处理子系统支持多线程多设备，对图片、视频和文字的采集和识别；
D、图像检测服务子系统，通过命令接口传递待检图像数据列表，并指定待检图像数据的传送方式；图像检测服务器检测完图像以后，将检测结果列表在进行分析，然后存在数据库中，作为共享的资源；E、内部通信子系统，负责系统内部各设备间的通信，系统内部各设备间采用TCP/IP协议通信，具体功能间采用私有协议接口。
实施例二 参见图1、图2、图3，本实施例WAP手机传媒色情图像识别、监管的多进程管理系统，与实施例一不同的是图像检测服务子系统的进程结构包括数据的获取和解析进程，图像队列管理进程，图像检测和报告进程，监控终端通信进程和错误保护进程。实施例三参见图1、图2、图3，本实施例的WAP手机传媒色情图像识别、监管的多进程管理系统，与实施例二进一步的是图像检测服务子系统的逻辑结构包括在数据入口获取镜像数据，然后对获取的数据进行解析和重组，结合数据库查找并去除已检图像名单，将未检送入待检图像队列，然后送检至图像检测模块对检测结果进行分析并存储。本发明WAP手机传媒色情图像识别、监管的多进程管理系统，系统的软件架构分为采集控制层、数据审核层、数据管理层和呈现层，并且提供了完备的自身管理和其他接口，接口包括预留向其他系统同步黑名单接口和数据上传到第三方系统的北向接口。为系统的软件开发提供了规范化的模块。其中
采集控制层实现了 IOG(光口或电口)高带宽WAP上网数据采集，手机用户访问CMNET 数据采集，支持IDC机房出口数据采集，支持移动出口电路和网关电路出口采集。能够采集和还原用户上网浏览的多种网络协议下(HTTP、FTP、BBS、WAP、GRPS及P2P的BT、电驴、 PliVe、QqliVe等多种应用协议)的文字、图像、视频等内容。对于P2P的采集另有专利申请。将采集到的高带宽数据经协议解析还原为原始的图像帧和文本信息，并在前端将URL去重，将完全相同的不良图像去重，以提高检测速度。数据审核层将还原的图片、视频、文字内容通过接口送至数据审核层，在该层分别对文字、图像、视频进行自动审核。智能识别不良信息，并提供了人工审核干预机制。1、审核后的不良信息的URL自动加入黑名单库。并查找到对应的IP地址、SP代码及确切的物理地址，以搜索到传播嫌疑人。2、在本层，采用基于关键字库的关键字比对识别文字，采用本公司研发的基于完整知识库和推理引擎的语义分析来识别文本语义。3、在本层识别的图像是低分辨率、手机小图像，我们在授权专利“基于内容的网络色情图像和不良图像检测系统”(专利号CN200510048577. 0)基础上提出了一种在高级语义指导下的区域肤色分割加人脸识别的算法模型。在高级语义指导标注下，不断修改区域肤色分割算法的特征参数，得到语义模型，再去识别图像，会得到最高的识别正确率。被肤色检测器检测为肤色占空比大的图像，有可能是人脸，需要送入人脸检测器进行进一步判别。4、对手机视频内容的识别采用网络视频识别算法，一旦确定是视频流后便分析、 识别是否为不良视频，先对视频进行解码，采用基于Directshow的通用视频解码技术，支持常见的网络视频编码格式；然后通过改进的滑动窗口技术，按一定的策略，获取视频流的关键帧。最后对关键帧采用前述的图像识别算法进行识别，当视频段的中所识别的关键帧为不良图像达到一个确定数量时便判为该视频为不良视频，低于该数量为正常视频或可疑视频。对于网络内容特别是对可疑的图像、视频内容也可人工审核识别。数据管理层数据审核层获取的不良的信息内容，特别是淫秽色情的图像、视频内容、危害国家安全的内容及相应的IP地址、URL、SP代码和查找到的不良信息源的物理地址，都要传到数据管理层。实现了系统全局数据的统一管理和多维数据统计。全局(13个或更多省直辖市的“中国移动分公司”)不良的信息内容通过网络传到北京总公司，去掉重复的图像、视频及相应的IP地址后在J2EE平台下按色情指数统一建库，为快速检索非结构性的图像数据，我们采用科学的建库方法。并建有多种要求的统计报表，作为管理的基础数据和各分公司共享的统一参考数据。对于危害国家安全的内容的敏感内容，我们单独列项管理。呈现层该层对全局数据进行全面审计，阻断不良内容、封锁不良网址，给出需要的审计报表。审计的主要内容是上网行为分析，发现扑捉敏感信息，并跟踪定位。对违法网站访问内容、时间、次数等进行统计分析和历史对比分析。对网站访问、远程终端访问、数据库访问、即时通信、论坛文章、微博文章、P2P下载等进行关联分析。黑名单接口 预留了向其他系统同步黑名单的接口。北向接口 预留了向第三方系统的接口，例如提供给公安部门管理系统的接口。
权利要求
1.一种WAP手机传媒色情图像识别、监管的多进程管理系统，其特征是包括资源调度子系统，全网多级URL去重子系统，并发处理子系统，图像检测服务子系统，内部通信子系统；其中A、资源调度子系统包括图片、视频及文字搬运流程和IP地址归属地资源管理流程；所述IP地址归属地资源管理流程维护IP地址归属地的对应库，直接为用户呈现不良信息提供服务器或WAP网站的IP地址归属地信息；B、全网多级URL去重子系统采用多级URL去重体系，前端机采集直接去重和处理子系统的数据去重以及汇集到数据中心的去重，同时包括在WAP网关的TTTP GET请求获得目标图像的目的URL信息后，查询该URL是否在指定的时间内检测过，如检测过不再重组对应的数据包；C、并发处理子系统支持多线程多设备，对图片、视频和文字的采集和识别；D、图像检测服务子系统，通过命令接口传递待检图像数据列表，并指定待检图像数据的传送方式；图像检测服务器检测完图像以后，将检测结果列表在进行分析，然后存在数据库中，作为共享的资源；E、内部通信子系统，负责系统内部各设备间的通信，系统内部各设备间采用TCP/IP协议通信，具体功能间采用私有协议接口。
2.根据权利要求1所述WAP手机传媒色情图像识别、监管的多进程管理系统，其特征是图像检测服务子系统的进程结构包括数据的获取和解析进程，图像队列管理进程，图像检测和报告进程，监控终端通信进程和错误保护进程。
3.根据权利要求1或2所述的WAP手机传媒色情图像识别、监管的多进程管理系统，其特征是图像检测服务子系统的逻辑结构包括在数据入口获取镜像数据，然后对获取的数据进行解析和重组，结合数据库查找并去除已检图像名单，将未检送入待检图像队列，然后送检至图像检测模块对检测结果进行分析并存储。
4.根据权利要求3所述的WAP手机传媒色情图像识别、监管的多进程管理系统，其特征是系统软件架构包括采集控制层、数据审核层、数据管理层、数据呈现层，其中采集控制层将采集到的高带宽数据经协议解析还原为原始的图像帧和文本信息， 进行不良内容访问阻断与提醒，并在前端将URL去重，将完全相同的不良图像去重，以提高检测速度，然后将还原的图片、视频、文字内容通过接口送至数据审核层；数据审核层分别对文字、图像、视频进行自动审核，并将获取的不良信息内容传输到数据管理层；数据管理层实现系统全局数据的统一管理和多维数据统计；呈现层对全局数据进行审计，阻断不良内容、封锁不良网址，给出需要的审计报表。
全文摘要
本发明涉及一种手机互联网淫秽色情内容及危害国家信息安全内容的快速识别、监管平台的多进程管理系统。包括资源调度子系统，全网多级URL去重子系统，并发处理子系统，图像检测服务子系统，内部通信子系统；其中资源调度子系统包括图片、视频及文字搬运流程和IP地址归属地资源管理流程；全网多级URL去重子系统采用多级URL去重体系，并发处理子系统支持多线程多设备，对图片、视频和文字的采集和识别；图像检测服务子系统，通过图像检测服务器检测完图像以后，将检测结果列表在进行分析,然后存在数据库中,作为共享的资源；内部通信子系统负责系统内部各设备间的通信。高效处理识别监管平台的软件系统处理流程与图像检测服务器进程，提供了多层次多进程并发管理的基础。
文档编号G06F9/46GK102567101SQ201210008540
公开日2012年7月11日 申请日期2012年1月12日 优先权日2012年1月12日
发明者周翬, 孙晓峰, 张晨民, 汤怀礼, 赵慧琴 申请人:郑州金惠计算机系统工程有限公司