本发明涉及图像处理领域,尤其涉及一种并行图像平滑处理平台。
背景技术:
由于摄像机技术的不断发展,高清晰、体积小的微型摄像机越来越普及,观众只需要携带各种带有摄像头的移动终端即能完成高分辨率的影像录制或图像拍摄,这样,进行盗版偷拍非常容易,给有关行业造成巨大经济损失。
盗版偷拍一般发生在电影院、剧院、剧场、放映室或歌剧院内,运营方为了避免偷拍行为的盛行,通常会安排专门的工作人员布置在观众席的周围,每隔固定间隔布置一个,以肉眼观测附近观众的举止行为,一旦发现有观众手持移动终端进行影像的录制或照片的拍摄,立即上前阻止或采用手持红外发射笔进行警告,从而中断观众的偷拍行为。
然而,这种人工防偷拍的方式存在内在的弊端:首先,如果观众席面积较大,则需要安排很多工作人员进行现场监视,这意味着需要大量的人工成本;其次,工作人员肉眼扫描的方式效率低下,而且人工监视的方式容易发生因为倦怠而放过某些角落位置的偷拍者;最后,在观众附近设置工作人员的方式给正常观看演出的观众带来不适,影响了他们欣赏演出的心情。
由此可见,人工防偷拍的方式具有先天的不足,为了克服上述弊端,降低防偷拍的运营成本,提高防偷拍的工作效率,运营方一直在寻找电子防偷拍的方式进行现场监控,电子防偷拍有两种发展方向,一种是在观众手持的移动终端上做文章,在移动终端拍摄时自动检测偷拍行为,但是这种方式可能因为偷拍者对移动终端的选择而被规避,另一种是在偷拍现场安置电子干扰设备,这种方式可以避免偷拍者的规避。
现有的防偷拍的电子干扰设备是,将一种红外线装置安置在幕布或舞台的背面,红外线装置发出人眼不可见的红外线,如果偷拍者在进行移动终端或摄像机拍摄,则红外线将干扰偷拍者的摄像机成像,导致偷拍者获得的影像或图像质量低下,无法在市场上销售以及在网络上传播,从而有效维护版权利益。
但是,这种方式需要一直发射红外线,而且红外线的发射是大范围的,需要从各个位置都发射红外线,成本较高且可行性差。因此现场的电子防偷拍设备还需要寻找其他的突破方向。
为此,本发明提出了一种新的现场防偷拍的电子设备,能够通过对现场观众席中观众的行为检测以及通过对现场环境的参数提取来确定现场观众席中是否存在偷拍者,并能够及时对偷拍者所在的位置
技术实现要素:
为了解决上述问题,本发明提供了一种并行图像平滑处理平台,在现场设置观众席图像采集设备完成对观众席图像的提取,引入各种图像处理设备和图像分析设备判断观众席图像中是否存在可疑的偷拍者,在存在可疑的偷拍者的情况下,提取出可疑的偷拍者所在座位的编号,随后还在现场对环境参数或当前演出内容进行实时检测,以根据可疑的偷拍者的信息和现场检测结果确定真正偷拍者,更为重要的是,建立了一套能够根据偷拍者位置进行定向提示的机构,从而完全自动地实现对偷拍者的电子式检测和警告。
根据本发明的一方面,提供了一种并行图像平滑处理平台,所述平台包括多个云端应用设备,每一个云端应用设备包括一个图像平滑处理子设备,图像平滑处理子设备用于对分配到的图像执行图像平滑处理,多个云端应用设备的图像处理采用并行操作方式。
更具体地,在所述并行图像平滑处理平台中,包括:嵌入式处理设备,设置在歌剧院的后台控制室内,与内容分析设备连接,用于基于目标座位编号发出包括目标座位编号的驱动控制信号;歌剧院内容采集设备,设置在歌剧院舞台对面,用于实时采集歌剧院舞台上的场景图像以作为实时场景图像输出;内容分析设备,设置在歌剧院的后台控制室内,分别与屏幕检测设备和歌剧院内容采集设备连接,用于接收实时场景图像,还用于接收每一个屏幕子图像和其对应的座位编号,将每一个屏幕子图像与实时场景图像进行内容匹配以确定内容匹配百分比,当内容匹配百分比大于等于预设百分比阈值时,将屏幕子图像对应的座位编号作为目标座位编号输出;其中,存在于屏幕子图像中的对象数量与内容匹配百分比的关系是非线形关系;定向设备,设置在歌剧院的后台控制室内,与嵌入式处理设备连接,用于对驱动控制信号进行解析以确定目标座位编号,基于目标座位编号向与目标座位编号对应的提示机构和双声道扬声器发送拍照警示信号;提示机构,每一个观众座位上设置一个,位置处于观众座位对应椅背的后方,包括弹簧、伸缩控制器和木质突起部件,木质突起部件设置在弹簧的前方,伸缩控制器与定向设备连接,用于控制弹簧的伸展和收缩;其中,伸缩控制器在接收到拍照警示信号时伸展弹簧以实现木质突起部件对观众后背的点触;双声道扬声器,每一个观众座位上设置一个,位置处于观众座位对应扶手内,与定向设备连接,用于在接收到拍照警示信号时播放与禁止拍照对应的语音文件;CMOS传感设备,设置在歌剧院房顶中央位置,用于对歌剧院舞台对面的观众席进行图像采集以输出观众席图像;数据分割设备,位于云端,与CMOS传感设备连接,用于将观众席图像分割成N个图像分块,N为大于1的自然数;N个云端存储设备,位于云端,与数据分割设备连接,用于分别存储N个图像分块;云端服务中心设备,位于云端,与N个云端存储设备连接,用于集中N个图像分块,并将N个图像分块分发给M个云端应用设备,M为大于1的自然数且M小于等于N;云端命令通道管理设备,位于云端,用于对云端命令进行通道管理;M个云端应用设备,位于云端,与云端服务中心设备连接,用于接收分配到的、一个以上的图像分块,每一个云端应用设备包括:灰度化处理子设备,包括通道参数提取单元、加权值存储单元和灰度值计算单元,通道参数提取单元用于接收每一个图像分块,提取出图像分块中每一个像素点的R通道像素值、G通道像素值和B通道像素值,加权值存储单元用于预先存储了R通道加权值、G通道加权值和B通道加权值,灰度值计算单元分别与通道参数提取单元和加权值存储单元连接,针对图像分块中每一个像素点,将R通道像素值与R通道加权值的乘积、G通道像素值与G通道加权值的乘积以及B通道像素值与B通道加权值的乘积相加以获取针对的像素点的灰度值,并基于图像分块中各个像素点的灰度值获得图像分块对应的灰度化图像;其中,R通道加权值取值为0.298839,G通道加权值取值为0.586811,B通道加权值取值为0.114350;直方图分布检测子设备,与灰度化处理子设备连接,用于接收灰度化图像,并对灰度化图像进行灰度直方图处理以获得对应的直方图图像,在直方图图像呈现双峰分布时,发出全局阈值选择信号,否则,发出非全局阈值选择信号;阈值选择子设备,与直方图分布检测设备连接,用于在接收到全局阈值选择信号时,将全局阈值128作为阈值数据输出,在接收到非全局阈值选择信号时,将相邻像素点灰度差阈值40作为阈值数据输出;二值化处理子设备,分别与阈值选择子设备和直方图分布检测子设备连接,用于在接收到全局阈值选择信号时,针对灰度化图像中的每一个像素点,当灰度值大于等于阈值数据时,将针对的像素点设置为白电平像素点,当灰度值小于阈值数据时,将针对的像素点设置为黑电平像素点,并输出灰度化图像对应的二值化图像;二值化处理子设备还用于在接收到非全局阈值选择信号时,针对灰度化图像中的每一个像素点,计算垂直方向向上距离其3个像素点的像素点的灰度值作为上像素灰度值,计算垂直方向向下距离其3个像素点的像素点的灰度值作为下像素灰度值,计算水平方向向左距离其3个像素点的像素点的灰度值作为左像素灰度值,计算水平方向向右距离其3个像素点的像素点的灰度值作为右像素灰度值,当上像素灰度值和下像素灰度值之差的绝对值小于等于阈值数据且左像素灰度值和右像素灰度值之差的绝对值小于等于阈值数据时,将针对的像素点设置为白电平像素点,当上像素灰度值和下像素灰度值之差的绝对值大于阈值数据或左像素灰度值和右像素灰度值之差的绝对值大于阈值数据时,将针对的像素点设置为黑电平像素点,并输出灰度化图像对应的二值化图像;图像平滑处理子设备,与二值化处理子设备连接,用于接收二值化图像,针对二值化图像中的每一个像素点,当相邻的所有像素点中存在一半以上的跳变点时,则将针对的像素点的灰度值保留,否则,将针对的像素点的灰度值设置为白电平像素点,并输出二值化图像对应的平滑图像;中值滤波子设备,与图像平衡处理子设备连接,用于接收平滑图像,对平滑图像的像素点的灰度值进行分析以确定每一个噪声分布区域的分布半径,基于各个噪声分布区域的分布半径中的最大值确定进行中值滤波的滤波像素块尺寸,采用确定的滤波像素块尺寸对平滑图像进行中值滤波处理以获得滤波图像;数据合并设备,位于云端,与M个云端应用设备连接,用于将每一个云端应用设备的中值滤波子设备输出的滤波图像进行拼接以获得滤波整合图像;屏幕检测设备,设置在歌剧院的后台控制室内,与数据合并设备连接以获得滤波整合图像,将滤波整合图像与预先存储的各种移动终端的屏幕图案进行匹配以检测并分割出滤波整合图像中的各个屏幕子图像,针对每一个屏幕子图像,针对其在滤波整合图像中的位置确定针对的屏幕子图像对应的座位编号;其中,针对的屏幕子图像对应的座位编号为持有针对的屏幕子图像对应的移动终端的观众所在的歌剧院座位编号;其中,内容分析设备将每一个屏幕子图像与实时场景图像进行内容匹配以确定内容匹配百分比具体包括:识别出实时场景图像中的各个对象,对于每一个对象,检测其是否存在于屏幕子图像中,存在于屏幕子图像中的对象数量越多,则内容匹配百分比越高。
更具体地,在所述并行图像平滑处理平台中,还包括:直方图分布检测子设备、二值化处理子设备和图像平滑处理子设备分别由不同的CPLD芯片来实现。
更具体地,在所述并行图像平滑处理平台中,还包括:直方图分布检测子设备、二值化处理子设备和图像平滑处理子设备被集成在一块集成电路板上。
更具体地,在所述并行图像平滑处理平台中,还包括:嵌入式处理设备内置有存储单元,用于预先存储与禁止拍照对应的语音文件。
更具体地,在所述并行图像平滑处理平台中,还包括:嵌入式处理设备还包括计时单元。
更具体地,在所述并行图像平滑处理平台中,还包括:嵌入式处理设备与双声道扬声器连接。
附图说明
以下将结合附图对本发明的实施方案进行描述,其中:
图1为根据本发明实施方案示出的并行图像平滑处理平台的结构方框图。
附图标记:1多个云端应用设备
具体实施方式
下面将参照附图对本发明的并行图像平滑处理平台的实施方案进行详细说明。
当前,电影院、剧院、剧场、放映室或歌剧院等演出场合的偷拍行为非常严重,由于摄像技术的发展和图像处理技术的发展,现场偷拍的影像质量非常高,很容易用来进行网络销售或刻盘销售,这样将严重打击正版运营商的压力,给行业发展带来一定的负面影响。
例如,根据美国电影协会的记录,电影盗版使得电影行业每年损失高达60亿美元。电影盗版对整个经济行业都有深远的影响,以至于他在每一个国家或地区都被认定是一种犯罪行为。而盗版电影的一种主要来源就是摄像偷拍,也就是在电影院或放映室内通过移动设备进行电影偷拍。尽管BBC报道说大部分电影盗版可能来自行业内部人员和提供给影评人的预先电影副本,但是摄像偷拍仍然是在线盗版销售的一个重要来源。在最近几十年,互联网带宽和点对点协议的发展都促进了盗版电影的进一步流通。
为了检测未被授权非法传播的数字多媒体视频,水印技术已经被普遍的研究并应用广泛。在制作电影或者电影投射阶段,可以采取在电影里植入使人眼看不到“图案”信息的方法。如果这些电影被摄像机偷拍记录,这个嵌入的图谱可以被提取出来而识别盗版的源头。
一些行业领导者为了识别和追踪盗版电影,提出了通过编码反盗版(CAP)的方法,即往电影里增加水印。第一个编码反盗版是被Kodak设计的,随后Deluxe Laboratories对其进行改善。Philips在2006年也提出了一个名叫CineFence的标识系统。然而,水印技术只是一种被动的措施,他不能消除和阻止摄像偷拍。另一方面,相机干扰技术旨在通过严重破坏的电影视觉质量来消除摄像偷拍,同时要使这些干扰信号不会影响影院的观众。
早期大量的相机干扰方法主要利用了成像传感器响应红外线的原理。为了干扰移动摄像机以及在拍摄的画面中生成亮光,红外发射源被安装在电影院内。除了那些发射器等额外的成本费和日常操作费用,这种方案可以通过在镜头上附上适当的过滤器。但这种方式很容易因为偷拍者的选择而被规避。
为了克服上述不足,本发明搭建了一种并行图像平滑处理平台,对观众席图像进行电子分析,对现场演出环境进行电子分析,并基于两种分析结果进行偷拍者判断,另外,还基于偷拍者的位置信息对偷拍者进行提醒,从而实现演出现场偷拍者的定向检测和定向警告。
图1为根据本发明实施方案示出的并行图像平滑处理平台的结构方框图,所述平台包括多个云端应用设备,每一个云端应用设备包括一个图像平滑处理子设备,图像平滑处理子设备用于对分配到的图像执行图像平滑处理,多个云端应用设备的图像处理采用并行操作方式。
接着,继续对本发明的并行图像平滑处理平台的具体结构进行进一步的说明。
所述平台包括:嵌入式处理设备,设置在歌剧院的后台控制室内,与内容分析设备连接,用于基于目标座位编号发出包括目标座位编号的驱动控制信号;歌剧院内容采集设备,设置在歌剧院舞台对面,用于实时采集歌剧院舞台上的场景图像以作为实时场景图像输出。
所述平台包括:内容分析设备,设置在歌剧院的后台控制室内,分别与屏幕检测设备和歌剧院内容采集设备连接,用于接收实时场景图像,还用于接收每一个屏幕子图像和其对应的座位编号,将每一个屏幕子图像与实时场景图像进行内容匹配以确定内容匹配百分比,当内容匹配百分比大于等于预设百分比阈值时,将屏幕子图像对应的座位编号作为目标座位编号输出;其中,存在于屏幕子图像中的对象数量与内容匹配百分比的关系是非线形关系。
所述平台包括:定向设备,设置在歌剧院的后台控制室内,与嵌入式处理设备连接,用于对驱动控制信号进行解析以确定目标座位编号,基于目标座位编号向与目标座位编号对应的提示机构和双声道扬声器发送拍照警示信号。
所述平台包括:提示机构,每一个观众座位上设置一个,位置处于观众座位对应椅背的后方,包括弹簧、伸缩控制器和木质突起部件,木质突起部件设置在弹簧的前方,伸缩控制器与定向设备连接,用于控制弹簧的伸展和收缩;其中,伸缩控制器在接收到拍照警示信号时伸展弹簧以实现木质突起部件对观众后背的点触。
所述平台包括:双声道扬声器,每一个观众座位上设置一个,位置处于观众座位对应扶手内,与定向设备连接,用于在接收到拍照警示信号时播放与禁止拍照对应的语音文件;CMOS传感设备,设置在歌剧院房顶中央位置,用于对歌剧院舞台对面的观众席进行图像采集以输出观众席图像;数据分割设备,位于云端,与CMOS传感设备连接,用于将观众席图像分割成N个图像分块,N为大于1的自然数。
所述平台包括:N个云端存储设备,位于云端,与数据分割设备连接,用于分别存储N个图像分块;云端服务中心设备,位于云端,与N个云端存储设备连接,用于集中N个图像分块,并将N个图像分块分发给M个云端应用设备,M为大于1的自然数且M小于等于N。
所述平台包括:云端命令通道管理设备,位于云端,用于对云端命令进行通道管理;M个云端应用设备,位于云端,与云端服务中心设备连接,用于接收分配到的、一个以上的图像分块。
每一个云端应用设备包括:灰度化处理子设备,包括通道参数提取单元、加权值存储单元和灰度值计算单元,通道参数提取单元用于接收每一个图像分块,提取出图像分块中每一个像素点的R通道像素值、G通道像素值和B通道像素值,加权值存储单元用于预先存储了R通道加权值、G通道加权值和B通道加权值,灰度值计算单元分别与通道参数提取单元和加权值存储单元连接,针对图像分块中每一个像素点,将R通道像素值与R通道加权值的乘积、G通道像素值与G通道加权值的乘积以及B通道像素值与B通道加权值的乘积相加以获取针对的像素点的灰度值,并基于图像分块中各个像素点的灰度值获得图像分块对应的灰度化图像;其中,R通道加权值取值为0.298839,G通道加权值取值为0.586811,B通道加权值取值为0.114350。
每一个云端应用设备包括:直方图分布检测子设备,与灰度化处理子设备连接,用于接收灰度化图像,并对灰度化图像进行灰度直方图处理以获得对应的直方图图像,在直方图图像呈现双峰分布时,发出全局阈值选择信号,否则,发出非全局阈值选择信号。
每一个云端应用设备包括:阈值选择子设备,与直方图分布检测设备连接,用于在接收到全局阈值选择信号时,将全局阈值128作为阈值数据输出,在接收到非全局阈值选择信号时,将相邻像素点灰度差阈值40作为阈值数据输出。
每一个云端应用设备包括:二值化处理子设备,分别与阈值选择子设备和直方图分布检测子设备连接,用于在接收到全局阈值选择信号时,针对灰度化图像中的每一个像素点,当灰度值大于等于阈值数据时,将针对的像素点设置为白电平像素点,当灰度值小于阈值数据时,将针对的像素点设置为黑电平像素点,并输出灰度化图像对应的二值化图像;二值化处理子设备还用于在接收到非全局阈值选择信号时,针对灰度化图像中的每一个像素点,计算垂直方向向上距离其3个像素点的像素点的灰度值作为上像素灰度值,计算垂直方向向下距离其3个像素点的像素点的灰度值作为下像素灰度值,计算水平方向向左距离其3个像素点的像素点的灰度值作为左像素灰度值,计算水平方向向右距离其3个像素点的像素点的灰度值作为右像素灰度值,当上像素灰度值和下像素灰度值之差的绝对值小于等于阈值数据且左像素灰度值和右像素灰度值之差的绝对值小于等于阈值数据时,将针对的像素点设置为白电平像素点,当上像素灰度值和下像素灰度值之差的绝对值大于阈值数据或左像素灰度值和右像素灰度值之差的绝对值大于阈值数据时,将针对的像素点设置为黑电平像素点,并输出灰度化图像对应的二值化图像。
每一个云端应用设备包括:图像平滑处理子设备,与二值化处理子设备连接,用于接收二值化图像,针对二值化图像中的每一个像素点,当相邻的所有像素点中存在一半以上的跳变点时,则将针对的像素点的灰度值保留,否则,将针对的像素点的灰度值设置为白电平像素点,并输出二值化图像对应的平滑图像。
每一个云端应用设备包括:中值滤波子设备,与图像平衡处理子设备连接,用于接收平滑图像,对平滑图像的像素点的灰度值进行分析以确定每一个噪声分布区域的分布半径,基于各个噪声分布区域的分布半径中的最大值确定进行中值滤波的滤波像素块尺寸,采用确定的滤波像素块尺寸对平滑图像进行中值滤波处理以获得滤波图像。
所述平台包括:数据合并设备,位于云端,与M个云端应用设备连接,用于将每一个云端应用设备的中值滤波子设备输出的滤波图像进行拼接以获得滤波整合图像。
所述平台包括:屏幕检测设备,设置在歌剧院的后台控制室内,与数据合并设备连接以获得滤波整合图像,将滤波整合图像与预先存储的各种移动终端的屏幕图案进行匹配以检测并分割出滤波整合图像中的各个屏幕子图像,针对每一个屏幕子图像,针对其在滤波整合图像中的位置确定针对的屏幕子图像对应的座位编号;其中,针对的屏幕子图像对应的座位编号为持有针对的屏幕子图像对应的移动终端的观众所在的歌剧院座位编号。
其中,内容分析设备将每一个屏幕子图像与实时场景图像进行内容匹配以确定内容匹配百分比具体包括:识别出实时场景图像中的各个对象,对于每一个对象,检测其是否存在于屏幕子图像中,存在于屏幕子图像中的对象数量越多,则内容匹配百分比越高。
可选地,在所述平台中:直方图分布检测子设备、二值化处理子设备和图像平滑处理子设备分别由不同的CPLD芯片来实现;直方图分布检测子设备、二值化处理子设备和图像平滑处理子设备被集成在一块集成电路板上;嵌入式处理设备内置有存储单元,用于预先存储与禁止拍照对应的语音文件;嵌入式处理设备还包括计时单元;以及嵌入式处理设备与双声道扬声器连接。
另外,CPLD(Complex Programmable Logic Device)复杂可编程逻辑器件,是从PAL和GAL器件发展出来的器件,相对而言规模大,结构复杂,属于大规模集成电路范围。是一种用户根据各自需要而自行构造逻辑功能的数字集成电路。其基本设计方法是借助集成开发软件平台,用原理图、硬件描述语言等方法,生成相应的目标文件,通过下载电缆(“在系统”编程)将代码传送到目标芯片中,实现设计的数字系统。
CPLD主要是由可编程逻辑宏单元(MC,Macro Cell)围绕中心的可编程互连矩阵单元组成。其中MC结构较复杂,并具有复杂的I/O单元互连结构,可由用户根据需要生成特定的电路结构,完成一定的功能。由于CPLD内部采用固定长度的金属线进行各逻辑块的互连,所以设计的逻辑电路具有时间可预测性,避免了分段式互连结构时序不完全预测的缺点。
从CPLD发展历史上来看,20世纪70年代,最早的可编程逻辑器件--PLD诞生了。其输出结构是可编程的逻辑宏单元,因为他的硬件结构设计可由软件完成(相当于房子盖好后人工设计局部室内结构),因而他的设计比纯硬件的数字电路具有很强的灵活性,但其过于简单的结构也使他们只能实现规模较小的电路。为弥补PLD只能设计小规模电路这一缺陷,20世纪80年代中期,推出了复杂可编程逻辑器件--CPLD。此应用已深入网络、仪器仪表、汽车电子、数控机床、航天测控设备等方面。
CPLD具有以下特点:具有编程灵活、集成度高、设计开发周期短、适用范围宽、开发工具先进、设计制造成本低、对设计者的硬件经验要求低、标准产品无需测试、保密性强、价格大众化等特点,可实现较大规模的电路设计,因此被广泛应用于产品的原型设计和产品生产(一般在10,000件以下)之中。几乎所有应用中小规模通用数字集成电路的场合均可应用CPLD器件。CPLD器件已成为电子产品不可缺少的组成部分,它的设计和应用成为电子工程师必备的一种技能。
采用本发明的并行图像平滑处理平台,针对现有技术无法为演出的偷拍提供有效的电子检测的技术问题,通过采用有针对性的、高精度的一系列图像处理设备和图像分析设备对观众席的观众状态进行分析,还通过对演出现场的环境进行分析,在上述分析的基础上,对观众席中盗拍者的行为进行准确检测和位置识别。
可以理解的是,虽然本发明已以较佳实施例披露如上,然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言,在不脱离本发明技术方案范围情况下,都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。