本发明涉及一种将在计算机的画面上显示的图像进行传输的画面图像传输方法以及对于已传输的画面图像复原为原来的图像的画面图像复原方法。
背景技术:
以往,作为将因使用等而随时间变化的个人计算机(pc)的显示器的画面的内容实时地传输到其他装置(例如,录像服务器)的画面图像传输方法,已知有如下的图像的加工,即,当以位图格式进行传输时,数据量会增大,因此通过转换为jpeg形式而传输、或者仅传输差分、或者将差分转换为jpeg形式而进行传输等,从而缩小分辨率、降低颜色的灰度、使影像变粗糙等(例如,参照日本特开2009-10871号公报)。
技术实现要素:
本发明的一方面所涉及的图像压缩方法包括:
整个画面图像取得步骤,依次取得在显示器的画面上显示的整个画面的图像数据;
压缩整个画面图像生成步骤,每隔给定的录像时间将在所述整个画面图像取得步骤取得的整个画面图像进行压缩而生成压缩整个画面图像;
分割步骤,将在所述整个画面图像取得步骤取得的整个画面的图像数据从画面区域的一端分割为预先决定的尺寸的块图像;
位置信息生成步骤,对于在所述分割步骤被分割后的每个块图像,比较连续的两个时刻的块图像,并生成位置信息数据,所述位置信息数据表示差分的有无和被设为有差分的块的位置信息;以及
压缩差分图像生成步骤,在所述位置信息生成步骤被设为有差分的块为差分块,所述压缩差分图像生成步骤将排列同时刻的差分块的块图像而生成的图像集合体作为一个图像进行压缩,并生成压缩差分图像。
附图说明
图1是表示利用本实施方式的画面图像传输方法的实施例1的pc画面监视系统的系统结构的一个例子的图。
图2是本实施方式的画面图像传输方法的实施例1中的录像pc的结构图。
图3是本实施方式的画面图像传输方法的实施例1中的录像pc的差分图像生成的示意图。
图4是本实施方式的画面图像传输方法的实施例1中的录像服务器的结构图。
图5是本实施方式的画面图像传输方法的实施例1的流程中的从录像pc到录像服务器的传输方法及录像服务器上的保存方法的说明图。
图6是本实施方式的画面图像传输方法的实施例1中的终端(移动)的结构图。
图7是本实施方式的画面图像传输方法的实施例1中的终端(pc)的结构图。
图8是表示本实施方式的画面图像传输方法的实施例1中的从录像pc的画面拍摄到录像服务器上的积蓄的步骤概要的流程图。
图9是表示本实施方式的画面图像传输方法的实施例2中的从录像pc的画面拍摄到录像服务器上的积蓄的步骤概要的流程图。
具体实施方式
但是,在以往的画面图像传输方法中,在利用位图形式的传输中,存在容量以数量级增大的问题,为避免该问题,在转换为jpeg形式的传输中,通过提高jpeg压缩率或减小分辨率,容量减小,但是存在分辨率降低等问题。
在为避免分辨率上产生的问题,不改变分辨率而仅检测发生变化的部分(差分)并进行传输的方法中,通过减少色数或优化数据的保持方法等能够减小容量,但是存在进行处理的pc的负载增大、而且不能充分地减小容量的问题。
即,在以往的画面图像传输方法中,存在当进行压缩、解压缩时分辨率降低从而图像发生劣化、或者传输的数据量大、进行处理的pc的负载增大的问题。
因此,本实施方式的目的在于提供能够解决上述课题并防止画质的劣化而有效率地传输个人计算机的显示器的画面图像、并且能够降低进行处理的pc的负载的画面图像传输方法。
为达成上述目的,本实施方式的第一方式提供一种画面图像传输方法,其特征在于,包括:
整个画面图像取得步骤,经由网络与服务器连接的个人计算机每隔一定间隔时间取得在显示器的画面上显示的整个画面的图像数据;
压缩整个画面图像生成步骤,每隔给定的录像时间将在所述整个画面图像取得步骤取得的整个画面图像以jpeg进行压缩而生成压缩整个画面图像并积蓄,每次生成压缩整个画面图像时,直至经过给定的录像时间为止,不生成压缩整个画面图像而进至下一个步骤;
整个画面图像传输步骤,生成整个画面数据文件并传输到服务器,所述整个画面数据文件包含在所述整个画面图像生成步骤生成的压缩整个画面图像;
分割步骤,将在所述整个画面图像取得步骤取得的整个画面的图像数据从画面区域的一端分割为纵8像素×横8像素的块图像;
位置信息生成步骤,对于在所述分割步骤被分割后的每个块图像,比较连续的两个时刻的块图像,生成位置信息数据,所述位置信息数据表示差分的有无并以各个块的连续数表示被设为有差分的块的位置信息;
并列数计算步骤,将在所述位置信息生成步骤被设为有差分的块作为差分块,根据同时刻的差分块的数量,计算为了将同时刻的差分块的块图像全部进行排列而形成余白为最小的矩形从而进行横向排列的并列块数;
压缩差分图像生成步骤,每次将在所述并列数计算步骤计算出的并列块数的量的所述差分块的块图像进行横向排列时,重复将所述差分块的块图像在下层排列下去的步骤,并将把余白作为空白而生成为矩形的图像集合体作为一个图像以jpeg进行压缩,从而生成压缩差分图像并积蓄;以及
差分图像传输步骤,生成包含所述压缩差分图像和各位置信息数据的差分数据文件并传输到服务器。
根据本实施方式的第一方式,仅利用差分图像形成一个图像并进行jpeg压缩而传输,因此能够防止画质的劣化而有效率地传输个人计算机的显示器的画面图像,能够降低进行处理的pc的负载。
此外,“图像”是包含静止图像和动态图像两者的意思的词语,但在本申请中,将静止图像表示为“图像”,将动态图像表示为“影像”来进行区别。
纵8像素×横8像素的块图像是jpeg结构要素的最小单位的图像,是在压缩传输解压缩的各步骤中最有效率的尺寸。
并且,在所述位置信息生成步骤中,所述比较是对于各个块图像生成哈希值(日语:ハッシュ値)并进行比较,将计算出的值不相等的块设为有差分,将计算出的值相等的块设为无差分。
优选地,所述位置信息数据为表示差分的有无的开头的1位和用7位或15位表示差分的有无为相同的连续块数的1字节或2字节的数据。
能够使传输的位置信息的数据量变得极小。此外,所述位置信息数据也可以为所述显示器中的坐标数据。虽然数据量大,但具有仅观察数据就能知道位置的优点。
优选地,包括:积蓄图像传输步骤,直至经过所述给定的录像时间为止,除所述整个画面图像传输步骤之外,重复整个画面图像取得步骤至压缩差分图像生成步骤,然后,代替所述压缩差分图像传输步骤,生成积蓄数据文件并传输到服务器,所述积蓄数据文件包含所述压缩整个画面图像、直至经过给定的录像时间为止被积蓄的所述压缩差分图像、以及各位置信息数据。
能够减少不必要的标头信息,以最小限度的信息量即可实现。
或者,也可以每隔一定间隔时间重复画面图像取得步骤至差分图像传输步骤。
由于每次都传输差分数据文件,因此标头信息部分的信息量增加,但是能够实时地浏览。
本实施方式的第二方式提供一种图像的复原方法,是通过上述本实施方式的第一方式的画面图像传输方法被传输到服务器的图像的复原方法,其特征在于,包括:
差分块复原步骤,从所述压缩差分图像复原所述图像集合体并复原差分块的块图像;以及
整个画面图像复原步骤,直至所述给定的录像时间的量为止,重复如下步骤,即,在前一个时刻的整个画面图像上,基于所述位置信息数据配置所述差分块的块图像,并生成下一个时刻的整个画面图像。
根据本实施方式的第二方式,能够复原分辨率高的图像,因此能够再现高分辨率的动态画面。
在本发明中,“网络”包含lan、互联网、wi-fi线路、3g/lte线路、专用线等通信网及由它们的组合构成的网络。被录像侧的个人计算机的显示器(录像pc)的组不需要通过lan网络与所述录像服务器连接,即使是经由3g/lte线路与互联网连接的录像pc,也能够将复原后可再现分辨率高的动态画面的数据以使得信息量为极小的方式传输到录像服务器,使能够监视的pc的范围变广。此外,录像服务器也可以是云服务器。关于从录像pc的组取得的图像,向动态画面的压缩形式进一步优选为当前高压缩的h.264。其轻量,不管硬件、软件都容易安装。
根据实施方式,能够防止画质的劣化而有效率地传输个人计算机的显示器的画面图像,并且能够降低进行处理的pc的负载。
下面,关于本实施方式,使用实施例对本实施方式进行具体说明,但本实施方式并不限于这些实施例。
【实施例1】
(结构)
图像压缩装置的一个例子即个人计算机(pc)的显示器的画面因用户使用pc或执行程序等而时时刻刻发生变化。本实施方式的实施例1的画面图像传输方法及实施例1的画面图像传输方法是能够利用于对这样的pc的画面进行一个或多个监控并监视的pc画面监视系统的方法。
在本实施例中,将向经由网络连接的图像复原装置的一个例子即向录像服务器传输画面的图像并成为被监控的对象的个人计算机设为“录像pc”。
本实施方式的实施例1的画面图像传输方法为从经由网络与录像服务器连接的录像pc将给定的录像时间的量的画面图像汇总并传输到录像服务器的画面图像传输方法。本实施方式的实施例1的图像复原方法是录像服务器对通过本实施方式实施例1的画面图像传输方法被收集到录像服务器的图像进行编辑并复原图像的方法。录像服务器保存通过本实施方式实施例1的图像复原方法被复原的图像,能够从录像服务器经由网络向进行监控侧的用户的终端发送所监控的录像pc的图像。
上述pc画面监视系统为将通过实施例1的图像复原方法被复原的图像进行压缩并保存,并将被复原的图像发送到终端等,也进行过去的图像的再现、后退、快进的系统。在本实施例中,对于录像pc的画面的图像,能够设为各个一定时间量而且能够使差分图像为极小的尺寸,因此能够最小限度减少传输的信息量,能够减少从录像pc向录像服务器的传输容量,不在现场设置录像服务器就能够在云服务器等进行录像pc的画面图像收集。另外,与单纯的录像pc的画面的图像收集相比,能够减少通信上的数据量,并且在对网络的负担少的基础上,还能够在图像复原时以分辨率高的图像来进行监控。
就本实施方式的实施例1的画面图像传输方法而言,通过利用在将图像以块单位进行压缩、解压缩时相邻的块的图像不受影响的jpeg的特性,将图像的劣化抑制在最小限度,由于通过设为jpeg即被进行压缩,因此不需要设置另外的压缩工序即可,即,发现通过以jpeg解决如何减少数据量、以及如何对变少的数据进行压缩这样的问题从而能够免除到目前为止的工序,通过不改变色数或数据的保持方法而将差分直接形成jpeg图像,能够自动地以最短生成差分数据,而且实现变成高压缩状态这种状态。
图1是表示利用本实施方式的画面图像传输方法的实施例1的pc画面监视系统的系统结构的一个例子的图。在由lan、互联网、wi-fi线路、3g/lte线路、专用线等通信网的组合构成的网络500上连接有:(1)作为监控对象的多台录像pc400a~f;(2)经由网络500与录像pc400a~f连接,并从录像pc400取得并积蓄图像数据,并且发送到终端的录像服务器100;(3)经由网络500与录像服务器100连接,并作为接收来自录像服务器100的图像数据并进行显示的终端的、智能手机等移动终端200a、b、桌面pc(个人计算机)、笔记本pc等浏览pc300a~c。在图1中,用虚线箭头图示了由录像pc拍摄的图像数据的流程的例子。此外,下面,在概括移动终端和浏览pc时,将它们称为“终端”或“viewer”。
录像服务器100与监控对象的录像pc400b~d经由包含互联网的网络500连接。在本实施例中,在与录像服务器100相同的lan以外的网络上,也能够如录像pc400a、e、f那样设置监控对象的录像pc。在经由路由器600a与连接有录像服务器100的lan连接的互联网,连接有3g/lte线路,另外经由路由器600c连接有其他lan。录像pc400b经由路由器600b和3g/lte线路与互联网连接。录像pc400c、d连接于与录像服务器100不同的lan。图1表示将录像pc、浏览pc、移动终端经由多个网络与录像服务器连接的连接例,但并不限定于此。在本实施例中,录像pc400与录像服务器100的通信通过建立会话后开始通信的可靠性高的tcp进行。
不只录像pc,图像显示用的终端即浏览pc300也不限于在与录像服务器100相同的lan内存在的情况,也可以经由互联网、lan、wi-fi线路等多个网络与录像服务器100连接。对于图像显示用的终端即移动终端200而言,也可以经由lan、互联网、移动电话用网络(wi-fi线路或3g/lte线路等)等多个网络与录像服务器100连接。此外,lan与互联网之间、录像pc与互联网之间以路由器600为中介。
一台录像服务器100能够从多台录像pc400连续取得在录像pc400的显示器403上显示的画面的图像。在本实施例中,从录像pc400侧以给定的定时使图像数据传输到录像服务器100,因此通信不通时在录像服务器侧不能把握状况,但是所传输的信息量小而对网络通信量造成的负担小,不需要变更路由器的端口。
此外,在本实施例中,当录像pc成为启动状态时,通过进行与录像服务器的连接的认证处理而通知录像pc成为了启动状态,当录像服务器以其响应向录像pc进行录像开始指示时,在录像pc中取得画面的图像,之后通过录像pc的计时器以给定间隔取得画面的图像。在本实施例中,通过录像pc内的计时器,每隔一定间隔时间,例如以1秒、5秒等定时进行图像取得,除在最初的一次生成jpeg的压缩整个画面图像以外,全部生成jpeg的压缩差分图像,直至经过给定的录像时间例如10分钟等为止进行重复,再重复将给定的录像时间的量的压缩整个画面图像与压缩差分图像进行汇总并作为一个文件传输到录像服务器的步骤。当以jpeg进行压缩时,能够使画质的劣化为0。另外,也能够在人的眼睛容许的范围提高jpeg的压缩率。
在使用以往的画面图像传输方法的pc画面监视系统中,容量大,或者另外需要压缩工序,或者会发生画质的劣化,但在本实施例中,能够防止画质的劣化并有效率地传输个人计算机的显示器的画面图像,并且能够降低进行处理的pc的负载,因此容量足够小,在互联网上或便携终端等、3g/lte线路上也能够设置成为监控对象的录像pc,因此自由度变得非常高。
图2是本实施方式的画面图像传输方法的实施例1中的录像pc的结构图。录像pc400具备:控制运算装置,其具有伴有缓存即存储器402的cpu401、设备驱动器等;存储装置410,其具有dram等主存储装置、硬盘等辅助存储装置;以及输入输出装置,其由作为网络接口404等通信控制装置或显示装置的显示器403、键盘405、鼠标406等构成。在存储装置410储存有积蓄文件夹411、环境设定文件夹、程序413、操作系统414。通常,程序413储存于存储装置410的辅助存储装置中,在执行时被载入主存储装置。
积蓄文件夹411为保存图像的文件夹,在积蓄文件夹411积蓄:将通过录像pc的显示器403的截屏的拍摄取得的整个画面的整个图像以jpeg进行压缩后的压缩整个画面图像、以及根据之前拍摄的整个图像与接下来拍摄的整个图像的差分而生成的图像集合体。在环境设定文件夹积蓄有图像集合体生成条件、拍摄间隔条件、录像时间条件、压缩率条件等。
程序413中包含图像录像发送程序等各种程序。当从录像服务器100接受图像请求时,录像pc400进行连接认证处理(激活)。通过该认证相互持有加密密钥等,以其进行连接。若加密密钥等不同,则连接本身不能进行。由此,能够防止向无关的服务器流出录像pc的信息。
在本实施例中,当录像pc成为启动状态时,录像pc400开始与录像服务器的连接的认证处理,由此,向录像服务器通知录像pc成为了启动状态,当通过录像服务器100进行录像开始指示时,在录像pc400中,首先进行最初的画面的图像的取得,之后通过录像pc的计时器每隔一定间隔取得画面的图像,生成给定的文件并发送到录像服务器100。
就录像pc400而言,通过由cpu401将图像录像发送程序413载入存储器402并执行,实现能够进行利用本实施例的画面图像传输方法的监视方法中从图像取得到编辑保存、以及录像服务器的发送的计算机的功能。cpu401为搭载于通常的计算机的运算处理装置,其执行各种程序,并进行各种控制等。
在本实施例中,图像录像发送程序413为用于使计算机实现如下功能的程序,即,(1)连接功能,接受来自经由网络连接的录像服务器的与录像pc的连接请求;(2)整个画面图像取得功能,每隔一定间隔时间取得在显示器的画面上显示的整个画面的图像数据;(3)压缩整个画面图像生成功能,每隔给定的录像时间将通过整个画面图像取得功能取得的整个画面图像以jpeg进行压缩而生成压缩整个画面图像并积蓄,每次生成压缩整个画面图像时,直至经过给定的录像时间为止,不生成压缩整个画面图像而进至下一个步骤;(4)分割功能,将通过整个画面图像取得功能取得的整个画面的图像数据从画面区域的一端分割为纵横给定像素数的块图像;(5)位置信息生成功能,对于通过分割功能被分割后的每个块图像,比较连续的两个时刻的块图像,并生成位置信息数据,所述位置信息数据表示差分的有无并以有差分的块为连续几个块以及无差分的块为连续几个块来表示被设为有差分的块的位置信息;(6)并列数计算功能,将通过位置信息生成功能被设为有差分的块作为差分块,根据同时刻的差分块的数量,计算为了将同时刻的差分块的块图像全部进行排列而形成余白为最小的矩形从而进行横向排列的并列块数;(7)压缩差分图像生成功能,每次将通过并列数计算功能计算出的并列块数的量的差分块的块图像进行横向排列时,重复将差分块的块图像在下层排列下去的步骤,并将把余白作为空白而生成为矩形的图像集合体作为一个图像以jpeg进行压缩而生成压缩差分图像并积蓄;(8)重复功能,直至经过给定的录像时间为止,重复从整个画面图像取得至压缩差分图像生成;(9)积蓄图像传输功能,生成包含压缩整个画面图像、直至经过给定的录像时间为止被积蓄的所述压缩差分图像、以及各位置信息数据的积蓄数据文件并传输到服务器。
上述的一定间隔时间能够设为例如1秒、5秒等,给定的录像时间能够设为例如10分钟等。因此,生成压缩整个画面图像(i帧)是在给定的录像时间的开始时,例如每10分钟,在其间的每一定期间时间,例如每1秒生成的是压缩差分图像(j帧)。在本实施例中,汇总给定的录像时间的量,即作为包含一张压缩整个画面图像、多个压缩差分图像及位置信息数据的一个文件,生成积蓄数据文件。此外,在积蓄数据文件,附加标头等必要的信息。
在本实施例中,在分割功能中,块图像设为纵8像素×横8像素。其是jpeg中的最小的单位,因此能够同时兼顾使信息量为最低限度以及不会降低分辨率。
此外,在本实施例中,作为一个例子,使块图像为纵8像素×横8像素的尺寸,但并不限于此,只要是预先决定的尺寸(例如,纵16像素×横16像素)即可。在以预先决定的尺寸单位分割整个画面图像的情况下,在生成压缩整个画面图像及压缩差分图像时,可以以jpeg进行压缩,但优选以上述预先决定的尺寸的块单位进行压缩。由此,在生成压缩差分图像时,能够以差分块的块图像单位进行压缩,因此在复原原来的整个画面图像时,在直接配置该差分块的块图像时,不需要进一步的处理就能够正确重现原来的整个画面图像。
此外,并不限定于此,在生成压缩整个画面图像及压缩差分图像时,可以以其他图像格式进行压缩,也可以用其他压缩方法进行压缩。
在本实施例中,位置信息生成功能还对于各个块图像生成哈希值并进行比较,将计算出的值不相等的块设为有差分,将计算出的值相等的块设为无差分,位置信息数据为表示差分的有无的开头的1位和用7位或15位表示差分的有无为相同的连续块数的1字节或2字节的数据。在为1字节的情况下,能够表现直至127为止的连续数,在为2字节的情况下,能够表现直至32767为止的连续数。
在对于各个块图像生成哈希值并进行比较时,针对前一个取得的图像的纵8像素×横8像素(点或像素),生成64位的哈希值(1)。接下来针对本次取得的图像的纵8像素×横8像素(点或像素),生成64位的哈希值(2)。将哈希值(1)与哈希值(2)进行比较,若值相同,则判断为没有差分(变化),将哈希值(1)与哈希值(2)进行比较,在值不同的情况下,判断为有差分(变化)。
图3是本实施方式的画面图像传输方法的实施例1中的录像pc的差分图像生成的示意图。对于前一个取得的图像(a图像)与本次取得的图像(b图像),分别分割为纵8像素×横8像素的块,然后仅将在a图像与b图像的相同位置的块中图像不同的块(差分块)依序进行排列。在排列时,全部排列而形成余白为最小的矩形。为此,计算横向排列的并列块数。每次将计算出的并列块数的量的差分块的块图像进行横向排列时,以给定像素数的量,在本实施例中为以8像素的量,换行到下层并排列,即,重复以每个计算出的并列块数的量在下层排列下去的步骤,将把余白作为空白生成为矩形的图像集合体作为一个图像以jpeg进行压缩而生成压缩差分图像。上述的重复为重复如下步骤,即,将计算出的并列块数的量的差分块的块图像进行横向排列,当排列结束时在更下层将并列块数的量的差分块的块图像横向排列下去。例如,在时刻t1的差分块的数量为11个的情况下,为了形成余白为最小的矩形,成为纵3个×横4个,因此将第一个至第四个在第一层从左依次排列,将第五个至第八个在其下方的第二层从左依次排列,将第九个至第十一个在第三层从左依次排列。第三层的最右侧成为余白的空白。因此,以差分块及余白将纵24像素×横32像素的一个图像集合体作为一个图像以jpeg进行压缩。使用纵8像素×横8像素这样的jpeg的最小单位,因此在从压缩差分图像分为各个差分块的图像时,不被相邻的块影响就能够得到原来的差分块的图像。
即使得到原来的差分块,若不知道其是哪个位置的块,则变不回原来的图像,因此在传输到录像服务器时,针对各个图像集合体,附加了差分块的位置信息。例如,在为1字节的情况下,若120块连续没有差分(变化),300块连续有差分(变化),则将有差分设为1,将无差分设为0,位置信息为0:120、1:300,因此若将差分的有无作为开头的位并以位来表现,则变成01111000(第一个的位置信息:无变化(0)为120个),11111111(第二个的位置信息:有变化(1)为127个),11111111(第三个的位置信息:有变化(1)为127个),10101110(第四个的位置信息:有变化(1)为46个(=300-127-127))。在设为2字节的情况下,可增加能够管理的数量。
录像pc与录像服务器的连接以tcp/ip方式进行,为确定录像pc,用在录像服务器侧设定的用户id及密码进行认证后,进行照相机图像的拍摄等请求。认证优选基于录像服务器上的认证用数据库的认证。
即使录像服务器与录像pc不在相同lan上,若两者经由路由器通过网络连接,则从录像pc连接录像服务器的ip地址、端口号。
图4是本实施方式的画面图像传输方法的实施例1中的录像服务器的结构图。录像服务器100具备:控制运算装置,其具有伴有缓存即存储器102的cpu101、设备驱动器等;存储装置110,其具有dram等主存储装置、硬盘等辅助存储装置;以及输入输出装置,其由网络接口104等通信控制装置、作为显示装置的显示器103、键盘105、鼠标106等构成。在存储装置110,除积蓄文件夹111、一次影像文件夹115、二次影像文件夹112、程序113、认证用数据库、环境设定文件夹等之外,还储存有操作系统114。通常,程序113储存于存储装置110的辅助存储装置中,在执行时被载入主存储装置。
积蓄文件夹111为保存图像的文件夹,在积蓄文件夹111,积蓄从录像pc400取得的、包含压缩整个画面图像及压缩差分图像的积蓄数据文件,在一次影像文件夹115,将仅由整个图像构成的动态画面、即全部仅由i帧构成的动态画面作为一次影像数据进行积蓄,所述整个图像由从积蓄于积蓄文件夹111的压缩整个画面图像及压缩差分图像复原的整个画面图像构成,在二次影像文件夹,将积蓄于一次影像文件夹115内的一定时间量的一次影像数据进行动态画面压缩转换,并作为二次影像数据进行积蓄。
从压缩差分图像复原整个画面图像的方法例如为:在复原图3的b图像的情况下,根据附加于图像集合体的位置信息的第一个(01111000),对于无变化的块数(120个)的量,从前一个图像(在图3中为a图像)的左上起设为相同数量(120个)的块图像,接下来根据位置信息的第二个到第四个(11111111、11111111、10101110),对于有变化的块数(300个)的量,从图像集合体的左上起依次设为相同数量(300个)的块图像。接下来,根据第5个以后的、从0开始的连续的一个或多个位置信息,对于无变化的块数(假设为100个)的量,从a图像中的第421个的块图像起设为相同数量(100个)的块图像,接下来根据从1开始的连续的一个或多个位置信息,对于有变化的块数(假设为50个)的量,从图像集合体的左上起从第301个的块图像起设为相同数量(50个)的块图像。重复此步骤,复原b图像。pc画面与光的波动或风等吹动的自然环境的照相机图像不同,在画面内有变化的部分小的情况多,因此能够使图像集合体为极小的容量。
图5是本实施方式的画面图像传输方法的实施例1的流程中的从录像pc到录像服务器的传输方法及录像服务器中的保存方法的说明图。在图5中,将压缩整个画面图像以i帧来表示,将压缩差分图像以j帧来表示。在动态画面压缩转换为二次影像数据时,减少i帧,例如,将汇总为一个文件而传输的录像时间设为10分钟,减少至每10分钟3张左右,除p帧之外,还较多地插入b帧,不发生劣化而削减容量。在此情况下,对从录像pc向录像服务器传输的j帧的数量而言,j帧的拍摄间隔为每秒,因此每10分钟为599张。在一次影像数据中全部设为i帧,因此在录像时间10分钟中i帧为600张。录像时间10分钟中,在二次影像数据中,例如,能够压缩为i帧3张、p帧197张、b帧400张。
程序113中包含收集编辑程序、发送程序等各种程序。在认证用数据库,将id、密码、各画面pc400、701、移动终端200、浏览pc300的连接终端作为个体识别信息(uid)进行积蓄。在本实施例中,就录像服务器100而言,录像服务器与终端成为一体,为了自身也起到显示图像的终端的作用,另外为了维护或管理,录像服务器100具有显示器103、以及作为输入单元的键盘105、鼠标106。不需要在录像服务器再现录像pc的图像的情况下,也可以没有作为图像显示装置的终端功能。在环境设定文件夹积蓄有与各录像pc的认证条件、一次影像数据和二次影像数据的生成间隔、压缩条件等。录像服务器100为设置型的服务器,但也可以是云服务器。
录像pc400与录像服务器100连接,通过其通信的响应,在进行了图像请求的情况下进行图像的发送。录像pc的计时器以图像的发送(1秒、5秒、10分钟等)的间隔进行设置。
就录像服务器100而言,通过cpu101将收集编辑程序载入存储器102并执行,实现利用本实施例的画面图像传输方法的pc画面监视方法中的能够进行从来自录像pc的图像取得到编辑保存的计算机功能。就录像服务器100而言,通过cpu101将发送程序载入存储器102并执行,实现能够进行向终端的图像传送处理的计算机功能。cpu10l为搭载于通常的计算机的运算处理装置,其执行各种程序,并进行各种控制等。
就录像服务器100而言,除设为一台服务器以外,还可以是由多个录像服务器构成的服务器组。例如,对于经过一定期间(例如24小时)后的二次影像数据,可以将保存目的地设为二次影像文件夹,该二次影像文件夹设置于与取得压缩整个画面图像及压缩差分图像的录像服务器不同的录像服务器中。通过将不频繁再现的过去的保存数据分开设置,从而能够在同一网络上监视更多台数的录像pc。
收集编辑程序为用于使计算机实现如下功能的程序,即,(1)录像pc连接功能,进行与录像pc的连接;(2)图像取得功能,使录像服务器接收从已连接的录像pc传输的积蓄数据文件;(3)积蓄功能,将从录像pc取得的积蓄数据文件积蓄于积蓄文件夹;(4)差分块复原功能,分别从被积蓄的积蓄数据文件所包含的压缩差分图像复原图像集合体并复原差分块的块图像;(5)整个画面图像复原功能,对于全部压缩差分图像,进行如下步骤,在前一个时刻的整个画面图像,基于位置信息数据配置差分块的块图像,并生成下一个时刻的整个画面图像;(6)一次影像数据保存功能,从已复原的整个画面图像的集合以积蓄数据文件单位生成作为一个动态画面的一次影像数据,并保存于一次影像数据文件夹。
在本实施例中,作为更优选的方式,进一步地,收集编辑程序是用于使计算机还实现如下二次影像数据生成功能的程序,即,将一次影像数据以每一定时间的量(例如10分钟的量)结合并附加时间戳,并以动态画面形式进行压缩,即转换为使一次影像数据优化后的二次影像数据。一次影像数据全部为整个图像(i帧(帧内)),二次影像数据以动态画面形式进行压缩,例如,将i帧设为每10分钟3张左右的比例,不仅是p帧(帧内预测),还组合b帧(双向帧内预测)并插入,不发生劣化而削减容量。在本实施例中,能够参照未来的i帧,因此能够插入b帧。b帧为前后比较差分,因此比p帧小。
在本实施例中,发送程序为用于使计算机实现如下功能的程序,即:终端连接功能,进行与终端的连接;图像选择受理功能,在终端显示录像pc一览并受理来自终端的录像pc的选择;再现图像发送功能,对于已被选择的录像pc,将二次影像数据的图像发送到终端;再现图像后退快进受理功能,从终端受理来自再现图像的后退或快进的请求;后退快进图像发送功能,对于每个后退快进请求,从前一次已发送到终端的图像起提取一定时间的量(例如1秒的量)的过去或未来的时间点的二次影像数据,并作为后退图像或快进图像发送到终端。此外,与二次影像数据同样地,也能够将一次影像数据的图像发送到终端,并进行再现、后退、快进。
在本实施例中,终端200、300与录像服务器100的连接也以tcp/ip方式进行,通过用户id及密码进行认证,确认终端为在录像服务器中登录的终端后进行图像发送。认证优选为基于录像服务器上的认证用数据库的认证。
即使录像服务器与终端不在相同lan上,若两者经由路由器通过网络连接,则从终端连接录像服务器的ip地址、端口号。在终端的连接中,利用在终端认证时已登录的uid来进行终端的认证。
录像服务器100在移动终端200的连接开始时基于使用uid的终端固有信息来确定终端,因此根据用户id与密码的认证及终端固有信息的一致,使得能够进行图像显示。
图6是本实施方式的画面图像传输方法的实施例1中的终端(移动)的结构图。移动终端200具备:具有伴有存储器202的cpu201和设备驱动器等的控制运算装置、存储装置210、进行数据的发送接收等的通信控制装置、作为显示装置的显示器203、操作按钮或者触摸面板等输入输出装置。在存储装置210,储存有图像显示程序213、操作系统214。移动终端200为例如智能手机等移动电话等,其通过cpu201将图像显示程序213载入存储器202并执行,实现本实施方式的能够进行图像显示的计算机功能。cpu201为在通常的移动终端搭载的运算处理装置,其执行各种程序,并进行各种控制等。
图7是本实施方式的画面图像传输方法的实施例1中的终端(pc)的结构图。浏览pc300具备:控制运算装置,其具有伴有存储器302的cpu301、设备驱动器等;存储装置310,其具有dram等主存储装置、硬盘等辅助存储装置;以及输入输出装置,其由作为网络接口304等通信控制装置、显示装置的显示器303、键盘305、鼠标306等构成。在存储装置310,储存有图像显示程序313、操作系统314。浏览pc300为例如桌面pc或笔记本pc、平板终端等,其通过cpu301将图像显示程序313载入存储器302并执行,实现本实施方式的能够进行图像显示的计算机功能。cpu301为在通常的pc搭载的运算处理装置,其执行各种程序,并进行各种控制等。
图像显示程序为用于使计算机实现如下功能的程序,即:录像服务器连接功能,进行与录像服务器的连接;图像显示功能,显示从录像服务器发送来的图像。
作为更优选的方式,进一步地,图像显示程序是用于还使计算机实现如下功能的程序,即:后退开始请求功能,在再现图像显示中,受理后退请求的输入,并向录像服务器请求后退图像;后退继续请求功能,在后退图像显示中,以比再现图像的请求间隔短的每一定时间(例如0.2秒),向录像服务器请求后退图像;后退图像快进开始请求功能,在后退图像显示中,受理来自用户的快进请求的输入,并向录像服务器请求快进图像;后退图像快进继续请求功能,在快进图像显示中,以比再现图像的请求间隔短的每一定时间(例如0.2秒),向录像服务器请求快进图像。
在本实施例中,录像服务器100、浏览pc300以及录像pc400都作为个人计算机构成,具备通常的个人计算机具有的时钟功能等。移动终端200也具备时钟功能等。
实施例1中的录像pc400为经由网络与录像服务器100连接的个人计算机,设有:(1)连接单元,其接收来自录像服务器100的与录像pc的连接请求;(2)整个画面图像取得单元,其每隔一定间隔时间取得在显示器403的画面上显示的整个画面的图像数据;(3)压缩整个画面图像生成单元,其每隔给定的录像时间将通过整个画面图像取得单元取得的整个画面图像以jpeg进行压缩而生成压缩整个画面图像并积蓄,每次生成压缩整个画面图像时,直至经过给定的录像时间为止,不生成压缩整个画面图像而进至下一个步骤;(4)分割单元,其将通过整个画面图像取得单元取得的整个画面的图像数据从画面区域的一端分割为纵横给定像素数的块图像;(5)位置信息生成单元,其对于通过分割单元被分割后的每个块图像,比较连续的两个时刻的块图像,生成位置信息数据,所述位置信息数据表示差分的有无并以各个块的连续数表示被设为有差分的块的位置信息;(6)并列数计算单元,其将通过位置信息生成单元被设为有差分的块作为差分块,根据同时刻的差分块的数量,计算为了将同时刻的差分块的块图像全部进行排列而形成余白为最小的矩形从而进行横向排列的并列块数;(7)压缩差分图像生成单元,其每次将通过并列数计算单元计算出的并列块数的量的差分块的块图像进行横向排列时,重复将差分块的块图像在下层排列下去的步骤,将把余白作为空白而生成为矩形的图像集合体作为一个图像以jpeg进行压缩而生成压缩差分图像并积蓄;(8)重复单元,其直至经过给定的录像时间为止,重复从整个画面图像取得至压缩差分图像生成;以及(9)积蓄图像传输单元,其生成积蓄数据文件并传输到服务器,所述积蓄数据文件包含压缩整个画面图像、直至经过给定的录像时间为止被积蓄的压缩差分图像、以及各位置信息数据。
录像pc400通过前述的硬件结构及图像录像发送程序作为(1)~(9)的单元起作用。
实施例1中的录像服务器100设有:(1)录像pc连接单元,其进行与录像pc的连接;(2)图像取得单元,其使录像服务器100接收从已连接的录像pc被传输的积蓄数据文件;(3)积蓄单元,其将从录像pc400取得的积蓄数据文件积蓄到积蓄文件夹111;(4)差分块复原单元,其分别从被积蓄的积蓄数据文件所包含的压缩差分图像复原图像集合体,并复原差分块的块图像;(5)整个画面图像复原单元,其对于全部压缩差分图像,进行如下步骤,即,在前一个时刻的整个画面图像,基于位置信息数据配置差分块的块图像,并生成下一个时刻的整个画面图像;(6)一次影像数据保存单元,其从已复原的整个画面图像的集合以积蓄数据文件单位生成作为一个动态画面的一次影像数据,并保存于一次影像数据文件夹115。
录像服务器100通过前述的硬件结构及收集编辑程序,作为(1)~(6)的单元起作用。另外,录像服务器100通过前述的硬件结构及发送程序,作为向终端的再现图像、后退再现、快进再现的图像的发送单元发挥作用。
另外,在终端200、300设有:(1)录像服务器连接单元,其进行与录像服务器100的连接;(2)图像显示单元,其显示从录像服务器100被发送来的图像;(3)后退开始请求单元,其在再现图像显示中,受理后退请求的输入,向录像服务器请求后退图像;(4)后退继续请求单元,其在后退图像显示中,以比再现图像的请求间隔短的每一定时间(例如0.2秒),向录像服务器请求后退图像;(5)后退图像快进开始请求单元,其在后退图像显示中,受理来自用户的快进请求的输入,向录像服务器请求快进图像;(6)后退图像快进继续请求单元,其在快进图像显示中,以比再现图像的请求间隔短的每一定时间(例如0.2秒),向录像服务器请求快进图像。终端通过前述的硬件结构及图像显示程序213、313,作为(1)~(6)的单元发挥作用。
此外,仅由整个图像(i帧)生成的一次影像数据每隔一定时间在录像服务器中被转换为二次影像数据,因此进行录像10分钟后等,终端除短时间的再现、后退再现、快进再现之外,还能够进行经过一天以上的过去的录像pc的画面的图像的再现、后退、快进。即使从录像pc向录像服务器传输时的数据量小,再现图像、后退图像、快进图像全部为i帧,作为动态画面进行再现时为高画质。对不频繁使用的、超过二次影像数据生成单位的过去的量的再现、快进后退而言,使用压缩转换而成的动态画面文件即二次影像数据,因此作为动态画面的同时保存所需的数据量较小即可达到目的。
由上述的录像pc、录像服务器以及终端构成的pc画面监视系统为实现实施例1的画面图像传输方法及实施例1的图像复原方法的系统,以jpeg单位检测pc画面的差分,通过用该差分生成其他图像后进行图像的传输,能够减少传输容量。对进行压缩处理的录像pc的负担也小,从录像pc向录像服务器的发送数据量小,即使在本地环境以外设置录像pc也难以发生数据延迟等问题,另外,从录像服务器向终端的发送数据量也小,能够实现分辨率高、高画质且施加于网络的负载小的监视系统。即,能够防止画质的劣化并有效率地传输个人计算机的显示器的画面图像,并且能够降低进行处理的pc的负载。在网络上同时流动的数据量减少,因此能够通过一般的互联网线路等使pc画面的图像流向录像服务器,另外,在一般的互联网线路等上也能够流动pc画面的信息。并且,能够实现在经由互联网线路(wan)的云服务器上的数据积蓄。
(步骤)
使用附图对本实施方式的画面图像传输方法的实施例1的步骤进行具体说明。在本步骤中,使用由上述的录像pc、录像服务器以及终端构成的pc画面监视系统。
图8是表示本实施方式的画面图像传输方法的实施例1中的从录像pc的画面拍摄到录像服务器中的积蓄的步骤概要的流程图。
录像pc以tcp/ip方式向录像服务器请求连接。录像pc由一台或多台构成,各录像pc利用用户id及密码与录像服务器进行认证。录像服务器接收来自录像pc的连接响应,当参照认证用数据库并认证成功时,成为连接状态。
在本实施例的画面图像传输方法中,当录像pc成为启动状态时,录像pc进行与上述的录像服务器连接的认证处理,进行从录像服务器向录像pc的录像开始请求后,录像pc取得在显示器的画面上显示的整个画面的图像数据,并将取得的整个画面图像以jpeg进行压缩而生成压缩整个画面图像并积蓄。压缩整个画面图像的生成是每隔给定的录像时间,例如每10分钟。
生成压缩整个画面图像后,直至经过给定的录像时间(例如10分钟)为止,每隔一定间隔时间(例如1秒或者5秒),重复取得在显示器的画面上显示的整个画面的图像数据并生成压缩差分图像的步骤。例如录像时间为10分钟(600秒),间隔时间为1秒的情况下,最初的一张为压缩整个画面图像,压缩差分图像最多为599张。在没有差分的情况下,对于该时刻的量,没有图像集合体,因此没有压缩差分图像。
生成包含上述的一张压缩整个画面图像、压缩差分图像(在上述例中最多为599张)、以及每个压缩差分图像的位置信息数据的积蓄数据文件,并传输到录像服务器。
在经过给定的录像时间后,录像pc又取得在显示器的画面上显示的整个画面的图像数据,生成压缩整个画面图像并积蓄,每隔一定间隔时间,取得在显示器的画面上显示的整个画面的图像数据,生成压缩差分图像并积蓄,然后,生成积蓄数据文件并传输到录像服务器,并重复如上步骤。
压缩差分图像的生成中,将已取得的整个画面的图像数据从画面区域的一端分割为纵横给定像素数的块图像,对于被分割后的每个块图像,比较连续的两个时刻的块图像,生成表示差分的有无并以各个块的连续数表示被设为有差分的块的位置信息的位置信息数据,将被设为有差分的块作为差分块,根据同时刻的差分块的数量,计算为了将同时刻的差分块的块图像全部进行排列而形成余白为最小的矩形从而进行横向排列的并列块数,每次将计算出的并列块数的量的差分块的块图像进行横向排列时,重复将差分块的块图像在下层排列下去的步骤,将把余白作为空白而生成为矩形的图像集合体作为一个图像以jpeg进行压缩,而生成压缩差分图像。
即,在本实施例中,包含:(1)整个画面图像取得步骤,经由网络与服务器连接的个人计算机每隔一定间隔时间取得在显示器的画面上显示的整个画面的图像数据;(2)压缩整个画面图像生成步骤,每隔给定的录像时间将在整个画面图像取得步骤取得的整个画面图像以jpeg进行压缩而生成压缩整个画面图像并积蓄,每次生成压缩整个画面图像时,直至经过给定的录像时间为止,不生成压缩整个画面图像而进至下一个步骤;(3)分割步骤,将在整个画面图像取得步骤取得的整个画面的图像数据从画面区域的一端分割为纵横给定像素数的块图像;(4)位置信息生成步骤,对于在分割步骤被分割后的每个块图像,比较连续的两个时刻的块图像,生成表示差分的有无并以各个块的连续数表示被设为有差分的块的位置信息的位置信息数据;(5)并列数计算步骤,将在位置信息生成步骤被设为有差分的块作为差分块,根据同时刻的差分块的数量,计算为了将同时刻的差分块的块图像全部进行排列而形成余白为最小的矩形从而进行横向排列的并列块数;(6)压缩差分图像生成步骤,每次将在并列数计算步骤计算出的并列块数的量的所述差分块的块图像进行横向排列时,重复将差分块的块图像在下层排列下去的步骤,将把余白作为空白而生成为矩形的图像集合体作为一个图像以jpeg进行压缩而生成压缩差分图像并积蓄;(7)直至经过给定的录像时间为止,重复(1)至(6)的各步骤;(8)积蓄图像传输步骤,然后生成积蓄数据文件并传输到服务器,所述积蓄数据文件包含压缩整个画面图像、直至经过给定的录像时间为止被积蓄的所述压缩差分图像以及各位置信息数据。直至录像pc的电源被切断或与录像服务器的连接被切断为止,连续进行(1)至(8)的步骤。
在本实施例中,在分割步骤中,块图像为纵8像素×横8像素。另外,在位置信息生成步骤中,连续的两个时刻的块图像的比较为对于各个块图像生成哈希值并进行比较,将计算出的值不相等的块设为有差分,将计算出的值相等的块设为无差分,位置信息数据为表示差分的有无的开头的1位和用7位或15位表示差分的有无为相同的连续块数的1字节或2字节的数据。
jpeg的情况下,将图像分割为纵8像素×横8像素的固定尺寸的块,以该块单位,使用离散余弦变换(dct:discretecosinetransform)进行变换,通过量子化降低信息量,进行压缩。当将除jpeg以外的一般图像直接进行量子化时会发生大的画质劣化,但基于jpeg化的压缩的情况下,能够保留原来的图像的性质而进行量子化。即,就jpeg而言,无论多大的图像,都被分割为固定尺寸的块并对各块进行压缩,即使在块单位中完全不同的图像相邻,也不会受到影响。在本实施例中,使用该jpeg特性来进行jpeg的压缩利用。在本实施例中,从差分的提取直至压缩、复原展开为止,以jpeg的块尺寸作为基准,由此,以最小的容量管理差分信息,使进行处理的pc的负载为最小限度。
位置信息除位排列以外,也可以是坐标管理。通过将图像集合体直接进行jpeg压缩,从而高速地以最小的cpu负载生成即压缩jpeg图像。
具有图像录像发送程序的pc画面监视系统的程序为使计算机执行这些步骤的程序。
就录像服务器而言,当从录像pc取得图像时,进行图像复原。首先,判断积蓄数据文件的有无,在没有积蓄数据文件的情况下,直至经过录像时间为止进行休眠并重复该判断,在有积蓄数据文件的情况下,进行从压缩差分图像复原图像集合体并复原差分块的块图像的差分块复原步骤,接下来,进行整个画面图像复原步骤,即,直至给定的录像时间的量为止,重复如下步骤,即,在前一个时刻的整个画面图像,基于位置信息数据配置差分块的块图像,并生成下一个时刻的整个画面图像。
被复原的图像全部为整个画面图像(i帧),因此作为仅由录像时间单位的i帧构成动态画面的一次影像数据积蓄于一次影像文件夹。然后,在将一次影像数据进行动态画面压缩转换时,生成二次影像数据并积蓄于二次影像文件夹。具体地说,二次影像数据为减少i帧而包含p帧及b帧的h.264形式的压缩动态画面。
本实施例为能够在用于管理等的录像pc监视系统中利用的画面图像传输方法,被传输到q录像服务器的数据通过上述的图像复原方法被复原为在终端能够显示的图像,所述q录像服务器使已拍摄的pc画面的图像传输到服务器并积蓄。就被jpeg压缩的压缩差分图像而言,在前一时刻的整个图像,基于位排列或坐标信息配置差分块,当差分块全部配置结束时,成为下一个时刻的整个图像。
(效果)
根据本实施例,能够防止画质的劣化并有效率地传输个人计算机的显示器的画面图像,并且能够降低进行处理的pc的负载。
另外,将图像的劣化抑制在最小限度,由于设为jpeg即进行压缩,因此不需要设置另外的压缩工序即可。通过不改变色数或数据的保持方法而将差分直接形成jpeg图像,能够自动地以最短生成差分数据,并且能够成为高压缩的状态。
【实施例2】
图9是表示本实施方式的画面图像传输方法的实施例2中的从录像pc的画面拍摄到录像服务器中的积蓄的步骤概要的流程图。在实施例2的画面图像传输方法及图像复原方法中,除下述方面以外都与上述的实施例1相同。
在本实施例中,并非汇总给定的录像时间的量而从录像pc传输到录像服务器,而是重复如下步骤,即,通过录像pc内的计时器,每隔一定间隔时间,例如在1秒、5秒等的定时进行图像取得,从录像服务器有图像请求,在最初的一次生成压缩整个画面图像,除此之外生成压缩差分图像,无论是包含压缩整个画面图像的整个画面数据文件,还是包含压缩差分图像及位置信息数据的差分数据文件,一旦生成就分别传输到录像服务器,并删除已传输的图像。此外,在整个画面数据文件、差分数据文件上,分别附加标头等必要的信息。生成压缩整个画面图像是在给定的录像时间的开始时,其期间的每隔一定间隔时间生成的是压缩差分图像,这方面与实施例1相同。
在本实施例中,包含:(1)整个画面图像取得步骤,经由网络与服务器连接的个人计算机每隔一定间隔时间取得在显示器的画面上显示的整个画面的图像数据;(2)压缩整个画面图像生成步骤,每隔给定的录像时间将在整个画面图像取得步骤取得的整个画面图像以jpeg进行压缩而生成压缩整个画面图像并积蓄,在每次生成压缩整个画面图像时,直至经过给定的录像时间为止,不生成压缩整个画面图像而进至下一个步骤;(3)整个画面图像传输步骤,生成包含在整个画面图像生成步骤生成的压缩整个画面图像的整个画面数据文件并传输到服务器;(4)分割步骤,将在整个画面图像取得步骤取得的整个画面的图像数据从画面区域的一端分割为纵横给定像素数的块图像;(5)位置信息生成步骤,对于在分割步骤被分割后的每个块图像,比较连续的两个时刻的块图像,生成位置信息数据,该位置信息数据表示差分的有无并以各个块的连续数表示被设为有差分的块的位置信息;(6)并列数计算步骤,将在位置信息生成步骤被设为有差分的块作为差分块,根据同时刻的差分块的数量,计算为了将同时刻的差分块的块图像全部进行排列而形成余白为最小的矩形从而进行横向排列的并列块数;(7)压缩差分图像生成步骤,每次将在并列数计算步骤计算出的并列块数的量的所述差分块的块图像进行横向排列时,重复将差分块的块图像在下层排列下去的步骤,将把余白作为空白而生成为矩形的图像集合体作为一个图像以jpeg进行压缩而生成压缩差分图像并积蓄;(8)差分图像传输步骤,生成包含压缩差分图像及各位置信息数据的差分数据文件并传输到服务器。直至录像pc的电源被切断或者与录像服务器的连接被切断为止,连续进行(1)至(8)的步骤。
在本实施例中,录像pc的图像录像发送程序413与实施例1的画面图像传输方法中的图像录像发送程序基本相同,但在如下方面不同,即,其是用于使计算机还实现如下功能的程序,即:整个画面图像传输功能,生成包含在整个画面图像生成功能生成的压缩整个画面图像的整个画面数据文件并传输到服务器;以及差分图像传输功能,代替积蓄图像传输功能,生成包含压缩差分图像及各位置信息数据的差分数据文件并传输到服务器。
本实施例中的录像pc400与实施例1的画面图像传输方法中的录像pc基本相同,但在如下方面不同,即,还设有:整个画面图像传输单元,其生成包含由整个画面图像生成单元生成的压缩整个画面图像的整个画面数据文件并传输到服务器;以及差分图像传输单元,其代替积蓄图像传输单元,生成包含压缩差分图像及各位置信息数据的差分数据文件并传输到服务器。
在本实施例中,通过将录像pc的画面的静止图像的差分图像以给定的方法进行压缩并传输,能够将信息量减少为最小限度,能够减少从录像pc向录像服务器的传输容量,能够不在现场设置录像服务器而进行利用云服务器等的录像pc的画面图像收集。另外,与单纯的录像pc的画面的图像收集相比,能够减少通信上的数据量,在对网络的负担少的基础上,能够进行利用图像复原时分辨率高的图像的监控。此外,也可以为在实时地传输差分的上述实施例2中组合积蓄后再进行传输的上述实施例1而成为复合的图像传输方法。
在本实施例中,录像服务器100的收集编辑程序为用于使计算机实现如下功能的程序,即,(1)录像pc连接功能,进行与录像pc的连接;(2)图像取得功能,使录像服务器接收从已连接的录像pc被传输的整个画面数据文件及差分数据文件;(3)积蓄功能,将从录像pc取得的整个画面数据文件及差分数据文件积蓄于积蓄文件夹;(4)差分块复原功能,分别从被积蓄的差分数据文件所包含的压缩差分图像复原图像集合体,并复原差分块的块图像;(5)整个画面图像复原功能,对于全部压缩差分图像,进行如下步骤,即,在前一个时刻的整个画面图像,基于位置信息数据配置差分块的块图像,并生成下一个时刻的整个画面图像;(6)一次影像数据保存功能,将已复原的整个画面图像展开到存储器,从已复原的整个画面图像的集合以给定的录像时间单位生成作为一个动态画面的一次影像数据并保存于一次影像数据文件夹。并且,在本实施例中,与上述的实施例1同样地,收集编辑程序是用于还实现如下的二次影像数据保存功能的程序,即,优化一次影像数据,生成二次影像数据并保存于二次影像数据文件夹中。
在积蓄文件夹111,积蓄从录像pc400取得的、包含压缩整个画面图像的整个画面数据文件、包含压缩差分图像的差分数据文件,在一次影像文件夹115,将仅由整个图像构成的动态画面,即全部仅由i帧构成的动态画面作为一次影像数据进行积蓄,所述整个图像由从积蓄于积蓄文件夹111的压缩整个画面图像及压缩差分图像复原的整个画面图像构成。一次影像数据全部为一张画(整个图像),因此在再现时能够非常简单地进行处理。根据本实施例,作为动态画面能够向监控侧的终端实时地进行发送,因此便利性高。另外,在二次影像文件夹,将积蓄于一次影像文件夹115内的一定时间的量的一次影像数据进行动态画面压缩转换并作为二次影像数据进行积蓄。在动态画面压缩转换为二次影像数据时,减少i帧,例如减少至每10分钟3张左右,除p帧之外,还较多地插入b帧,不劣化而削减容量。
上述pc画面监视系统将通过实施例1的图像复原方法被复原的图像发送到终端等,还进行实时图像的再现、后退、快进及库再现(日语:ライブラリ再生)。另外,上述监视照相机系统将被复原的图像进行压缩并保存,将图像发送到终端等,还进行过去的图像的再现、后退、快进。在此,“库再现”是指从实时图像向过去后退的再现或者过去的图像的快进再现。
在本实施例中,发送程序是用来使计算机实现以下功能的程序,即:终端连接功能,进行与终端的连接;图像选择受理功能,在终端显示录像pc一览并受理来自终端的录像pc的选择;实时图像发送功能,对于被选择的录像pc,将一次影像数据的图像作为实时图像发送到终端;实时图像后退受理功能,从终端受理从实时图像的后退请求;后退实时图像发送功能,对于每一个后退请求,从前一次发送到终端的图像起提取一定时间的量(例如1秒的量)的过去的时间点的一次影像数据并作为后退实时图像发送到终端;后退实时图像快进受理功能,从终端受理从后退实时图像的快进请求;以及快进实时图像发送功能,对于每一个快进请求,直至到达当前的图像为止,从前一次发送到终端的图像起提取一定时间的量(例如1秒的量)的未来的时间点的一次影像数据并作为快进实时图像发送到终端。“当前的图像”是指从录像pc取得的最新的图像。因此,在每次来自录像pc的图像被输入到录像服务器时,当前的图像会变为新的图像。
进一步地,发送程序是用来使计算机还实现以下功能的程序,即:库图像(日语:ライブラリ画像)受理功能;从终端受理从后退实时图像的库图像请求;以及库图像发送功能,对于每一个库图像请求,从前一次发送到终端的图像起,提取一定时间的量,具体来说,提取从录像pc400向录像服务器100的图像取得间隔的量的未来的时间点的一次影像数据,并作为快进实时图像发送到终端。此外,在此,“库图像”是指从实时图像向过去后退的再现图像。利用二次影像数据的再现、后退、快进与上述的实施例1相同。
根据本实施例,能够防止画质的劣化并有效率地传输个人计算机的显示器的画面图像,并且能够降低进行处理的pc的负载。另外,虽然信息量比实施例1大,但也适合实时的监视。
此外,本实施方式并不限定于上述实施方式,在不脱离其实施方式的主旨的范围内能够进行各种变形实施。另外,能够在不脱离实施方式的主旨的范围内任意组合上述各实施方式的结构要素。
另外,也可以将用于执行各实施例的录像pc的各处理的程序记录于计算机可读取的记录介质并作为图像压缩程序产品,使录像pc读入记录于该记录介质中的程序,通过处理器来执行,由此进行各实施例的录像pc所涉及的上述各种处理。
另外,也可以将用于执行各实施例的录像服务器的各处理的程序记录于计算机可读取的记录介质并作为图像复原程序产品,使录像服务器读入记录于该记录介质中的程序,通过处理器来执行,由此进行各实施例的录像服务器所涉及的上述各种处理。