图像撷取装置及图像交流方法

文档序号:7943949阅读:169来源:国知局

专利名称::图像撷取装置及图像交流方法
技术领域
:本发明是关于一种适用于视频会议的图像撷取装置及图像交流方法,且特别是关于一种可提供实时且不增加计算机负载量的图像撷取装置及图像交流方法。
背景技术
:现今的科技发展日新月异,视频会议已成为众多企业和民众利用远程在线相互传递消息的工具,因此,高分辨率图像便成了需求。然而,受限于当前硬件架构与网络频宽的限制,使传输过程容易受计算机处理效率以及网络频宽的影响,质量往往也不是很好。一般而言,高分辨率(highdefinition,HD)图像是指画面达1280*720像素以上的解析程度。但是,当供传统视频会议用的装置撷取高分辨率画面并通过计算机设备显示到屏幕,对计算机而言是项沉重的负担。请参阅图1所示。图1是绘示已知照相模块1的图像处理的功能方块图。光线由光学镜头(opticallens)100聚光至图像感应器102,随后图像感应器102将光信号转换成电子信号,此时电子信号即是最原始的像素数据(rawpixeldata)Sr,之后图像信号处理器(imageprocessor)104将原始像素数据经由一连串图像处理后转换成为YUV色域像素数据SYUV,此YUV像素数据可经由图像压縮器(imagecompressor)106压縮成为压縮比特流(compressionbitstream)Sc,常见的图像压縮标准为JPEG格式。YUV像素数据或压縮比特流经由多工器(MUX)108选取一路数据送给通用序列总线桥接器(USBbridge)120。USB桥接器120将视频数据格式转换成为USB信号并传送至计算机2。此架构广泛应用于个人计算机或笔记本型计算机的Web-Camera的应用当中。然而,在USB2.0高速传输的规格下,一个实时传输(isochronous)频宽限制为196.6Mbps(Mega-bitspersecond),可容纳每秒30张VGA(640x480)画面的原始数据量。但对于高清分辨率的世代来临,当画面分辨率到达每秒30张1280*720像素的画面时,其数据量高达331.78Mbps,明显已经超过USB版本2.0的最大容许频宽。故已知架构欲传送此等级的视频数据量,需使用压縮技术来使数据量縮小或者降低每秒张数。当使用压縮技术方法必须额外增加解压縮后处理,造成处理器的负担更加沉重。若采用减少传送每秒张数的方法,则会让使用者感受到画面不流畅。当已知照相模块装置使用JPEG技术进行压縮,在可接受的画面质量下,常见采取JPEG压縮的方式可以提供510倍的压縮率,也就是约66.37Mbps至33.18Mbps数据量,可以经由USB传输到计算机。然而,若要进一步通过网络传输时,应用会因为网络频宽的不同而受到限制。在此将网络频宽概分为两类,一类为局域网络(local-areanetwork),另一类为广域网络(wide-areanetwork)。局域网络可以提供上下行传输速率达50Mbps(100Mbps/lGbps;有线网络)与18_22Mbps(无线网络)。广域网络可以提供的传输速率约为30_50Kbps(Modem)、300_lMbps(AsymmetricDigitalSubscriberLine,ADSL;非对称数字用户网络)与2Mbps(FiberToTheHome,FTTH;光纤宽带网络)。故使用JPEG压縮仅能用于局域网络内,大大地被限制其使用的范围。为了使数据量更小且符合各种频宽限制,更先进的压縮技术必须被采用。H.264已为目前公认最新颖且已达标准化的压縮技术。使用H.264针对每秒达30张的高分辨率影片做视频压縮,数据量可以降到512Kbps2Mbps之间(达到VHS到DVD质量)。在牺牲部分视频质量或针对较静态的视频会议场景的环境,已可满足广域网络的频宽限制。另外,请参阅图2所示。图2是绘示使用已知照相模块1的架构下,计算机2中的软件处理方块图。USB驱动接口260将照相模块1传来的USB封包解开为原始数据(在传统架构下为JPEG比特流数据格式),之后JPEG解码器262将JPEG比特流数据解压縮成为YUV格式的原始视频数据。YUV呈现器266将YUV格式数据显像到计算机2的屏幕上。H.264编码器264压縮YUV原始数据成为视频比特流,网络传送端268将视频比特流传递到网络。网络接收端270接受网络上远距终端传来的视频比特流,H.264解码器272将视频比特流解压縮成为YUV格式的原始视频数据,YUV呈现器274将YUV格式数据显像到计算机2的屏幕上。在这样的架构下,若要传送每秒30张HD画面的视频会议系统,其计算机软件运算量估计如表一所示。由表一得知,当已知视频会议撷取装置用于配有低阶中央处理器(CPU),例如IntelCoreDueT2200,的笔记本型计算机,其CPU使用的总和负载利用率约达195%。若改采配有高阶CPU,例如IntelCore2DueT7200,的笔记本型计算机,CPU的负载利用率仍超过155%。由表一中可明显得知,采用低阶或高阶的CPU来处理此图像,皆会造成CPU严重超载。因此,已知照相模块所撷取的每秒30张HD画面的视频画面数据,无论通过高阶或低阶CPU都无法顺畅处理。表一<table>tableseeoriginaldocumentpage5</column></row><table>有鉴于此,本发明的主要范畴在于提供一种适用于视频会议的图像撷取装置及图像交流方法,以解决上述问题。
发明内容本发明的一范畴在于提供一种适用于视频会议的图像撷取装置。该视频会议通过网络建立于本地终端与远距终端之间。根据本发明的一具体实施例,该图像撷取装置包含处理器、视频压縮器、加密元件以及数据传输接口。该处理器用以处理原始视频信号以产生第一视频信号及第二视频信号。该视频压縮器耦接至该处理器,用以接收并压縮该第一视频信号。该加密元件耦接至该视频压縮器,用以对该压縮的第一视频信号加密。该数据传输接口耦接至该加密元件及该处理器,用以将该压縮且加密的该第一视频信号及该第二视频信号传输至该本地终端。其中该第一视频信号是通过该本地终端开通过该网络传输至该远距终端并通过该远距终端回复(recover),而该第二视频信号是呈现于该本地终端上。本发明的另一范畴在于提供一种适用于视频会议的图像交流方法,该视频会议通过网络建立于本地终端与远距终端之间。根据本发明的一具体实施例,图像交流方法包含下列步骤提供原始视频信号;处理该原始视频信号以产生第一视频信号及第二视频信号;接收并压縮该第一视频信号;接着,对该压縮的第一视频信号加密;然后,将该压縮且加密的第一视频信号及该第二视频信号传输至该本地终端;将该第二视频信号呈现于该本地终端上,以及;通过该本地终端,通过该网络将该第一视频信号传输至该远距终端,其中该第一视频信号通过该远距终端回复。综合上述,本发明的适用于视频会议的图像撷取装置及图像交流方法可以达成高分辨率图像实时传递的目的。本发明通过将原始信号分成两种路径处理,并于图像撷取装置中预先对视频信号进行压縮及加密的操作。如此一来,计算机设备软件处理负荷减少,高分辨率图像能够在有限的频宽内能顺畅传递。简言之,本发明能够达到实时性、高质量、画面流畅与便利性等优点,进一步达成同步影音分享的功能。关于本发明的优点与精神可以通过以下的发明详述及所附图式得到进一步的了解。图1是绘示已知照相机模块的图像处理的功能方块图。图2是绘示使用已知照相模块的架构下计算机中的软件处理方块图。图3是绘示根据本发明-一具体实施例的视频会议系统的示意图。图4是绘示于一具体实施例中图3所示图像撷取装置的功能方块图。图5是绘示图3所示本地终端中的软件处理的功能方块图。图6为使用冗余数据产生器后延迟时间的改进图。图7A及图7B是绘示根据本发明另一具体实施例的图像交流方法的流程图。[主要元件标号说明]1:照像模块100:光学镜头102:图像感应器104:图像信号处理器106:图像压縮器108:多工器120:USB桥接器2:计算机260:USB驱动接口262:JPEG解码器6264:H.264编码器266、274:YUV呈现器268:网络传送端270:网络接收端272:H.264解码器3:视频会议系统4、5:图像撷取装置6:网络7:本地终端8:远距终端46:数据传输接口400:处理器420:视频压縮器422:加密元件424:冗余数据产生器440:第二縮放器442:第二视频流桥接器4200:第一縮放器4202:方块扫描元件4204:画面缓冲器4206:多工器4208:第一视频流桥接器70:USB驱动接口72、84:YUV呈现器74:MPEG-2TS解多工器76:网络传输端78:网络接收端80:解密器82:H.264解码器Sr:原始像素数据SYUV:YUV色域像素数据Sc:压縮比特流S4。原始视频信号S42:第一视频信号344、574:第二视频信号S46、S72:视频比特流S7。:USB封包数据SOS9:流程步骤S10S12:流程步骤具体实施例方式请参阅图3。图3是绘示根据本发明一具体实施例的视频会议系统3的示意图。该视频会议系统3通过网络6建立于本地终端7与远距终端8之间。在本具体实施例中,本地终端7与远距终端8可以各是笔记本型计算机,且各自耦接图像撷取装置(4、5)。请参阅图4。图4是绘示于一具体实施例中图3所示图像撷取装置4的功能方块图。需注意的是,图像撷取装置5的功能方块图参照图4即可。本发明的图像撷取装置4包含处理器400、视频压縮器420、加密元件422以及数据传输接口46。处理器400用以处理原始视频信号S40以产生第一视频信号S42及第二视频信号S44。又,第一视频信号S42及第二视频信号S44可为YUV视频数据。其中,该原始视频信号S40即光线通过光学镜头聚光在图像撷取装置4中的图像感应器上成像后,图像感应器转换成的电子信号。该电子信号即是原始视频信号(rawpixeldata)S40。需特别说明的是,本发明的图像撷取装置4在处理第一视频信号S42时,进一步可包含第一縮放器4200、方块扫描元件4202和画面缓冲器4204。第一縮放器4200耦接于该处理器400,用以縮放该第一视频信号S42。方块扫描元件4202耦接于该第一縮放器4200及该视频压縮器420之间。画面缓冲器4204耦接至该视频压縮器420。其中,经过方块扫描元件4202处理的像素数据传送至视频压縮器420后,视频压縮器420可将第一视频信号S42压縮成视频比特流(bitstream)。由于视频压縮器420去除空间与时间的多余性,因此需要画面缓冲器4204以储存重建的画面像素数据。视频压縮器420用以接收并压縮该第一视频信号S42。于实际应用中,视频压縮器420可采用MPEG-4或H.264格式来压縮。加密元件422耦接至该视频压縮器420,用以对该压縮的第一视频信号S42进行加密。需注意的是,本发明的图像撷取装置4进一步包含冗余数据产生器(j皿kdatagenerator)424以及多工器4206。在本实施例中,多工器4206可以是MPEG-2传输比特流混合器(MPEG-2multiplexer),但不以此为限。冗余数据产生器424用以产生冗余数据,且冗余数据产生器424可设定产生固定的冗余数据量。多工器4206耦接于该加密元件422、该冗余数据产生器424及该数据传输接口46之间,用以将该冗余数据及该第一视频信号S42混合后输出MPEG-2视频比特流S46至该数据传输接口46。冗余数据产生器424的功能在于降低视频信号传输到本地终端7后,本地终端7中的缓冲器所造成的延迟时间(delaytime),使得视频会议的进行更为流畅。此外,本发明的图像撷取装置4可以另包含耦接于该处理器400及数据传输接口46间的第二縮放器440,以调整处理器400传来的第二视频信号S44。要说明的是,当数据传输接口46有频宽限制装置时,可通过第一縮放器4200以及第二縮放器440在空间上对视频信号縮放。于一具体实施例中,该数据传输接口46可为通用串行总线(USB)接口。如图4所示,USB接口可包含第一视频流桥接器4208及第二视频流桥接器442。该第一视频流桥接器4208耦接至该加密元件422,而该第二视频流桥接器442耦接至该第二縮放器440。第一视频流桥接器4208及第二视频流桥接器442利用数据处理时间上的分工,将多工器4206输出的视频比特流S46和第二縮放器440输出的第二视频信号S44封入USB的封包当中后,传输至该本地终端7。参阅图5所示。图5是绘示图3所示本地终端7中的软件处理的功能方块图。需注意的是,远距终端8中的软件处理过程参照图5即可。USB驱动接口70将图像撷取装置4传来的USB封包数据S70解开为原始数据,包含该MPEG-2视频比特流S72及符合YUV格式的第二视频信号S74。第二视频信号S74通过YUV呈现器72显像到本地终端7的屏幕,以作为本地终端处画面的预览画面。特别要强调的是,MPEG-2TS解多工器(demultiplexer)74用以将加密且压縮的第一视频信号由MPEG-2视频比特流S72中截取出来,而MPEG-2视频比特流S72内的冗余数据则会丢弃。之后,截取出来的第一视频信号通过网络传输端76通过网络6传递至远地终端8,以供远地终端8观看本地终端的画面。网络接收端78接收从远地终端8传来的视频比特流(相当先前所述的第一视频信号),通过解密器80将视频比特流解密,之后H.264解码器82将视频比特流解压縮成为原始的YUV格式视频数据,再由YUV呈现器84将解码后的画面显示于远距终端8的屏幕。在本发明架构下,在传送每秒30张HD画面时,低阶CPUT2200及高阶CPUT7200的运算量估计如表二所示。由表二可清楚得知,无论低阶及高阶CPU都可处理每秒传送30张HD画面的视频会议系统。表二<table>tableseeoriginaldocumentpage9</column></row><table>请参阅图6,图6为使用冗余数据产生器后延迟时间的改进图。延迟时间的测量是指图像光线进入到本地终端内的镜头开始后直到图像于远距终端内的H.264解码器解码完成并显现到远距终端的屏幕上。其中,网络延迟因子视为理想状况(延迟为0ms)。如图6所示,当冗余数据的数据量增加时,原先USB驱动接口内的缓冲器所造成的延迟时间会随之递减,当插入90个冗余数据封包(每个封包188bytes)时,可以使整体延迟时间减少到165ms。请参阅图7A、图7B并一并参阅图3。图7A及图7B是绘示根据本发明另一具体实施例的图像交流方法的流程图。本发明的图像交流方法适用于视频会议,该视频会议通过网络建立于本地终端7与远距终端8之间。本发明的图像交流方法包含下列步骤。执行步骤SO,提供原始视频信号。该原始视频信号可由图3中的图像撷取装置(4、5)提供,在此以图像撷取装置4提供为例说明。执行步骤Sl,于图像撷取装置4中,处理该原始视频信号以产生第一视频信号及第二视频信号。针对第一视频信号,执行步骤S10及步骤Sll,縮放该第一视频信号后对第一视频信号进行方块扫描程序。之后,执行步骤S2及步骤S3,接收并压縮第一视频信号后对该压縮的第一视频信号加密。需注意的是,本发明的图像交流方法进一步可执行步骤S4,产生冗余数据。接着,执行步骤S5,将该冗余数据及该压縮且加密的第一视频信号混合成视频比特流,例如MPEG-2视频比特流。关于冗余数据的叙述及功能请再参阅先前提及的段落。于步骤Sl之后,针对第二视频信号,执行步骤S12,縮放该第二视频信号。于处理完第一视频信号及第二视频信号后,执行步骤S6,将视频比特流及第二视频信号混合后,例如混合成USB数据封包,传输至本地终端7。之后,针对第二视频信号,执行步骤S7,将第二视频信号截取出来呈现于本地终端上,以作为本地终端处画面的预览画面。针对第一视频信号,执行步骤S8,将第一视频信号由视频比特流中截取出来并丢弃冗余数据。接着,执行步骤S9,通过该本地终端,通过网络将第一视频信号传输至远距终端并由该远距终端回复,以供远地终端观看本地终端的画面。于此实施例中,本发明的图像交流方法进一步于该本地终端接收来自该远距终端的压縮的第三视频信号,接着对该第三视频信号解压縮并将解压縮的该第三视频信号呈现于该本地终端上。实际应用时,该第二视频信号可呈现于该本地终端的显示屏幕的第一区域上,而解压縮的该第三视频信号可呈现于该屏幕的第二区域上,该第二视频信号显现源自本地的图像,而该第三视频信号显现源自远程的图像。因此,本地终端的屏幕上会显像本地拍摄画面以及通过网络传递的远程拍摄画面。同样地,远距终端的屏幕上亦会产生两个信号的视频画面。相较于先前技术,本发明通过将单一原始视频信号做两路分流的方式,并于图像撷取装置中预先对视频信号进行压縮及加密的操作,解决目前种种频宽限制,以达到传递视频会议画面时,确保达到每秒30张HD(1280*720)分辨率图像的流畅性。如此一来,个人计算机或笔记本型计算机执行实时图片传递时,其负载利用率不致于过载而发生当机现象或画面的不顺畅情况。通过本发明的图像撷取装置及交流方法,可让计算机设备维持在额定的负载利用率内,并有效降低画面延迟时间。通过以上较佳具体实施例的详述,是希望能更加清楚描述本发明的特征与精神,而并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制。相反地,其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的权利要求范围的范畴内。10权利要求一种适用于视频会议的图像撷取装置,该视频会议通过网络建立于本地终端与远距终端之间,该图像撷取装置包含处理器,用以处理原始视频信号以产生第一视频信号及第二视频信号;视频压缩器,耦接至该处理器,用以接收并压缩该第一视频信号;加密元件,耦接至该视频压缩器,用以对该压缩的第一视频信号加密;以及数据传输接口,耦接至该加密元件及该处理器,用以将该压缩且加密的该第一视频信号及该第二视频信号传输至该本地终端;其中该第一视频信号是通过该本地终端并通过该网络传输至该远距终端并通过该远距终端回复,而该第二视频信号是呈现于该本地终端上。2.根据权利要求l所述的图像撷取装置,进一步包含冗余数据产生器,用以产生冗余数据;以及多工器,耦接于该加密元件及该数据传输接口之间并耦接该冗余数据产生器,用以将该冗余数据及该第一视频信号混合后输出至该数据传输接口。3.根据权利要求1所述的图像撷取装置,进一步包含第一縮放器,耦接于该处理器及该视频压縮器之间,用以縮放该第一视频信号。4.根据权利要求3所述的图像撷取装置,进一步包含方块扫描元件,耦接于该第一縮放器及该视频压縮器之间。5.根据权利要求l所述的图像撷取装置,进一步包含第二縮放器,耦接于该处理器及该数据传输接口之间,周以縮放该第二视频信号。6.根据权利要求l所述的图像撷取装置,进一步包含画面缓冲器,耦接至该视频压縮器。7.根据权利要求1所述的图像撷取装置,其中该数据传输接口是通用串行总线接口。8.根据权利要求7所述的图像撷取装置,其中该通用串行总线接口包含第一视频流桥接器及第二视频流桥接器,该第一视频流桥接器耦接至该加密元件,而该第二视频流桥接器耦接至该处理器。9.根据权利要求1所述的图像撷取装置,其中该视频压縮器符合MPEG-4或H.264格式。10.—种适用于视频会议的图像交流方法,该视频会议通过网络建立于本地终端与远距终端之间,该方法包含下列步骤提供原始视频信号;处理该原始视频信号以产生第一视频信号及第二视频信号;接收并压縮该第一视频信号;对该压縮的第一视频信号加密;将该压縮且加密的第一视频信号及该第二视频信号传输至该本地终端;将该第二视频信号呈现于该本地终端上;以及通过该本地终端,通过该网络将该第一视频信号传输至该远距终端,其中该第一视频信号通过该远距终端回复。11.根据权利要求10所述的方法,进一步包含下列步骤产生冗余数据;以及将该冗余数据及该压縮且加密的第一视频信号混合。12.根据权利要求IO所述的方法,其中于压縮该第一视频信号之前,该方法进一步包含下列步骤縮放该第一视频信号。13.根据权利要求12所述的方法,其中于縮放该第一视频信号之后,该方法进一步包含下列步骤对该第一视频信号进行方块扫描程序。14.根据权利要求IO所述的方法,其中于将该第二视频信号传输至该本地终端之前,该方法进一步包含下列步骤縮放该第二视频信号。15.根据权利要求IO所述的方法,进一步包含下列步骤于该本地终端,接收来自该远距终端的压縮的第三视频信号;以及对该第三视频信号解压縮并将解压縮的该第三视频信号呈现于该本地终端上。16.根据权利要求15所述的方法,其中该第二视频信号呈现于该本地终端的显示屏幕的第一区域上,而解压縮的该第三视频信号呈现于该屏幕的第二区域上,该第二视频信号显现源自本地的图像,而该第三视频信号显现源自远程的图像。17.根据权利要求10所述的方法,其中压縮该第一视频信号的步骤采用MPEG-4或H.264格式。全文摘要本发明提供一种适用于视频会议的图像撷取装置及图像交流方法。视频会议通过网络建立于本地终端与远距终端之间。该图像撷取装置包含处理器、视频压缩器、加密元件与数据传输接口。处理器处理原始视频信号产生第一视频信号及第二视频信号。视频压缩器接收并压缩该第一视频信号。加密元件对压缩的第一视频信号加密。数据传输接口将压缩且加密的第一视频信号及第二视频信号传输至本地终端。其中,第一视频信号通过本地终端及网络传输至远距终端并通过远距终端回复,而第二视频信号呈现于本地终端。文档编号H04N7/26GK101778293SQ20091000203公开日2010年7月14日申请日期2009年1月8日优先权日2009年1月8日发明者王俊乔,赵维民申请人:广达电脑股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1