信息处理装置和方法以及非暂态计算机可读介质与流程

文档序号:18329889发布日期:2019-08-03 12:00阅读:164来源:国知局
信息处理装置和方法以及非暂态计算机可读介质与流程

本公开内容涉及信息处理装置、信息处理方法和非暂态计算机可读介质。



背景技术:

近年来,广泛使用超文本传输协议(http)以传输内容和与内容压缩编码有关的mp4。http不仅能够下载因特网上的内容而且能够对其进行流送。http流送也用在例如“dlna指南”(2006)和“开放式iptv论坛”(2009)的网络媒体标准中。而且,mp4(iso/iec-14496-12,14)不仅可以用作存储格式,而且可以用作用于例如下载和流送的传送格式。

关于流送,已知下面的非专利文献中所描述的自适应比特率流送(abs)技术。abs技术是下述技术:在所述技术中,将具有以不同比特率表示的相同内容的多条编码数据存储在内容服务器中,使得客户端根据网络频带来选择多条编码数据中的任一编码数据并且再现该编码数据。

在正常流送的情况下,当网络频带变得低于比特率时,数据供给变得不能赶上消耗,并且客户端侧的缓冲数据被耗尽。结果,客户端不能继续进行再现。相比之下,在abs技术中,当频带变窄时,再现数据被转换至低比特率的编码数据。因此,可以抑制在再现期间的中断。

在该abs技术的领域中,从客户端侧远程控制网络照相机的技术已经在下面所述的非专利文献2中被提出。另外,关于abs技术的领域,已经提出了在非专利文献3中描述的下述技术:在参数被添加在服务器侧并且该参数由客户端存储时,该技术执行恰当地改变充当分配目的地的服务器的重定向。

引文列表

非专利文献

非专利文献1:mpeg-dash(dynamicadaptivestreamingoverhttp)(url:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

非专利文献2:m28017dash:device/serverspecificrepresentationinmpd(ce-urlparam),mpeg#103,geneva,2013

非专利文献3:m28354coreexperimentonparametersinsertioninmediasegmenturl,mpeg#103,geneva,2013



技术实现要素:

技术问题

当将abs技术用在客户端对装置进行远程控制的应用中如用在对网络相机的远程控制中时,元信息中描述的信息的量随着控制变得更加详细而变得更大。当元信息中描述的信息的量变得较大时,元信息的可维护性相应地下降。

因此,本公开内容提供了一种新颖且改进的信息处理装置、内容请求方法和计算机程序,其中,在客户端使用abs技术对装置进行远程控制时,能够通过避免元信息的量的增加来进行维护。

问题的解决方案

为了提供下述的信息处理装置:在当通过使用abs技术从客户端对设备进行远程控制时、能够在避免元信息的膨胀的情况下执行对该信息处理装置的维护,提供了一种信息处理装置,包括:存储单元,其存储用于向各条访问信息添加参数的预定定义,该访问信息用于对构成编码数据的多个子段中的各个子段进行访问,编码数据通过使用不同比特率对相同内容进行编码来获得,或者该访问信息用于访问mpd中描述的通过向服务器提出请求而获得的任意各个要素;以及通信单元,其基于由存储单元存储的预定定义来指定参数,从而访问由访问信息定义的地址,其中,由访问信息定义的地址是用于对获得内容的图像的装置进行控制的地址。

根据本公开内容,提供了一种信息处理装置,包括:存储单元,所述存储单元被配置成存储用于向访问信息添加参数的预定定义,所述访问信息用于访问构成每条编码数据的多个子段中的每个子段,或者用于访问mpd中描述的要通过向服务器的请求来获取的每个要素,所述每条编码数据通过以不同比特率对相同内容进行编码来获得;以及通信单元,所述通信单元被配置成通过基于所述存储单元中存储的所述预定定义指定参数而访问在所述访问信息中定义的地址,其中,在所述访问信息中定义的所述地址是用于控制对所述内容进行成像的装置的地址。

根据本公开内容,提供了一种内容请求方法,包括:存储用于向访问信息添加参数的预定定义,所述访问信息用于访问构成每条编码数据的多个子段中的每个子段,或用于访问mpd中描述的要通过向服务器的请求来获取的每个要素,所述每条编码数据通过以不同比特率对相同内容进行编码来获得;以及基于所存储的所述预定定义来指定参数,并且访问在所述访问信息中定义的地址,其中,在所述访问信息中定义的所述地址是用于控制对所述内容进行成像的装置的地址。

根据本公开内容,提供了一种计算机程序,所述计算机程序使计算机执行以下操作:存储用于向访问信息添加参数的预定定义,所述访问信息用于访问构成每条编码数据的多个子段中的每个子段,或用于访问mpd中描述的要通过向服务器的请求来获取的每个要素,所述每条编码数据通过以不同比特率对相同内容进行编码来获得;以及基于存储单元中存储的所述预定定义来指定参数并且访问在所述访问信息中定义的地址,其中,在所述访问信息中定义的所述地址是用于控制对所述内容进行成像的装置的地址。

根据本公开内容,提供了一种信息处理装置,包括:电路系统,被配置成:向客户端装置传送媒体呈现描述mpd,mpd包括用于访问参数描述的属性信息,其中参数描述具有使得客户端装置能够描述期望从信息处理装置获取的内容的片段;从客户端装置接收由客户端装置基于参数描述生成的、根据通用资源定位符url的对片段的请求,url包括由客户端装置描述的参数;以及基于请求向客户端装置传送片段。

根据本公开内容,提供了一种信息处理方法,经由至少一个处理器实现,方法包括如下步骤:从服务器向客户端装置传送媒体呈现描述mpd,mpd包括用于访问参数描述的属性信息,其中参数描述具有使得客户端装置能够描述期望从服务器获取的内容的片段;由服务器从客户端装置接收由客户端装置基于参数描述生成的、根据通用资源定位符url的对片段的请求,url包括由客户端装置描述的参数;以及基于请求从服务器向客户端装置传送片段。

根据本公开内容,提供了一种非暂态计算机可读介质,其上存储有程序,程序在被计算机执行时使得计算机执行如下方法,方法包括:从服务器向客户端装置传送媒体呈现描述mpd,mpd包括用于访问参数描述的属性信息,其中参数描述具有使得客户端装置能够描述期望从服务器获取的内容的片段;由服务器从客户端装置接收由客户端装置基于参数描述生成的、根据通用资源定位符url的对片段的请求,url包括由客户端装置描述的参数;以及基于请求从服务器向客户端装置传送片段。

本发明的有益效果

根据上述的本公开内容,能够提供一种新颖且改进的信息处理装置、内容请求方法和计算机程序,其中,在客户端使用abs技术对装置进行远程控制时,能够通过避免元信息的量的增加来进行维护。

附图说明

[图1]图1为示出根据本公开内容的实施方式的内容再现系统的配置的描述图;

[图2]图2为示出根据本实施方式的内容再现系统中的数据流的描述图;

[图3]图3为示出mpd的具体示例的描述图;

[图4]图4为示出根据本实施方式的内容服务器10的配置的功能框图;

[图5]图5为示出根据本实施方式的内容再现装置20的配置的功能框图;

[图6]图6为示出根据本实施方式的内容服务器13的配置的功能框图;

[图7]图7为示出参数描述的内容的描述图;

[图8]图8为示出参数描述的内容的描述图;

[图9]图9为示出引用参数描述的mpd的示例的描述图;

[图10a]图10a为示出根据本公开内容的实施方式的内容再现系统的操作示例的顺序图;

[图10b]图10b为示出根据本公开内容的实施方式的内容再现系统的操作示例的顺序图;

[图11]图11为示出计算机的硬件配置的示例的框图;

[图12]图12为示出多视图图像编码方案的示例的图;

[图13]图13为示出本公开内容所应用于的多视图图像编码装置的配置的示例的图;

[图14]图14为示出本公开内容所应用于的多视图图像解码装置的配置的示例的图;

[图15]图15为示出分层图像编码方案的示例的图;

[图16]图16为用于描述空间可伸缩编码的示例的图;

[图17]图17为用于描述时间可伸缩编码的示例的图;

[图18]图18为用于描述信噪比的可伸缩编码的示例的图;

[图19]图19为示出本公开内容所应用于的分层图像编码装置的配置的示例的图;

[图20]图20为示出本公开内容所应用于的分层图像解码装置的配置的示例的图;

[图21]图21为示出本公开内容所应用于的电视装置的示意性配置的示例的图;

[图22]图22为示出本公开内容所应用于的移动电话的示意性配置的示例的图;

[图23]图23为示出本公开内容所应用于的记录和再现装置的示意性配置的示例的图;

[图24]图24为示出本公开内容所应用于的成像装置的示意性配置的示例的图;

[图25]图25为示出可伸缩编码的使用的示例的框图;

[图26]图26为示出可伸缩编码的使用的另一示例的框图;

[图27]图27为示出可伸缩编码的使用的又一示例的框图;

[图28]图28示出本公开内容所应用于的视频设备的示意性配置的示例;以及

[图29]图29示出本公开内容所应用于的视频处理器的示意性配置的示例。

具体实施方式

在下文中,将参照附图来详细描述本公开内容的优选实施方式。注意,在该说明书和附图中,用相同的附图标记表示具有基本相同的功能和结构的要素,并且省略了重复说明。

而且,在该说明书和附图中,可以通过在相同的附图标记之后提供不同的字母来对具有基本相同的功能和结构的多个要素进行区分。例如,如果必要,将具有基本相同的功能和结构或者逻辑意义的多个要素区分为内容再现装置20a、20b和20c。然而,在不必要对具有基本相同的功能和结构的多个要素中的每一者进行区分时,则仅提供相同的附图标记。例如,在不必要特别地对内容再现装置20a、20b和20c进行区分时,则将内容再现装置简称为内容再现装置20。

此外,将按照下面所述的条目顺序对本公开内容进行描述。

<1.内容再现系统的概述>

<2.内容服务器10的配置>

<3.内容再现装置20的配置>

<4.内容服务器13的配置>

<5.mpd的配置>

<6.结论>

<1.内容再现系统的概述>

首先,将参照图1至图3来示意性地描述根据本公开内容的实施方式的内容再现系统。

在下文中,将参照图1和图2来首先描述每个实施方式中公共的基本配置。

图1为示出根据本公开内容的实施方式的内容再现系统的配置的描述图。如图1所示,根据本公开内容的实施方式的内容再现系统包括:内容服务器10和内容服务器13;网络相机11;网络12;以及内容再现装置20(客户端装置)。

内容服务器10和内容再现装置20通过网络12相连。网络12为从连接至网络12的装置所传送的信息的有线或无线传送路径。

例如,网络12可以包括例如:例如因特网、电话网络和卫星通信网络的公共网络;包括以太网(注册商标)的各种局域网(lan);以及广域网(wan)。而且,网络12可以包括专用网络,例如互联网协议虚拟专用网络(ip-vpn)。

内容服务器10对内容数据进行编码,并且生成和存储包括编码数据和编码数据的元信息的数据文件。注意,在内容服务器10生成mp4格式数据文件时,编码数据对应于“mdat”,并且元信息对应于“moov”。

而且,内容数据可以为例如:例如音乐、演讲和无线电节目的音乐数据;例如电影、电视节目、视频节目、图片、文档、图画、图表、游戏和软件的图像数据。另外,内容数据可以是由网络相机11所拍摄的视频。内容服务器10可以根据来自内容再现装置20的请求来控制网络相机11。

在此,根据本实施方式的内容服务器10关于相同内容而生成不同比特率的多个数据文件。另外,根据本实施方式的内容服务器13响应于来自内容再现装置20的用于对内容进行再现的请求而将内容服务器10的url信息传送至内容再现装置20,所述内容服务器10的url信息包括要由内容再现装置20添加至url的参数的信息。在下文中,将参照图2来具体描述该主题。

图2为示出根据本实施方式的内容再现系统中的数据流的描述图。内容服务器10以不同比特率对相同内容数据进行编码,并且生成如图2所示的2mbps的文件a、1.5mbps的文件b和1mbps的文件c。相对地,文件a具有高比特率,文件b具有标准比特率,并且文件c具有低比特率。

而且,如图2所示,每个文件的编码数据被划分成多个片段。例如,文件a的编码数据被划分成片段“a1”、“a2”、“a3”、......和“an”。文件b的编码数据被划分成片段“b1”、“b2”、“b3”、......和“bn”。文件c的编码数据被划分成片段“c1”、“c2”、“c3”、......和“cn”。

注意,每个片段可以由以mp4同步样本(avc/h.264视频编码中的idr图片)开始的一条或两条或更多条视频编码数据和声音编码数据的配置样本构成并且可以被独立地再现。例如,在将每秒30帧的视频数据编码成具有15帧的固定长度的图片组(gop)时,每个片段可以是与4个gop相对应的两秒视频和声音编码数据,或者与20个gop相对应的10秒视频和声音编码数据。

而且,在每个文件中,通过具有相同布置顺序的片段的再现范围(从内容的头部开始的时间位置的范围)是相同的。例如,片段“a2”、片段“b2”和片段“c2”的再现范围相同,并且在每个片段为两秒编码数据时,片段“a2”、片段“b2”和片段“c2”中的任一片段的再现范围为两秒至四秒的内容。

内容服务器10生成由这样的多个片段构成的文件a至文件c,并且存储文件a至文件c。然后,如图2所示,内容服务器10将构成不同文件的片段顺序地传送至内容再现装置20,并且内容再现装置20对所接收的片段进行流送再现。

在此,根据本实施方式的内容服务器10将包括每个编码数据的比特率信息和访问信息的播放列表文件(在下文中,称为媒体呈现描述(mpd))传送至内容再现装置20。基于mpd,内容再现装置20选择多个比特率中的任意的比特率,并且请求内容服务器10传送与所选比特率相对应的片段。

虽然在图1中示出了仅一个内容服务器10,但是不用说的是,本公开内容不限于此。

图3为示出mpd的具体示例的描述图。如图3所示,mpd包括与具有不同比特率(带宽)的多个编码数据有关的访问信息。例如,图3所示的mpd指示256kbps、1.024mbps、1.384mbps、1.536mbps和2.048mbps的编码数据的存在,并且包括与每个编码数据有关的访问信息。内容再现装置20可以基于这样的mpd来动态改变要进行流送再现的编码数据的比特率。

注意,虽然图1示出了移动终端作为内容再现装置20的示例,但是内容再现装置20并不限于这样的示例。例如,内容再现装置20可以为例如下述的信息处理装置:个人计算机(pc);家庭图像处理器(dvd刻录机和录放机等);个人数字助理(pda);家庭游戏机;以及家用电器。而且,内容再现装置20可以为例如下述的信息处理装置:蜂窝电话;个人手持电话系统(phs);便携式音乐再现装置;便携式图像处理器;以及便携式游戏机。

<2.内容服务器10的配置>

在上文中,已经参照图1至图3描述了根据本公开内容的实施方式的内容再现系统的概述。随后,将参照图4来描述根据本实施方式的内容服务器10的配置。

图4为示出根据本实施方式的内容服务器10的配置的功能框图。如图4所示,根据本实施方式的内容服务器10包括文件生成单元120、存储单元130和通信单元140。

文件生成单元120包括对内容数据进行编码的编码器122,并且生成具有以不同比特率的相同内容的多条编码数据和上述mpd。例如,在生成256kbps、1.024mbps、1.384mbps、1.536mbps和2.048mbps的编码数据时,文件生成单元120生成图3所示的mpd。

存储单元130存储由文件生成单元120生成的不同比特率的多条编码数据和mpd。存储单元130可以是例如下述的存储介质:非易失性存储器;磁盘;光盘;以及磁光(mo)盘。非易失性存储器由例如电可擦可编程只读存储器(eeprom)和可擦可编程只读存储器(eprom)进行例示。此外,磁盘由例如硬盘和盘形磁性体盘进行例示。此外,光盘由例如致密盘(cd)、数字多功能可刻录盘(dvd-r)和蓝光盘(bd)(注册商标)进行例示。

通信单元140是与内容再现装置20的接口,并且通过网络12执行与内容再现装置20的通信。更具体而言,通信单元140具有作为根据http来执行与内容再现装置20的通信的http服务器的功能。例如,通信单元140根据http将mpd传送至内容再现装置20,从存储单元130中提取由内容再现装置20基于mpd所请求的编码数据,并且将编码数据作为http响应传送至内容再现装置20。

<3.内容再现装置20的配置>

在上文中,已经描述了根据本实施方式的内容服务器10的配置。随后,将参照图5来描述根据本实施方式的内容再现装置20的配置。

图5为示出根据本实施方式的内容再现装置20的配置的功能框图。如图5所示,根据本实施方式的内容再现装置20包括通信单元220、存储单元230、再现单元240和选择单元250。

通信单元220(通信单元)是与内容服务器10的接口,从内容服务器10请求数据并且从内容服务器10获取数据。更具体而言,通信单元220具有作为根据http执行与内容再现装置20的通信的http客户端的功能。例如,通信单元220使用http范围,因此可以从内容服务器10中选择性地获取mpd或编码数据的片段。

存储单元230存储与内容的再现有关的各种类型的信息。例如,存储单元230对由通信单元220从内容服务器10获取的片段按顺序进行缓冲。以先进先出(fifo)的方式将由存储单元230缓冲的编码数据的片段按顺序提供至再现单元240。

另外,存储单元230保留定义信息,该定义信息用于通过以方向或放大率来指示网络相机11而获取由网络相机11拍摄的视频。将在下面详细描述由存储单元230保持的定义信息。

再现单元240使从存储单元230提供的片段按顺序再现。具体地,再现单元240对片段执行例如解码、d-a转换和呈现。

选择单元250在相同内容中按顺序选择要获取的与包括在mpd中的某些比特率相对应的编码数据的片段。例如,如图2所示,当选择单元250根据网络12的频带按顺序选择片段“a1”、“b2”和“a3”时,通信单元220按顺序从内容服务器10中获取片段“a1”、“b2”和“a3”。

根据本实施方式的内容再现装置20控制网络相机11以从内容服务器10获取由网络相机11从指定的方向或以指定的放大率拍摄的视频。然后,内容再现装置20在控制网络相机11时使用在非专利文献1中公开的abs技术。

<4.内容服务器13的配置>

图6为示出内容服务器13的配置的示例的描述图。如图6所示,根据本实施方式的内容服务器13具有存储单元310和通信单元320。

存储单元310存储mpd的url的信息。响应于来自内容再现装置20的用于对内容进行再现的请求,将mpd的url的信息从内容服务器13传送至内容再现装置20。另外,在向内容再现装置20提供mpd的url的信息时,存储单元310存储用于由内容再现装置20向mpd中描述的url添加参数的定义信息。

通信单元320是用于经由网络12与内容再现装置20通信的与内容再现装置20的接口。换言之,通信单元320从请求对内容进行再现的内容再现装置20接收对于mpd的url的信息的请求,并且将mpd的url的信息传送至内容再现装置20。从通信单元320传送的mpd的url包括用于由内容再现装置20来添加参数的信息。

要由内容再现装置20添加至mpd的url的参数可以用由内容服务器13和内容再现装置20共享的定义信息以各种方式进行设置。作为示例,内容再现装置20可以向mpd的url添加例如下述的信息:内容再现装置20的当前位置、使用内容再现装置20的用户的用户id、内容再现装置20的存储器大小和内容再现装置20的存储装置的容量等。

<4.mpd的配置>

接着,将描述根据本实施方式的mpd的配置。为了从客户端控制网络相机,上述非专利文献2提出了在要素“segmenttemplate”——其内容公开在上述非专利文献1的5.3.9.4.2章节中——中指定摇摄角度属性“pan_range”、倾斜角度属性“tilt_range”以及变焦放大率属性“zoom_range”的方法。

然而,当如上在mpd中指定这样的参数时,mpd的内容的量随着对网络相机的控制变得较详细而变得较大。当mpd中描述的信息量变得较大时,mpd的可维护性相应地下降。

因此,在本实施方式中,代替向要素“segmenttemplate”——其内容公开在上述非专利文献1的5.3.9.4.2部分中——添加属性“pan_range”、“tilt_range”和“zoom_range”,仅添加属性“pd”。属性“pd”是以下的属性:所述属性用于指定用于控制网络相机11的定义信息的一个或更多个url。由要素“segmenttemplate”的属性“pd”指定的定义信息又被称为参数描述。参数描述可以用例如网络应用描述语言(wadl,http://www.w3.org/submission/wadl/)、网络服务描述语言(wsdl,http://www.ibm.com/developerworks/webservices/library/ws-restwsdl/)或者另外的网络api描述语言进行描述。定义信息可以存储在存储单元310或存储单元230中。当参数描述存储在存储单元310和存储单元230二者中时,应当假设存储单元的内容是同步的,即,两个存储单元的内容保持相同。

下面将描述下述示例:在该示例中,用于获取由网络相机11拍摄的视频的url在mpd中被描述为“http://cdn1.example.com/camera1/”,在mpd的标签<adaptationset>的要素“essentialproperty”中被指定为“schemeiduri=’urn:panangledef’”,并且在要素“segmenttemplate”的属性“pd”中作为参数描述被指定为“urn:panangledef”。

图7为示出作为上面提及的参数描述的“urn:panangledef”的内容的描述图。该参数描述是用于指定网络相机11的摇摄角度的定义信息。

标签<resource>是用于指定由网络相机11拍摄的视频的位置的标签,并且所述位置在要素“path”中进行描述。其在图6的示例中被描述为“pan-{degree}”。通过将值设置至“degree”并且向内容服务器10提出请求,内容再现装置20可以指定网络相机11的摇摄角度。

在由标签<param>所包括的部分中,描述了参数描述的定义的内容。

要素“name”给出了用于从内容再现装置20控制网络相机11的参数的标题。在图7的示例的要素“name”中,指定了用于指定网络相机11的摇摄角度的参数“degree”。

要素“required”规定对查询参数的描述在内容再现装置20中是否是必要的。在图7的示例中,在要素“required”中指定“true”,这指示对该参数的描述是必要的。

要素“style”给出要由内容再现装置20添加至mpd的url的参数的形式。参数的形式包括查询参数和模板等。在图7所示的示例中,在要素“style”中指定“template”,这指示参数由内容再现装置20以模板的形式来描述。

在由标签<doc>所包括的部分中,描述了与参数描述有关的信息。图7的参数描述是与参数“degree”有关的细节,这指示了对摇摄角度的最大值、最小值和增量值的指定。

内容再现装置20基于图7所示的内容来添加参数。例如,在请求从摇摄角度为40度的方向拍摄的视频时,内容再现装置20将url指定为“http://cdn1.example.com/camera1/pan-40”并且从通信单元220访问url。内容服务器10可以基于来自内容再现装置20的请求将网络相机11的摇摄角度指定为40度,并且将由网络相机11拍摄的视频传送至内容再现装置20。

将介绍另一示例。下面将描述下述示例,在该示例中,用于获取由网络相机11拍摄的视频的url在mpd中被描述为“http://cdn1.example.com/camera1/”,在mpd的标签<adaptationset>的要素“essentialproperty”中被指定为“schemeiduri=’urn:zoomscaledef’”,并且在要素“segmenttemplate”的属性“pd”中作为参数描述被指定为“urn:zoomscaledef”。

图8为示出作为上面提及的参数描述的“urn:zoomscaledef”的内容的描述图。该参数描述是用于指定网络相机11的变焦放大率的定义信息。

例如,在请求具有3倍的变焦放大率的视频时,内容再现装置20将url指定为“http://cdn1.example.com/camera1/zoom-3”并且从通信单元220访问url。内容服务器10可以基于来自内容再现装置20的请求将网络相机11的变焦放大率指定为3倍,并且将由网络相机11拍摄的视频传送至内容再现装置20。

图9为示出被配置成引用上述参数描述的mpd的示例的描述图。上述非专利文献3提出:引入要素“parameter”;对于要素“parameter”的id属性来指定要用作模板的参数的名称(图9的示例中的“angle”);以及对于属性“descriptorid”来引用“essentialproperty”(指定要在目标mpd中支持的描述符的要素)。然而,非专利文献2未提出下一定义。

在此,使用上述参数描述的下一定义为图9所示的mpd。要素“schemeiduri”中指定的“urn:panangledef”是图7所示的参数描述。通过定义如上所述的mpd,内容再现装置20可以访问地址“http://cdn1.example.com/camera1/pan-40”并且获取内容。通过在参数描述中使用标准描述方案,可以使用现有的标准框架,因此添加例如url签名的功能变得容易。

将更详细地描述上述的一系列过程。图10a和图10b为详细示出上述一系列处理的顺序图。图10a和图10b中的顺序图示出以下操作:在该操作中,将mpd的url的信息从内容服务器13传送至内容再现装置20并且内容再现装置20基于mpd的url从网络相机11获取内容以对由网络相机11拍摄的视频进行再现。

在内容再现装置20试图使用再现单元240来对内容进行再现时,内容再现装置20首先从内容服务器11获取mpd的url(步骤s101)。步骤s101的获取由例如再现单元240通过通信单元220来执行。在从内容服务器13获取mpd的url之后,内容再现装置20确定其是否为包含对url参数的引用的mpd(步骤s102)。步骤s102的该确定可以由再现单元240执行。包含对url参数的引用的mpd指代包括例如图9所示的“urn:panangledef”的参数的mpd。

当在步骤s102中确定在步骤s101中获取的mpd的url并非包含对url参数的引用的mpd时,内容再现装置20根据http从内容服务器13请求mpd的url(步骤s103)。步骤s103的请求由例如再现单元240使用通信单元220来执行。例如,当内容再现装置20在上述示例中仅获取url“http://a.com/x.mpd”时,内容再现装置20以http请求的形式从内容服务器13请求“http://a.com/x.mpd”。

已经从内容再现装置20接收到对于mpd的url的请求的内容服务器13判定服务器期望从内容再现装置20获取的状态信息例如上述示例中的网络相机11的角度信息,并且使用存储单元310来查询对应的参数描述(步骤s104)。存储单元310以对应参数描述的uri进行响应(步骤s105)。在将该处理应用于上述示例之后,存储单元310根据来自内容服务器10的查询以uri“urn:panangledef”进行回复。

已经从存储单元310接收到响应的内容服务器10将参数描述的uri(urn:panangledef)容纳在mpd中。另外,内容服务器10通过添加要素“segmenttemplate”的属性“pd”(例如,假定其为y.mpd)来更新mpd,并且根据http-响应-重定向(http-response-redirect)用指示更新后的mpd的mpd的url(http://a.com/y.mpd)来对内容再现装置20进行响应(步骤s106)。

已经从内容服务器13接收到响应的内容再现装置20根据http来从内容服务器10请求更新后的mpd的url(步骤s107)。根据上述示例,内容再现装置20以http请求的形式从内容服务器10请求mpd的url“http://a.com/y.mpd”。

已经从内容再现装置20接收到请求的内容服务器10用mpd的主体对内容再现装置20进行响应(步骤s108)。

在从内容服务器10传输mpd的主体时(或者,通过步骤s102的确定而发现是mpd包含对步骤s101中获取的url参数的引用),已经将mpd的主体从内容服务器10传输至其的该内容再现装置20对所传输的mpd进行解读(步骤s109)。步骤s109的对mpd的解读可以由例如再现单元240执行。内容再现装置20对从内容服务器10传送的mpd进行解读并且将“adaptationset”或“representation/subrepresentation”判定为再现目标。

当通过对mpd的解读将“adaptationset”或“representation/subrepresentation”判定为再现目标时,内容再现装置20关于再现目标来执行检测处理(步骤s110)。步骤s110的检测处理由例如再现单元240执行。具体地,内容再现装置20对下述进行检测:“adaptationset”或“representation/subrepresentation”是否具有“essentialproperty”;“essentialproperty”是否被指定有属性“schemeiduri”的值(例如,urn:panangledef);以及对要针对在属性“schemeiduri”中指定的uri而引用的参数描述的解读对再现过程是否必要。另外,内容再现装置20检测uri是否已经变为表示url参数的插入的uri。

在对再现目标执行检测处理时,内容再现装置20然后存储uri(步骤s111)。具体地,内容再现装置20存储在要素“segmenttemplate”的属性“pd”中指定的uri(urn:panangledef)。对uri的该存储处理由例如再现单元240执行。

在步骤s111中存储uri之后,内容再现装置20使用由url参数指定的uri(例如,urn:panangledef)在存储单元310中查询参数描述(步骤s112)。步骤s112的查询过程由例如再现单元240通过通信单元220来执行。存储单元310用以例如wadl描述的对应参数描述的主体对内容再现装置20进行响应(步骤s113)。

在从存储单元310获取参数描述的主体时,内容再现装置20判定参数配置方法并且获取要存储在参数中的内容(步骤s114)。步骤s114的处理可以由例如再现单元240执行。例如,当将网络相机11的角度的参数存储在参数中时,内容再现装置20通过与用户等的对话过程将网络相机11的角度的值存储在参数中。

在获取参数中存储的内容时,内容再现装置20生成已经将参数添加至其的片段的url,并且根据http从内容服务器10请求片段(步骤s115)。具体地,内容再现装置20生成已经根据要素“segmenttemplate”的属性“media”中描述的规则将url参数添加至其的片段的url。例如,如果存在将参数插入到例如作为由图9中的符号“$”围绕的“angle”的部分“substitutionparameter”中的规则,则内容再现装置20生成已经根据该规则将参数添加至其的片段的url。根据步骤s115的处理,内容再现装置20生成片段的url“http://cdn1.example.com/camera1/pan-40”。

已经从内容再现装置20接收到请求的内容服务器10对url参数进行解读并且用最优片段的主体对内容再现装置20进行响应(步骤s116)。内容再现装置20再现从内容服务器10接收到的片段(步骤s117)。

通过用内容服务器10执行上述的一系列处理,内容再现装置20将参数添加至mpd中描述的url,访问地址“http://cdn1.example.com/camera1/pan-40”以获取由面向40度角度方向的网络相机11拍摄的视频,从而可以再现所获取的视频。

<第一实施方式>

(对本公开内容所应用于的计算机的描述)

上述一系列过程可以由硬件或软件来执行。当一系列过程由软件执行时,将构成软件的程序安装在计算机中。在此,计算机包括并入专用硬件的计算机,和例如可以通过安装各种程序来执行各种功能的通用个人计算机等。

图11为示出使用程序执行上述一系列处理的计算机的硬件配置的示例的框图。

在计算机中,中央处理单元(cpu)201、只读存储器(rom)202和随机存取存储器(ram)203通过总线204彼此相连。

总线204还与输入和输出接口205相连。输入和输出接口205与输入单元206、输出单元207、存储单元208、通信单元209和驱动器210相连。

输入单元206包括键盘、鼠标、麦克风等。输出单元207包括显示器、扬声器等。存储单元208包括硬盘、非易失性存储器等。通信单元209包括网络接口等。驱动器210对例如磁盘、光盘、磁光盘或半导体存储器的可移除介质211进行驱动。

在cpu201通过输入和输出接口205和总线204将例如存储单元208中存储的程序加载到ram203中以用于执行时,在如上所述进行配置的计算机中执行上述一系列处理。

由计算机(cpu201)执行的程序可以通过将其记录在充当例如程序包介质等的可移除介质211上来提供。另外,程序可以经由例如局域网、因特网或数字卫星广播的有线或无线传送介质来提供。

可以通过在驱动器210中加载可移除介质211、使用输入和输出接口205将程序安装在计算机的存储单元208中。另外,可以通过通信单元209接收程序并且经由有线或无线传送介质将程序安装在存储单元208中。此外,可以预先将程序安装在rom202或存储单元208中。

注意,由计算机执行的程序可以是按照本说明书描述的次序以时序方式执行处理的程序,或者由计算机执行的程序可以是并行地执行处理或在处理被调用时的必要时刻处执行处理的程序等。

<第二实施方式>

(多视图图像编码/多视图图像解码的应用)

上述一系列处理可以应用于多视图图像编码/多视图图像解码。图12示出多视图图像编码方案的示例。

如图12所示,多视图图像包括具有多个视图的图像。多视图图像的的多个视图包括基本视图和非基本视图,对于基本视图,仅使用基本视图自身的视图的图像而不使用其他视图的图像来执行编码/解码,对于非基本视图,使用其他视图的图像来执行编码/解码。在非基本视图中,可以使用基本视图的图像,并且可以使用其他非基本视图的图像。

使用上面的配置,可以抑制冗余信息的传送并且可以减小要传送的信息的量(编码量)(换言之,可以抑制编码效率的降低)。

(多视图图像编码装置)

图13为示出执行上述多视图图像编码的多视图图像编码装置的图。如图13所示,多视图图像编码装置600具有编码单元601、另一编码单元602和多路复用单元603。

编码单元601对基本视图图像进行编码以生成基本视图图像编码流。编码单元602对非基本视图图像进行编码以生成非基本视图图像编码流。多路复用单元603对由编码单元601生成的基本视图图像编码流和由编码单元602生成的非基本视图图像编码流进行多路复用以生成多视图图像编码流。

编码装置10(图19的)可以应用于多视图图像编码装置600的编码单元601和编码单元602。换言之,在每个视图的编码中,可以改进增强层和分辨率信息的默认映射。另外,一起使用相同的标记或参数(例如,与图像等的处理有关的语法要素),编码单元601和编码单元602可以执行编码(即,可以共享标记或参数),因此可以抑制编码效率的下降。

(多视图图像解码装置)

图14为示出执行上述多视图图像解码的多视图图像解码装置的图。如图14所示,多视图图像解码装置610具有反向多路复用单元611、解码单元612和另一解码单元613。

反向多路复用单元611对多视图图像编码流进行反向多路复用以提取基本视图图像编码流和非基本视图图像编码流,所述多视图图像编码流通过对基本视图图像编码流和非基本视图图像编码流进行多路复用而获得。解码单元612对由反向多路复用单元611提取的基本视图图像编码流进行解码以获得基本视图图像。解码单元613对由反向多路复用单元611提取的非基本视图图像编码流进行解码以获得非基本视图图像。

解码装置110(图25的)可以应用于多视图图像解码装置610的解码单元612和解码单元613。换言之,可以改进增强层和分辨率信息的默认映射。另外,一起使用相同的标记或参数(例如,与图像等的处理有关的语法要素),解码单元612和解码单元613可以执行解码(即,可以共享标记或参数),因此可以抑制编码效率的下降。

<第三实施方式>

(分层图像编码/分层图像解码的应用)

上述一系列处理可以应用于分层图像编码/分层图像解码(可伸缩编码/可伸缩解码)。图15示出分层图像编码方案的示例。

分层图像编码(可伸缩编码)涉及将图像划分成多个层(层次化)并且针对每一层执行编码使得图像数据关于预定参数可以具有可伸缩性。分层图像解码(可伸缩解码)是与分层图像编码相对应的解码。

如图15所示,在对图像进行层次化时,关于引入可伸缩性的预定参数而将一个图像划分成多个图像(层)。换言之,层次化的图像(分层图像)包括具有多个层次(层)的图像,所述多个层次(层)具有不同的预定参数值。分层图像的多个层由基本层和非基本层构成(非基本层中的每一层也被称为增强层),对于基本层,仅使用基本层自身的层的图像而不使用其他层的图像来执行编码/解码,对于非基本层,使用其他层的图像来执行编码/解码。非基本层可以使用基本层的图像,或者使用另一非基本层的图像。

通常,非基本层包括其自身的图像和另一层的图像的差分图像的数据(差分数据),使得冗余被减小。例如,当一个图像已经被划分成基本层和非基本层(也被称为增强层)两个层次时,仅用基本层的数据来获得与原始图像相比具有较低品质的图像,并且通过将基本层的数据和非基本层的数据进行组合来获得原始图像(即,高品质图像)。

通过如上所述对图像进行层次化,可以容易地获得根据情况而具有各种品质水平的图像。例如,可以在不执行转码处理的情况下从服务器传送取决于终端或网络的能力的图像压缩信息,当将仅基本层的图像压缩信息传送至具有低处理能力的终端例如移动电话以再现具有低的空间和时间分辨率或差的图像品质的动态图像时,或者当将除了基本层以外的增强层的图像压缩信息传送至具有高处理能力的终端例如电视机或个人计算机以再现具有高的空间和时间分辨率或高的图像品质的动态图像时。

使用上面的配置,可以抑制冗余信息的传送并且可以减小要传送的信息的量(编码量)(换言之,可以抑制编码效率的降低)。

(可伸缩参数)

在分层图像编码/分层图像解码(可伸缩编码/可伸缩解码)中引入可伸缩性的参数是任意的。例如,可以将图16所示的空间分辨率设置为参数(空间可伸缩性)。在空间可伸缩性中,每一层具有不同的图像分辨率。换言之,在该情况下,将每个图片划分成两个层次,这两个层次包括基本层和增强层,基本层具有比原始图像低的空间分辨率,当如图16所示将增强层与基本层组合时获得原始空间分辨率。层次的数目当然是示例,并且可以将图像划分成任意数目的层次。

另外,作为如上的引入可伸缩性的参数,例如还可以如图17所示来采用(时间可伸缩性)时间分辨率。在时间可伸缩性中,每一层具有不同的帧速率。换言之,在该情况下,将每个图片划分成两个层次,这两个层次包括基本层和增强层,基本层具有比原始动态图像低的帧速率;当如图17所示将增强层与基本层组合时获得原始帧速率。层次的数目当然是示例,并且可以将图像划分成任意数目的层次。

再者,作为如上的引入可伸缩性的另一参数,例如,可以采用(snr可伸缩性)信噪比(snr)。在snr可伸缩性中,每一层具有不同的信噪(sn)比。换言之,在该情况下,将每个图片划分成两个层次,这两个层次包括基本层和增强层,基本层具有比原始图像低的snr,当如图18所示将增强层与基本层组合时获得原始snr。层次的数目当然是示例,并且可以将图像划分成任意数目的层次。

除了上述示例以外,可以采用引入可伸缩性的任意参数。例如,作为引入可伸缩性的参数,还可以使用位深度(位深度可伸缩性)。在该位深度可伸缩性中,每一层具有不同的位深度。在该情况下,例如,基本层由8位图像构成,而通过向其添加增强层,可以获得10位图像。

另外,作为引入可伸缩性的参数,还可以使用(色度可伸缩性)色度格式。在该色度可伸缩性中,每一层具有不同的色度格式。在该情况下,例如,基本层由4:2:0格式的分量图像构成,而通过向其添加增强层,可以获得4:2:2格式的分量图像。

(分层图像编码装置)

图19为示出执行上述分层图像编码的分层图像编码装置的图。如图19所示,分层图像编码装置620具有编码单元621、另一编码单元622和多路复用单元623。

编码单元621对基本层图像进行编码以生成基本层图像编码流。编码单元622对非基本层图像进行编码以生成非基本层图像编码流。多路复用单元623对由编码单元621生成的基本层图像编码流和由编码单元622生成的非基本层图像编码流进行多路复用以生成分层图像编码流。

编码装置10(图19的)可以应用于分层图像编码装置620的编码单元621和编码单元622。换言之,可以改进增强层和分辨率信息的默认映射。另外,一起使用相同的标记或参数(例如,与图像等的处理有关的语法要素),编码单元621和编码单元622可以执行对帧内预测的滤波处理的控制(即,可以共享标记或参数),因此可以抑制编码效率的下降。

(分层图像解码装置)

图20为示出执行上述分层图像解码的分层图像解码装置的图。如图20所示,分层图像解码装置630具有反向多路复用单元631、解码单元632和另一解码单元633。

反向多路复用单元631对分层图像编码流进行反向多路复用以提取基本层图像编码流和非基本层图像编码流,所述分层图像编码流通过对基本层图像编码流和非基本层图像编码流进行多路复用而获得。解码单元632对由反向多路复用单元631提取的基本层图像编码流进行解码以获得基本层图像。解码单元633对由反向多路复用单元631提取的非基本层图像编码流进行解码以获得非基本层图像。

解码装置110(图25的)可以应用于分层图像解码装置630的解码单元632和解码单元633。换言之,可以改进增强层和分辨率信息的默认映射。另外,一起使用相同的标记或参数(例如,与图像等的处理有关的语法要素),解码单元612和解码单元613可以执行解码(即,可以共享标记或参数),因此可以抑制编码效率的下降。

<第四实施方式>

(电视装置的配置的示例)

图21示出本公开内容所应用于的电视装置的示意性配置。电视装置900具有天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。此外,电视装置900具有控制单元910和用户接口单元911等。

调谐器902从由天线901接收的广播信号调谐至期望的通道以执行解调,并且将所获得的编码比特流输出至解复用器903。

解复用器903从编码比特流提取要观看的节目的视频包和音频包,并且将所提取的包的数据输出至解码器904。另外,解复用器903将电子节目指南(epg)的数据包提供至控制单元910。注意,当执行了加扰时,由解复用器等来去掉该加扰。

解码器904对包执行解码处理,并且将从解码处理生成的视频数据和音频数据分别输出至视频信号处理单元905和音频信号处理单元907。

视频信号处理单元905对视频数据执行噪声去除或依据用户设置的视频处理等。视频信号处理单元905生成要在显示单元906上显示的节目的视频数据,或根据通过网络提供的应用为基础的处理而生成图像数据等。另外,视频信号处理单元905生成用于显示例如用于选择项目的菜单屏幕的视频数据,并且将数据叠加在节目的视频数据上。视频信号处理单元905基于如上所述而生成的视频数据来生成驱动信号以对显示单元906进行驱动。

显示单元906基于来自视频信号处理单元905的驱动信号对显示装置(例如,液晶显示元件)进行驱动以显示节目等的视频。

音频信号处理单元907通过以下处理来执行音频输出:对音频数据执行预定处理例如噪声消除,对经过处理的音频数据执行da转换处理或放大处理,并且将数据提供至扬声器908。

外部接口单元909是用于将外部装置与网络相连的接口,并且执行例如视频数据和音频数据的的数据的传送和接收。

控制单元910与用户接口单元911相连。用户接口单元911被配置为操纵开关或远程控制信号接收单元,并且根据用户操作来向控制单元910提供操作信号。

使用中央处理单元(cpu)和存储器等对控制单元910进行配置。存储器存储由cpu执行的程序、cpu执行处理所必需的各种数据、epg数据和通过网络获取的数据等。由cpu在预定时刻例如在电视装置900被打开时读取和执行存储器中存储的程序。通过执行程序,cpu控制相应的单元,使得根据用户操作对电视装置900进行操作。

注意,在电视装置900中,提供了总线912以将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907和外部接口单元909等与控制单元910相连。

如上所述进行配置的电视装置的解码器904设置有本应用的解码装置(解码方法)的功能。为此,在对编码流的解码处理中,可以改进增强层和分辨率信息的默认映射。

<第五实施方式>

(移动电话的配置的示例)

图22示出本公开内容所应用于的移动电话的示意性配置。移动电话920具有通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、记录和再现单元929、显示单元930以及控制单元931。构成元件通过总线933彼此连接。

另外,天线921连接至通信单元922,并且扬声器924和麦克风925连接至音频编解码器923。此外,操作单元932连接至控制单元931。

移动电话920在例如语音呼叫模式和数据通信模式等的各种模式下执行各种操作,例如音频信号的传送和接收、e-mail和图像数据的传送和接收、图像的捕获和数据的记录等。

在语音呼叫模式下,由音频编解码器923将从麦克风925生成的音频信号转换成音频数据或压缩成数据,并且提供至通信单元922。通信单元922对音频数据执行调制处理或频率转换处理等以生成传送信号。再者,通信单元922将传送信号提供至天线921以将信号传送至未示出的基站。另外,通信单元922对以天线921接收的接收信号执行放大或频率转换处理以及解调处理,并且将所获得的音频数据提供至音频编解码器923。音频编解码器923执行对音频数据的解压缩或者将音频数据转换成模拟音频信号并且将数据输出至扬声器924。

另外,当在数据通信模式下执行邮件传送时,控制单元931接收通过操作单元932的操作而输入的字符数据并且将输入的字符显示在显示单元930上。此外,控制单元931基于来自操作单元932的用户指示等生成邮件数据并且将数据提供至通信单元922。通信单元922对邮件数据执行调制处理或频率转换处理,并且对来自天线921的所获得的传送信号进行传送。另外,通信单元922对以天线921接收的接收信号执行放大或频率转换处理和解调处理以恢复邮件数据。该邮件数据被提供至显示单元930并且显示邮件的内容。

注意,移动电话920还可以使用记录和再现单元929来使所接收的邮件数据存储在存储介质中。存储介质是任意可重写的存储介质。例如,存储介质为:半导体存储器,例如ram或内置闪速存储器;或者可移除介质,例如硬盘、磁盘、磁光盘、光盘、通用串行总线(usb)存储器或存储卡。

当在数据通信模式下传送图像数据时,由相机单元926生成的图像数据被提供至图像处理单元927。图像处理单元927对图像数据执行编码处理以生成编码数据。

解复用单元928在预定方案中对由图像处理单元927生成的编码数据和从音频编解码器923提供的音频数据进行多路复用,并且将数据提供至通信单元922。通信单元922对经多路复用的数据执行调制处理、频率转换处理等,并且从天线921传送所获得的传送信号。另外,通信单元922对以天线921接收的接收信号执行放大或频率转换处理和解调处理以恢复经多路复用的数据。该经多路复用的数据被提供至解复用单元928。解复用单元928对经多路复用的数据进行解复用,并且将编码数据提供至图像处理单元927以及将音频数据提供至音频编解码器923。图像处理单元927对编码数据执行解码处理以生成图像数据。该图像数据被提供至显示单元930并且执行对所接收的图像的显示。音频编解码器923将音频数据转换成模拟音频信号并且将信号提供至扬声器924以输出所接收的声音。

如上所述进行配置的移动电话装置的图像处理单元927充当本应用的编码装置和解码装置(使用编码方法和使用解码方法)。为此,可以改进分辨率信息和增强层的默认映射。

<第六实施方式>

(记录和再现装置的配置的示例)

图23示出本公开内容所应用于的记录和再现装置的示意性配置。记录和再现装置940将例如所接收的广播节目的音频数据和视频数据记录在记录介质上并且在由用户指示的时刻将所记录的数据提供至用户。另外,记录和再现装置940还可以从例如另一装置获取音频数据和视频数据并且将数据记录在记录介质上。再者,通过对记录在记录介质上的音频数据和视频数据进行解码和输出,记录和再现装置940可以从监视装置等显示图像并且输出声音。

记录和再现装置940具有调谐器941、外部接口单元942、编码器943、硬盘驱动(hdd)单元944、磁盘驱动器945、选择器946、解码器947、在屏显示(on-screendisplay)(osd)单元948、控制单元949和用户接口单元950。

调谐器941从以未示出的天线接收的广播信号调谐至期望的通道。调谐器941将通过对期望通道的接收信号进行解调而获得的编码比特流输出至选择器946。

外部接口单元942被配置为ieee1394接口、网络接口单元、usb接口和闪速存储器接口等中的至少一者。外部接口单元942是用于连接至外部装置、网络或存储卡等的用于接收要记录的数据例如视频数据或音频数据的接口。

在数据尚未被编码时编码器943以预定方案对从外部接口单元942提供的视频数据或音频数据进行编码,并且将编码比特流输出至选择器946。

hdd单元944将视频和声音的内容数据、各种程序和其他类型的数据等记录在内置硬盘上,并且在再现时从硬盘中读取这样的数据。

磁盘驱动器945针对加载的光盘来执行对信号的记录和再现。所述光盘包括例如:dvd盘(dvd-video、dvd-ram、dvd-r、dvd-rw、dvd+r和dvd+rw等);以及蓝光(注册商标)盘等。

在记录视频或声音时,选择器946从调谐器941或编码器943中选择任意编码比特流并且将编码比特流提供至hdd单元944和盘驱动器945中的任一者。另外,在再现视频或声音时,选择器946将从hdd单元944或盘驱动器945输出的编码比特流提供至解码器947。

解码器947对编码比特流执行解码处理。解码器947将通过执行解码处理而生成的视频数据提供至osd单元948。另外,解码器947将通过执行解码处理而生成的音频数据输出。

osd单元948生成用于显示用于选择项目等的菜单屏幕的视频数据,并且将视频数据叠加在从解码器947输出的视频数据上以用于输出。

控制单元949连接至用户接口单元950。用户接口单元950被配置为操纵开关或远程控制信号接收单元等,并且根据用户操作将操作信号提供至控制单元949。

使用cpu和存储器等对控制单元949进行配置。存储器存储由cpu执行的程序或cpu执行处理所必需的各种数据。由cpu在预定时刻例如在记录和再现装置940被打开时等对存储器中存储的程序进行读取和执行。通过执行程序,cpu控制相应的单元,使得记录和再现装置940根据用户操作进行操作。

如上所述进行配置的记录和再现装置的编码器943充当本应用的编码装置(使用编码方法)。为此,在对编码流的编码中,可以改进增强层和分辨率信息的默认映射。另外,解码器947充当本应用的解码装置(使用解码方法)。为此,在对编码流的解码中,可以改进增强层和分辨率信息的默认映射。

<第七实施方式>

(成像装置的配置的示例)

图24示出本公开内容所应用于的成像装置的示意性配置。成像装置960拍摄对象的图像,使对象的图像显示在显示单元上,或者将图像以图像数据的形式记录在记录介质上。

成像装置960具有聚光装置961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储单元967、介质驱动器968、osd单元969和控制单元970。另外,用户接口单元971连接至控制单元970。再者,图像数据处理单元964、外部接口单元966、存储单元967、介质驱动器968、osd单元969和控制单元970等经由总线972彼此连接。

使用聚焦透镜和孔径机构等对聚光装置961进行配置。聚光装置961使得对象的光学图像形成于成像单元962的成像平面上。使用ccd或cmos图像传感器对成像单元962进行配置,并且成像单元962根据光学图像、通过光电转换生成电信号并且将信号提供至相机信号处理单元963。

相机信号处理单元963对从成像单元962提供的电信号执行各种相机信号处理,例如拐点校正、伽玛校正或色彩校正。相机信号处理单元963将已经经历相机信号处理的图像数据提供至图像数据处理单元964。

图像数据处理单元964对从相机信号处理单元963提供的图像数据执行编码处理。图像数据处理单元964将通过执行编码处理而生成的编码数据提供至外部接口单元966或介质驱动器968。另外,图像数据处理单元964对从外部接口单元966或介质驱动器968提供的编码数据执行解码处理。图像数据处理单元964将通过执行解码处理而生成的图像数据提供至显示单元965。另外,图像数据处理单元964执行以下处理:将从相机信号处理单元963提供的图像数据提供至显示单元965;或者将从osd单元969获取的供显示的数据叠加在图像数据上并且将数据提供至显示单元965。

osd单元969生成供显示的数据,例如由符号、字符或图形构成的图标或菜单屏幕,并且将数据输出至图像数据处理单元964。

外部接口单元966被配置为例如usb输入与输出端等,并且在图像要被打印时连接至打印机。另外,在有必要适当地加载可移除介质例如磁盘或光盘时,外部接口单元966与驱动器相连,并且在必要时安装从可移除介质读取的计算机程序。再者,外部接口单元966具有连接至预定网络例如lan或因特网的网络接口。控制单元970可以根据来自用户接口单元971的指示而从介质驱动器968读取编码数据,并且经由网络将数据提供至与外部接口单元966相连的另一装置。另外,控制单元970可以经由网络来获取经由外部接口单元966从另一装置提供的编码数据或图像数据,或者可以将数据提供至图像数据处理单元964。

例如,作为以介质驱动器968而被驱动的记录介质,可以使用任意的可读可写的可移除介质,例如磁盘、磁光盘、光盘或半导体存储器。另外,充当可移除介质的记录介质的类型是任意的,其可以是磁带装置、盘或存储卡。其当然也可以是非接触式集成电路(ic)卡等。

另外,可以将介质驱动器968和记录介质集成以对非便携式记录介质例如内置硬盘驱动器或固态硬盘(ssd)等进行配置。

使用cpu对控制单元970进行配置。存储单元967存储由控制单元970执行的程序或者控制单元970执行处理所必需的各种数据等。由控制单元970在预定时刻例如在成像装置960被打开时对存储单元967中存储的程序进行读取和执行。通过执行程序,控制单元970控制相应单元,使得成像装置960根据用户操作进行操作。

如上所述进行配置的成像装置的图像数据处理单元964充当本应用的编码装置和解码装置(使用编码方法和使用解码方法)。为此,在对编码流的编码或解码中,可以改进增强层和分辨率信息的默认映射。

<可伸缩编码的应用示例>

(第一系统)

接着,将对经受可伸缩编码(层次编码)的可伸缩编码数据的具体使用的示例进行描述。如在例如图25所示的示例中,可伸缩编码用于选择要进行传送的数据。

在图25所示的数据传送系统1000中,分送服务器1002读取在可伸缩编码数据存储单元1001中存储的可伸缩编码数据,并且经由网络1003将数据分送至终端装置,例如个人计算机1004、av装置1005、平板装置1006和移动电话1007等。

在该情况下,分送服务器1002选择并且传送针对终端装置的能力或通信环境等而具有合适的品质的编码数据。即使分送服务器1002传送具有不必要的高品质的数据,终端装置也可能不能获得高品质的图像,因此存在这样的传送引起延迟或溢出的担心。另外,占用不必要的通信频带或者终端装置上的负载的不必要的增加同样是所担心的。相反地,如果分送服务器1002传送具有不必要的低品质的数据,则存在终端装置不能获得具有合适品质的图像的担心。为此,分送服务器1002适当地读取并且传送在可伸缩编码数据存储单元1001中存储的可伸缩编码数据,作为针对终端装置的能力或通信环境等而具有合适的品质的编码数据。

例如,可伸缩编码数据存储单元1001存储已经经历可伸缩编码的可伸缩编码数据(bl+el)1011。可伸缩编码数据(bl+el)1011是包括基本层和增强层二者的编码数据,并且是通过解码可以从其获得基本层的图像和增强层的图像二者的数据。

分送服务器1002选择针对数据要被传送至的终端装置的能力或通信环境等的合适的层,并且读取该层的数据。例如,分送服务器1002从可伸缩编码数据存储单元1001读取高品质可伸缩编码数据(bl+el)1011并且将不进行改变的数据传送至具有高处理能力的个人计算机1004或平板装置1006。另一方面,分送服务器1002从可伸缩编码数据(bl+el)1011提取例如基本层的数据并且将该数据传送至具有低处理性能的av装置1005或移动电话1007,所述数据具有与可伸缩编码数据(bl+el)1011相同的内容并且作为具有与可伸缩编码数据(bl+el)1011相比的较低品质的可伸缩编码数据(bl)1012的数据。

因为可以通过使用如上所述的这样的可伸缩编码数据来容易地调节数据量,所以可以抑制延迟或溢出的发生,并且可以抑制终端装置或通信介质上的负载的不必要的增加。另外,因为在可伸缩编码数据(bl+el)1011中减小了层之间的冗余,所以与将每一层的编码数据设置为单独的数据的情况相比更加减小了数据的量。因此,可以更加有效地使用可伸缩编码数据存储单元1001的存储区。

注意,因为可以将各种装置应用为例如个人计算机1004至移动电话1007的终端装置,所以每个装置具有不同的硬件性能。另外,因为由终端装置执行的应用也会变化,所以软件性能同样变化。再者,对于充当通信介质的网络1003,可以应用有线或无线通信介质例如因特网或局域网(lan)或包括两种通信类型的所有通信线路,并且网络1003的数据传送性能会变化。再者,存在以下担心:性能根据其他通信类型而改变。

因此,分送服务器1002可以被设置成在开始数据传送之前与充当数据传送目的地的终端装置进行通信以获得以下信息:与终端装置的能力——例如终端装置的硬件性能或者要由终端装置执行的应用(软件)性能——有关的信息;以及与通信环境——例如网络1003的可用的带宽等——有关的信息。因此,分送服务器1002可以被设置成基于所获得的信息来选择合适的层。

注意,可以将终端装置设置成对层进行提取。例如,个人计算机1004可以被设置成对所传送的可伸缩编码数据(bl+el)1011进行解码以显示基本层的图像或者显示增强层的图像。另外,例如,个人计算机1004可以被设置成从所传送的可伸缩编码数据(bl+el)1011提取基本层的可伸缩编码数据(bl)1012以存储数据、将数据传输至另一装置或者对基本层的图像进行解码和显示。

可伸缩编码数据存储单元1001、分送服务器1002、网络1003和终端装置的数目当然均为任意的。另外,虽然已经描述了分送服务器1002将数据传送至终端装置的示例,但是使用示例不限于此。可以将任意系统应用于数据传送系统100,只要该系统为以下系统即可:在该系统中,在已经经历可伸缩编码的编码数据被传送至终端装置时,根据终端装置的能力或通信环境等来选择并且传送适当的层。

(第二系统)

另外,如在例如图26所示的示例中,将可伸缩编码用于通过多个通信介质的传送。

在图26所示的数据传送系统1100中,广播站1101通过地面广播1111传送基本层的可伸缩编码数据(bl)1121。另外,广播站1101通过任意网络1112来传送(例如,分包并且传送)增强层的可伸缩编码数据(el)1122,所述任意网络1112包括有线通信网络或者无线通信网络或者两种通信网络。

终端装置1102具有接收通过广播站1101广播的地面广播1111的功能,并且因此接收通过地面广播1111传送的基本层的可伸缩编码数据(bl)1121。另外,终端装置1102还具有经由网络1112进行通信的通信功能,并且因此接收通过网络1112传送的增强层的可伸缩编码数据(el)1122。

终端装置1102对从地面广播1111获取的基本层的可伸缩编码数据(bl)1121进行解码,以获得、存储基本层的图像,或者将基本层的图像传送至另一装置。

另外,根据例如用户指示等,终端装置1102将通过地面广播1111获取的基本层的可伸缩编码数据(bl)1121和通过网络1112获取的增强层的可伸缩编码数据(el)1122进行组合以获得可伸缩编码数据(bl+el),并且对经组合的数据进行解码以获得、存储增强层的图像,或者将增强层的图像传送至另一装置。

如上所述,可以经由针对每一层的不同的通信介质来传送可伸缩编码数据。因此,可以将负载分散开,并且可以抑制延迟或溢出的发生。

另外,可以根据情况、针对每一层来选择要在传送中使用的通信介质。例如,可以经由具有宽的带宽的通信介质来传送相对大的数据量的可伸缩编码数据(bl)1121,并且可以经由具有窄的带宽的通信介质来传送相对小的数据量的增强层的可伸缩编码数据(el)1122。另外,可以将要传送增强层的可伸缩编码数据(el)1122的通信介质设置成根据网络1112的可用带宽而被切换成网络1112或地面广播1111。当然,上述同样适用于任意层的数据。

通过如上所述来执行控制,可以进一步抑制在数据传送的负载的增加。

当然,层的数目是任意的,并且在传送中使用的通信介质的数目也是任意的。另外,充当数据分送目的地的终端装置1102的数目是任意的。再者,虽然上面已经描述了从广播站1101进行广播的示例,但是使用示例不限于此。可以将任意系统应用于数据传送系统1100,只要该系统为以下系统即可:在该系统中,将已经经历可伸缩编码的编码数据以层为单位划分成多条编码数据并且经由多条线进行传送。

(第三系统)

另外,如在例如图27所示的示例中,将可伸缩编码用于对编码数据的存储中。

在图27所示的成像系统1200中,成像装置1201对通过拍摄对象1211的图像而获得的图像数据执行可伸缩编码,并且将数据作为可伸缩编码数据(bl+el)1221来提供至可伸缩编码数据存储装置1202。

可伸缩编码数据存储装置1202以根据情况而判定的品质来存储从成像装置1201提供的可伸缩编码数据(bl+el)1221。例如,在正常时间,可伸缩编码数据存储装置1202从可伸缩编码数据(bl+el)1221提取基本层的数据,并且将数据存储为具有低的品质和小的数据量的基本层的可伸缩编码数据(bl)1222。另一方面,例如,在显著情况下,可伸缩编码数据存储装置1202照原样存储具有高的品质和大的数据量的可伸缩编码数据(bl+el)1221。

因为可伸缩编码数据存储装置1202在上述设定下可以仅在必要时以高的品质来存储图像,所以可以抑制数据量的增加并且可以改进存储区的使用效率,同时抑制在由图像品质的劣化所引起的图像的价值的降低。

假定成像装置1201为例如监控相机。当所拍摄的图像中不包括监控目标(例如入侵者)时(在正常情况下),存在所拍摄的图像的内容不重要的高的可能性,因此优先考虑降低数据量,并且以低的品质来存储图像数据(可伸缩编码数据)。另一方面,当所拍摄的图像中包括监控目标如对象1211时(在显著情况下),存在所拍摄的图像的内容重要的高的可能性,因此优先考虑图像品质,并且以高的品质来存储图像数据(可伸缩编码数据)。

注意,正常情况和显著情况可以由例如可伸缩编码数据存储装置1202通过对图像进行分析来确定。另外,正常情况和显著情况可以由成像装置1201进行确定并且确定的结果可以被传送至可伸缩编码数据存储装置1202。

注意,用于确定正常情况和显著情况的标准是任意的,并且充当用于该确定的标准的图像的内容是任意的。除了图像内容以外的情况当然可以设置为用于该确定的标准。例如,可以根据大小或波形等或所记录的声音来切换状态,可以以预定的时间间隔来切换状态,或者可以根据来自外部的指示例如用户指示来切换状态。

另外,虽然上面已经描述了对正常情况和显著情况两种状态进行切换的示例,但是状态的数目是任意的,并且可以对三个状态或更多状态——例如,正常情况、稍重要情况、显著情况和特别显著的情况等——进行切换。然而,要进行切换的状态的数目的上限取决于可伸缩编码数据的层的数目。

另外,成像装置1201可以根据状态来判定可伸缩编码数据的层的数目。例如,在正常情况下,成像装置1201可以生成具有低的品质和小的数据量的基本层的可伸缩编码数据(bl)1222并且将数据提供至可伸缩编码数据存储装置1202。另外,例如,在显著情况下,成像装置1201可以生成具有高的品质和大的数据量的基本层的可伸缩的编码数据(bl+el)1221并且将数据提供至可伸缩编码数据存储装置1202。

虽然已经在上面的描述中例示了监控相机,但是成像系统1200的应用是任意的并且不限于监控相机。

<第八实施方式>

(其他示例)

虽然已经在上面描述了本公开内容所应用于的装置和系统等的示例,但是本公开内容不限于此,而是可以被实现为安装在装置或构成系统的装置中的任意配置,例如,具有系统大规模集成(lsi)的形式的处理器、使用多个处理器的模块、使用多个模块的单元和通过向单元另外添加其他功能而获得的设备(即,装置的部分配置)等。

(视频设备的配置的示例)

将参照图28来描述将本公开内容实现为设备的示例。图28示出本公开内容所应用于的视频设备的示意性配置的示例。

近年来,由于电子装置逐渐变得多功能,所以当在开发和制造阶段针对销售和供应等来准备每个装置的一些配置时,则不仅存在这样的装置被配置成具有一个功能的情况,而且存在具有相关功能的多个配置被组合并且被实现为具有多个功能的一个设备的许多情况。

通过将具有图像的编码和解码功能的装置(该装置可以具有编码和解码功能中的任一者或者二者)与具有与前述功能有关的其他功能的装置进行组合,图28所示的视频设备1300被如上所述配置成多功能的。

如图28所示,视频设备1300具有包括视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314等的模块组以及具有例如连接器1321、相机1322和传感器1323等的相关功能的装置。

模块为其中若干个相关的部件功能被结合以提供结合的功能的部件的形式。具体的物理配置是任意的,然而,认为具体的物理配置是下述集成:在该集成中,将例如每一者均具有功能的多个处理器、电子电路元件例如电阻器和电容器以及其他装置布置在电路板上。另外,也考虑通过将模块与另一模块或处理器等进行组合来构造新的模块。

在图28的示例中,视频模块1311是具有与图像处理有关的功能的配置的组合,并且具有应用处理器、视频处理器、宽带调制解调器1333和rf模块1334。

处理器是使用片上系统(soc)与具有预定功能的配置集成的半导体芯片,并且又被称为例如系统大规模集成(lsi)等。具有预定功能的配置可以是逻辑电路(硬件配置),可以是连同cpu、rom和ram一起使用元件来执行的程序(软件配置),或者可以是两种配置的组合。例如,处理器可以具有逻辑电路、cpu、rom和ram等并且可以用逻辑电路实现一些功能(硬件配置),或者可以用由cpu执行的程序实现其他功能(软件配置)。

图28的应用处理器1331为执行与图像处理有关的应用的处理器。由应用处理器1331执行的应用不仅可以执行运算处理,而且可以在必要时控制视频模块1311内部和外部的配置例如视频处理器1332以实现预定功能。

视频处理器1332是具有与图像的编码和解码(其中的一者或者二者)有关的功能的处理器。

宽带调制解调器1333是执行与通过宽带线例如因特网或公共电话线网络执行的有线或无线(或二者)宽带通信有关的处理的处理器(或模块)。例如,宽带调制解调器1333通过执行数字调制等将要传送的数据(数字信号)转换成模拟信号,或者通过执行解调将所接收的模拟信号转换成数据(数字信号)。例如,宽带调制解调器1333可以对例如要由视频处理器1332处理的图像数据、通过对图像数据进行编码而获得的流、应用程序或设定数据的任意信息进行数字调制/解调。

rf模块1334是对经由天线传送和接收的射频(rf)信号执行频率转换、调制和解调、放大和滤波处理等的模块。例如,rf模块1334通过对由宽带调制解调器1333生成的基带信号执行频率转换等来生成rf信号。另外,rf模块1334例如通过对经由前端模块1314接收的rf信号执行频率转换等来生成基带信号。

注意,如由图28中的虚线1341所指示的,可以将应用处理器1331和视频处理器1332进行集成以构成一个处理器。

外部存储器1312是设置在视频模块1311的外部、具有由视频模块1311使用的存储装置的模块。外部存储器1312的存储装置可以用任意物理配置进行实现,但是其通常在存储大量数据例如以帧为单位的图像数据时被使用,因此期望的是以相对便宜且高容量的半导体存储器例如动态随机存取存储器(dram)来实现存储装置。

电源管理模块1313管理并且控制向视频模块1311(视频模块1311内部的每个构成元件)的电力供给。

前端模块1314是向rf模块1334提供前端功能的模块(充当天线侧的传送和接收端的电路)。如图20所示,前端模块1314具有例如天线单元1351、滤波器1352和放大单元1353。

天线单元1351被配置有传送和接收无线信号的天线及其外围装置。天线单元1351将从放大单元1353提供的信号作为无线电信号进行传送并且将所接收的无线电信号作为电信号(rf信号)提供至滤波器1352。滤波器1352对经由天线单元1351接收的rf信号执行滤波处理等并且将经处理的rf信号提供至rf模块1334。放大单元1353对从rf模块1334提供的rf信号进行放大并且将信号提供至天线单元1351。

连接器1321是具有与连接至外部有关的功能的模块。连接器1321的物理配置是任意的。连接器1321具有例如:具有除了宽带调制解调器1333所对应于的通信标准的通信功能以外的通信功能的配置,或者外部输入和输出端等。

例如,连接器1321可以具有基于无线通信标准的通信功能或者基于该标准来传送和接收信号的天线等,所述无线通信标准例如为蓝牙(注册商标)、ieee802.11(例如,无线保真(wi-fi;注册商标))、近场通信(nfc)或红外数据协会(irda)。另外,连接器1321可以具有例如具有基于有线通信标准的通信功能的模块或者基于该标准的终端,所述有线通信标准例如为通用串行总线(usb)或高清晰度多媒体接口(hdmi;注册商标)。再者,连接器1321可以具有例如模拟输入和输出端的另一数据(信号)传送功能等。

注意,可以将连接器1321设置成包括充当数据(信号)传送目的地的装置。例如,可以将连接器1321设置成具有关于记录介质来读取和写入数据的驱动器(不仅包括可移除介质的驱动器,而且包括硬盘、固态驱动器(ssd)或网络附属存储装置(nas)等的驱动器),所述记录介质例如为磁盘、光盘、磁光盘或半导体存储器等。另外,可以将连接器1321设置成具有图像或音频输出装置(监控器或扬声器等)。

相机1322是具有对对象进行拍摄并且获得对象的图像数据的功能的模块。从由相机1322的拍摄所获得的图像数据例如被提供至视频处理器1332并且由视频处理器1332进行编码。

传感器1323是具有例如以下传感器的任意的感测功能的模块:声音传感器;超声波传感器;光传感器;照度传感器;红外传感器;图像传感器;旋转传感器;角度传感器;角速度传感器;速度传感器;加速度传感器;倾角传感器;磁识别传感器;震动传感器;以及温度传感器等。由传感器1323检测的数据例如被提供至应用处理器1331并且由应用等进行使用。

可以将在上面描述为模块的配置实现为处理器,或者相反地,可以将描述为处理器的配置实现为模块。

在具有上述的配置的视频设备1300中,本公开内容可以应用于将在下面描述的视频处理器1332。因此,可以将视频设备1300实现为本公开内容所应用于的设备。

(视频处理器的配置的示例)

图29示出本公开内容所应用于的视频处理器1332(图28的)的示意性配置的示例。

在图29的示例中,视频处理器1332具有接收视频信号和音频信号的输入并且以预定方案对信号进行编码的功能,以及对编码视频数据和音频数据进行解码并且输出用于再现的视频信号和音频信号的功能。

如图29所示,视频处理器1332具有视频输入处理单元1401、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。另外,视频处理器1332具有编码/解码引擎1407、视频基本流(es)缓冲器1408a和视频基本流(es)缓冲器1408b,以及音频es缓冲器1409a和音频es缓冲器1409b。再者,视频处理器1332具有音频编码器1401、音频解码器1411、多路复用器(mux)1412、解复用器(dmux)1413以及流缓冲器1414。

视频输入处理单元1401获取从例如连接器1321(图28的)输入的视频信号,并且将信号转换成数字图像数据。第一图像放大和缩小单元1402对图像数据执行格式转换或者图像放大或缩小处理等。第二图像放大和缩小单元1403根据数据经由视频输出处理单元1404被输出至的目的地的格式对图像数据执行图像放大或缩小处理,或者以与第一图像放大和缩小单元1402相同的方式执行格式转换或者图像放大或缩小处理等。视频输出处理单元1404对图像数据执行格式转换或转换成模拟信号等,并且将数据作为再现视频信号输出至例如连接器1321(图28的)。

帧存储器1405是针对由下述单元所共享的图像数据的存储器:视频输入处理单元1401、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403、视频输出处理单元1404和编码/解码引擎1407。帧存储器1405被实现为半导体存储器,例如dram等。

存储器控制单元1406从编码/解码引擎1407接收同步信号,并且根据写在访问管理表1406a中的对帧存储器1405的访问时间表来控制对帧存储器1405进行写入和读取的访问。访问管理表1406a由存储器控制单元1406根据在编码/解码引擎1407、第一图像放大和缩小单元1402和第二图像放大和缩小单元1403等中执行的处理进行更新。

编码/解码引擎1407执行对图像数据的编码处理以及对视频流的解码处理,所述视频流是通过对图像数据进行编码而获得的数据。例如,编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码,并且将数据作为视频流顺序地写入视频es缓冲器1408a中。另外,例如,编码/解码引擎1407从视频es缓冲器1408b顺序地读取视频流,并且将数据作为图像数据顺序地写入帧存储器1405中。编码/解码引擎1407将帧存储器1405用作工作区以进行这样的编码和解码。另外,编码/解码引擎1407在例如开始对每个微块的处理时向存储器控制单元1406输出同步信号。

视频es缓冲器1408a对由编码/解码引擎1407生成的视频流进行缓冲并且将流提供至多路复用器(mux)1412。视频es缓冲器1408b对从解复用器(dmux)1413提供的视频流进行缓冲并且将流提供至编码/解码引擎1407。

音频es缓冲器1409a对由音频编码器1410生成的音频流进行缓冲并且将流提供至多路复用器(mux)1412。音频es缓冲器1409b对从解复用器(dmux)1413提供的音频流进行缓冲并且将流提供至音频解码器1411。

音频编码器1410例如将从例如连接器1321(图28的)等输入的音频信号进行数字转换,并且以预定方案对信号进行编码,所述预定方案例如为mpeg音频方案或audiocodenumber3(ac3)方案等。音频编码器1410将作为通过对音频信号进行编码而获得的数据的音频流顺序地写入音频es缓冲器1409a中。音频解码器1411对从音频es缓冲器1409b提供的音频流进行解码,执行到例如模拟信号的转换,并且将信号作为再现音频信号提供至例如连接器1321(图28的)。

多路复用器(mux)1412对视频流和音频流进行多路复用。用于该多路复用的方法(即,根据多路复用而生成的比特流的格式)是任意的。另外,在多路复用期间,多路复用器(mux)1412还可以向比特流添加预定的头部信息等。换言之,多路复用器(mux)1412可以通过多路复用对流的格式进行转换。通过对视频流和音频流进行多路复用,例如,多路复用器(mux)1412将流转换成传输流,传输流是用于进行传输的格式的比特流。另外,通过对视频流和音频流进行多路复用,例如,多路复用器(mux)1412将流转换成用于记录的文件格式的数据(文件数据)。

解复用器(dmux)1413使用与由多路复用器(mux)1412执行的多路复用相对应的方法对通过对视频流和音频流进行多路复用而获得的比特流进行解复用。换言之,解复用器(dmux)1413从流缓冲器1414读取的比特流提取视频流和音频流(将比特流分离成视频流和音频流)。解复用器(dmux)1413可以通过解复用对流的格式进行转换(经由多路复用器(mux)1412的转换的相反转换)。例如,解复用器(dmux)1413可以经由流缓冲器1414来获取从例如连接器1321或宽带调制解调器1333等(其中的所有均在图28中)提供的传输流,并且通过解复用将流转换成视频流和音频流。另外,例如,解复用器(dmux)1413可以经由流缓冲器1414获取由例如连接器1321(图28的)从各种记录介质读取的文件数据,并且通过解复用将数据转换成视频流和音频流。

流缓冲器1414对比特流进行缓冲。例如,流缓冲器1414对从多路复用器(mux)1412提供的传输流进行缓冲,并且在预定时刻或者基于来自外部的请求等将流提供至例如连接器1321或宽带调制解调器1333(其中的二者均在图28中)。

另外,例如,流缓冲器1414对从多路复用器(mux)1412提供的文件数据进行缓冲,并且在预定时刻或者基于来自外部的请求等将数据提供至例如连接器1321等(图28的连接器1321)以使得数据能够被记录在各种记录介质中的任意记录介质上。

再者,流缓冲器1414对经由例如连接器1321或宽带调制解调器1333(其中的二者均在图28中)等获取的传输流进行缓冲,并且在预定时刻或者基于来自外部的请求等将流提供至解复用器(dmux)1413。

另外,流缓冲器1414对经由例如连接器1321(图28的)等从各种记录介质中的任意记录介质读取的文件数据进行缓冲,并且在预定时刻或者基于来自外部的请求等将数据提供至解复用器(dmux)1413。

接着,将描述具有该配置的视频处理器1332的操作的示例。例如,从连接器1321(图28的)等输入至视频处理器1332的视频信号在视频输入处理单元1401中以预定格式例如4:2:2的ycbcr格式被转换成数字图像数据,并且被顺序地写入帧存储器1405中。该数字图像数据由第一图像放大和缩小单元1402或第二图像放大和缩小单元1403进行读取,以预定格式例如4:2:0的ycbcr格式经历格式转换和放大或缩小处理,并且然后又被写入帧存储器1405中。该图像数据由编码/解码引擎1407进行编码并且作为视频流被写入视频es缓冲器1408a中。

另外,从连接器1321(图28的)输入至视频处理器1332的音频信号由音频编码器1410进行编码,并且然后作为音频流被写入音频es缓冲器1409a中。

视频es缓冲器1408a的视频流和音频es缓冲器1409a的音频流由多路复用器(mux)1412进行读取和多路复用以转换成传输流、文件数据等。由多路复用器(mux)1412生成的传输流在流缓冲器1414中被缓冲,并且然后经由例如连接器1321或宽带调制解调器1333(其中二者均在图28中)等被输出至外部网络。另外,由多路复用器(mux)1412生成的文件数据在流缓冲器1414中被缓冲,并且被输出至例如连接器1321(图28的)以记录在各种记录介质中的任意记录介质中。

另外,经由例如连接器1321或宽带调制解调器1333(其中的二者均在图28中)等从外部网络输入至视频处理器1332的传输流在流缓冲器1414中被缓冲,并且然后由解复用器(dmux)1413进行解复用。另外,例如,经由连接器1321(图28的)从各种记录介质中的任意记录介质读取并且输入至视频处理器1332的文件数据在流缓冲器1414中被缓冲,并且然后由解复用器(dmux)1413进行解复用。换言之,输入至视频处理器1332的传输流或文件数据被解复用器(dmux)1413分离成视频流和音频流。

音频流经由音频es缓冲器1409b被提供至音频解码器1411以进行解码并且对音频信号进行再现。另外,视频流被写入视频es缓冲器1408b中,然后由编码/解码引擎1407顺序地读取视频流以进行解码,并且视频流被写入帧存储器1405中。解码图像数据通过第二图像放大和缩小单元1403经历放大和缩小处理,并且被写入帧存储器1405中。然后,解码图像数据由视频输出处理单元1404读取,以预定格式例如4:2:2的ycbcr格式经历格式转换,并且被进一步转换成模拟信号,并且对视频信号进行再现以进行输出。

注意,可以以硬件例如逻辑电路的形式、以软件例如嵌入式程序的形式或者以两种形式来实现本公开内容的编码/解码引擎1407(即,根据上述每个实施方式的图像编码装置和图像解码装置的功能)。

<5.结论>

在上述本公开内容的实施方式中,将用于指定用于远程控制网络相机11的定义信息的一个或更多个uri的属性添加至非专利文献1中公开的要素“segmenttemplate”。通过将属性添加至要素“segmenttemplate”,可以向充当客户端的内容再现装置20动态地指定所请求的片段的url。

通过使得能够向充当客户端的内容再现装置20动态地指定所请求的片段的url,本公开内容的实施方式与上述非专利文献2中提出的方法中相比可以更进一步地压缩mpd。另外,通过使得能够从mpd引用定义信息(参数描述),本公开内容的实施方式与使用上述非专利文献2中提出的方法中相比可以进一步减小在根据应用情况来分别扩展mpd的模式时所施加的维护负担。

还可以生成下述计算机程序:所述计算机程序用于在例如设置在内容服务器10和内容再现装置20上的中央处理单元(cpu)、rom和随机存取存储器(ram)的硬件上实行与内容服务器10和内容再现装置20的上述要素相当的功能。而且,还提供了用于存储计算机程序的存储介质。

上面已经参照附图描述了本公开内容的优选实施方式,然而本公开内容当然并不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种变更和修改,并且应当理解的是所述各种变更和修改将自然地归入本公开内容的技术范围内。

另外,还可以对本技术进行如下配置。

(1)一种信息处理装置,包括:

存储单元,所述存储单元被配置成存储用于向访问信息添加参数的预定定义,所述访问信息用于访问构成每条编码数据的多个子段中的每个子段,或者用于访问mpd中描述的要通过向服务器的请求来获取的每个要素,所述每条编码数据通过以不同比特率对相同内容进行编码来获得;以及

通信单元,所述通信单元被配置成通过基于所述存储单元中存储的所述预定定义指定参数而访问在所述访问信息中定义的地址,

其中,在所述访问信息中定义的所述地址是用于控制对所述内容进行成像的装置的地址。

(2)一种内容请求方法,包括:

存储用于向访问信息添加参数的预定定义,所述访问信息用于访问构成每条编码数据的多个子段中的每个子段,或用于访问mpd中描述的要通过向服务器的请求来获取的每个要素,所述每条编码数据通过以不同比特率对相同内容进行编码来获得;以及

基于所存储的所述预定定义来指定参数,并且访问在所述访问信息中定义的地址,

其中,在所述访问信息中定义的所述地址是用于控制对所述内容进行成像的装置的地址。

(3)一种计算机程序,所述计算机程序使计算机执行以下操作:

存储用于向访问信息添加参数的预定定义,所述访问信息用于访问构成每条编码数据的多个子段中的每个子段,或用于访问mpd中描述的要通过向服务器的请求来获取的每个要素,所述每条编码数据通过以不同比特率对相同内容进行编码来获得;以及

基于存储单元中存储的所述预定定义来指定参数并且访问在所述访问信息中定义的地址,

其中,在所述访问信息中定义的所述地址是用于控制对所述内容进行成像的装置的地址。

附图标记列表

10,13内容服务器

11网络相机

12网络

20内容再现装置

120文件生成单元

122编码器

130存储单元

140通信单元

220通信单元

230存储单元

240再现单元

250选择单元

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1