生成三维内容版本的处理设备和获得内容的相关联设备的制作方法
【专利摘要】一种设备(D1)，其意图处理用于服务器(SC)三维内容，所述三维内容包括至少从不同角度获得或生成的至少两个图像序列，其中三维呈现与在所述至少两个图像序列之间的视差水平相关联。该设备(D1)被配置为从内容生成与被适配用于不同传送比特率的不同视差水平对应的至少两个不同内容版本，其中所述视差水平随着所述传送比特率减小。
【专利说明】生成三维内容版本的处理设备和获得内容的相关联设备
【技术领域】
[0001]本发明涉及在被称为流式传输或即时回放的模式中传送三维(或3D)内容。
[0002]这里“三维内容”被理解为定义电视、视频或游戏节目的一组数据，其可以按需包括从轻微不同角度获得或生成的、并且最终意图同时呈现的至少两个相异图像序列以便提供三维视觉印象。因此，在非限制性示例中其可以涉及被称为立体视觉的内容。
【背景技术】
[0003]内容的流式传输包括经由通信网络(有线或无线)向至少一个内容接收器相继传送内容的子部分以便它们可以实时使用。该类型的传送可以通常在例如通过例如MVC(“多视点视频编码”)、AVC( “高级视频编码”)或SVC( “可伸缩视频编码”)的视频压缩技术对内容进行编码以显著减小其大小之后，通过各种流式传输协议，例如RTP、MPEG、TS/UDP、HTTP流式传输、HTTP自适应流式传输或平滑流式传输进行。
[0004]当内容接收器接收到通过先前所述的视频压缩技术之一编码的3D内容的子部分时，其必须即时进行其解码。然而，本领域技术人员知道的是，内容的编码/解码在使用高比特率(通常对于标准清晰度高于4000kpbs (每秒千位)，或对于高清晰度高于7000到8000kbps,或对于超闻清晰度闻于10000kbps)进行的情况下在3D内容的最终视觉质量中几乎不引入损失。在通信网络中比特率有时显著和/或长期经受波动，应该理解的是，屏幕(耦接到内容接收器)上恢复的3D内容的视觉质量可以随时间显著变化，这可以引起可以构成观看者的真正不适的图像的部分或完全混乱。
【发明内容】
[0005]因此，本发明的目的是改进当通信网络内的传送条件由于潜在波动不能确保时的情况。
[0006]为此，本发明特别提出一种第一设备，其用于处理三维内容，所述三维内容包括从不同角度获得或生成的至少两个图像序列，并且其中三维呈现与在所述至少两个图像序列之间的视差水平相关联。所述第一设备被配置为从内容生成与被适配用于不同传送比特率的不同视差水平对应的至少两个不同内容版本，其中所述视差水平随着所述传送比特率减小。
[0007]根据本发明的不同实施例的第一设备可以包括可以分开或组合采用的其他特性，并且特别地: [0008]-其可以被设置为根据作为传送比特率的函数的视差水平的变化的规律生成内容版本；
[0009]>所述规律可以包括低于其时视差水平等于零的传送比特率阈值；
[0010]?其可以被设置为仅对内容的图像序列之一进行编码，以便当其与低于阈值的传送比特率对应时,仅产生一个版本。
[0011]-其可以被设置为生成描述内容版本的相应视差水平和/或相应传送比特率的描述文件，其中可以查看与这些版本对应的其存储器；
[0012]-其可以被设置为产生包括具有一个版本与另一版本相同的时间位置的参考帧的内容版本；
[0013]-其可以被设置为独立于每一个内容的其他序列对该相同内容的每一个序列进行编码，使得内容的每一个版本都包括分别与所述序列相关联的、并且分别与不同视差水平对应的或者分别与分开定义的或处于至少两个不同视差水平的互补视差水平对应的数据的子分组；
[0014]-其可以被设置为通过应用从至少包括MVC、AVC和SVC的分组选择的压缩技术的视频编码部件来生成每一个内容版本。
[0015]这种第一处理设备可以是例如内容服务器的一部分。
[0016]本发明还提出一种用于内容接收器的第二设备，其用于获得内容，并且被设置为根据选择的视差水平和/或选择的传送比特率而选择编码后的内容的版本，其中与被适配用于不同传送比特率的不同视差水平对应的至少两个不同内容版本存储在内容存储服务器(SC)上，并且其中所述视差水平随着所述传送比特率减小，并且命令其内容接收器从内容存储服务器请求选择的版本。
[0017]该第二设备可以被设置为命令其内容接收器从服务器重新获得描述文件，所述描述文件与希望获得的内容的版本对应地存储，并且所述描述文件描述所述内容的版本的相应的视差水平和/或它们相应的传送比特率，然后通过基本上连续地控制根据希望的视差水平和/或希望的传送比特率的该内容的所选择的版本而开始连续内容回放会话。
[0018]这种第二设备可以是例如机顶盒、解码器、家庭网关、固定或便携式计算机、移动电话、个人数字助理或电子平板电脑的内容接收器的一部分。
【专利附图】
【附图说明】
[0019]在检查下文中的详细描述和附图时本发明的其他特性和优点将显现，其中:
[0020]-图1图解地和功能性地示出通信网络，一方面，其连接到具备根据本发明的实施例的第一处理设备的内容服务器，并且，另一方面，其连接到具有根据本发明的另一实施例的第二内容获得设备的内容接收器，
[0021]-图2图解地示出通过根据本发明的实施例的处理设备获得的相同内容的六个不同版本，
[0022]-图3图解地示出作为传送比特率(DB)的函数的视差水平(ND)的变化的规律的第一示例的图，以及
[0023]-图4图解地示出作为传送比特率(DB)的函数的视差水平(ND)的变化的规律的第二示例的图。
[0024]附图不仅可以用于使本发明完整，必要时还可以有助于其定义。
【具体实施方式】
[0025]本发明的目的特别地是提出一种用于处理三维内容的处理设备D1，所述三维内容包括从不同角度获得的至少两个图像序列，并且意图经由通信网络R向至少一个内容接收器RC传送。[0026]在下文中，考虑到作为非限制性示例的，内容接收器RC是机顶盒(或STB)。但本发明不限于该类型的内容接收器。事实上其涉及能够连接到至少一个通信网络以便接收内容并且能够恢复3D内容的全部类型的内容接收器(可能是立体视觉的(有源或无源设备))。因此，其还可以涉及例如解码器、家庭网关、固定或便携式计算机、移动电话(可能是智能电话类型)、个人数字助理(或PDA)或电子平板电脑或游戏控制台。
[0027]此外，考虑到在下文中作为非限制性示例的，3D(或立体视觉)内容是视频。但本发明不限于该类型的3D (或立体视觉)内容。事实上其涉及包括从轻微不同角度获得或生成的至少两个图像序列并且用于最终向观看者同时呈现以便向他提供三维视觉印象的全部类型的内容。因此，其还可以涉及电视节目、游戏、体育赛事图像、教育内容、电影内容或计算机生成图像(或CGI)。
[0028]图1图解地示出连接到适用于存储3D内容(由处理设备Dl处理)的内容服务器SC和用于解码由服务器SC传送的3D内容(在内容获得设备D2的请求时)的内容接收器RC的通信网络R。
[0029]例如，并且如以非限制性方式示出的，机顶盒RC耦接到负责恢复其解码的并且经由通信网络R从内容服务器SC提供的3D内容的至少一个电视机TS。
[0030]考虑到在下文中，在非限制性示例中，通信网络R包括通过xDSL接入网络连接到用户通信设备的因特网。但是，本发明不限于该类型的通信网络。事实上，通信网络R可以是有线的或无线的。因此，其还可以涉及电缆或光纤类型的有线网络，或者移动或蜂窝或WLAN( “无线局域网可能是类型802.11 (或WiFi)或WiMAX)网络。通信网络R还可以包括具有例如电视类型的单向广播网络的不相交子网络(disjoint sub-network)以及例如宽带(xDSL)因特网接入类型的双向网络。
[0031]根据本发明的实施例的处理设备Dl被设置为从一个3D(或立体视觉)内容生成与被适配用于不同传送比特率DB的不同视差水平对应的至少两个不同内容版本Vj，其中在耦接到内容接收器RC的至少一个屏幕上进行不同质量的三维呈现。
[0032]如以非限制性方式示出的，这种处理设备Dl可以与(内容)服务器SC相关联。
[0033]这里“相关联”应理解为作为服务器SC的组成部分(如所示)的事实和直接耦接到服务器SC的事实。因此，处理设备Dl可以以软件模块或电子电路和软件模块的组合的形式实现。
[0034]但是在一个实施例中，可以向服务器SC提供由完全独立于其的处理设备Dl先前生成的3D内容版本Vj。
[0035]将注意到处理设备Dl可以被设置为通过应用压缩技术的视频编码部件生成每一个版本Vj。该技术可以是例如MVC、AVC或SVC。
[0036]由处理设备Dl生成的3D内容的不同版本Vj可以存储在服务器SC的存储器部件MS中。这些存储部件MS可以呈现为本领域技术人员已知的任何形式，包括软件。因此，其可以涉及存储器。
[0037]将注意到，具有比原始内容的视差低的视差的内容版本可以按需生成(并且不提前产生和存储)。因此，在内容接收器RC从服务器SC请求版本Vj时，当该版本不可获得时，服务器SC可以请求生成该版本，以便向请求的内容接收器提供该版本。这允许延迟版本Vj的产生，以便限制存储空间。该解决方案特别地适用于现场直播节目。[0038]然后，内容接收器RC经由通信网络R可获得这些3D内容版本FVj。3D内容的不同版本Vj与适用于不同传送比特率的不同视差水平对应，应理解它们特别适用于通信网络R中波动的传送条件。
[0039]3D内容的不同图像序列之间视差减小越多，3D效果越不显著，并且编码(例如通过视频压缩)对这些视频图像序列的影响越小，并且因此一旦将它们解压缩，观看者越容易观看这些图像序列的组合而没有视觉不适。
[0040]图2示出通过处理设备Dl获得的相同内容的六个不同版本(变量t表示时间，并且每一个矩形表示特别地包括参考帧TR的一组压缩视频数据帧)。例如，第一版本Vl被适配用于等于IMbps (兆比特每秒)的传送比特率DB，第二版本V2被适配用于等于2Mbps (兆比特每秒)的传送比特率DB，第三版本V3被适配用于等于3Mbps (兆比特每秒)的传送比特率DB，第四版本V4被适配用于等于4Mbps (兆比特每秒)的传送比特率DB，第五版本V5被适配用于等于5Mbps (兆比特每秒)的传送比特率DB，以及第六版本V6被适配用于等于6Mbps (兆比特每秒)的传送比特率DB。
[0041]将注意到，处理设备Dl可以产生如所希望的较大的数量的内容版本Vj，假设该数
量至少等于二。
[0042]例如，处理设备Dl可以根据支配作为传送比特率DB的函数的视差水平ND的变化的规律而生成3D内容的版本Vj。在该情况下，每一个版本Vj的比特数量的大小取决于相关联的视差水平ND。版本Vj的视差水平ND越高，该版本Vj的大小越大，并且因此相关联的传送比特率DB越高。这可以在图2中的非限制性示例中看出。事实上，每一个表示一组压缩数据帧的不同版本Vj (这里j = I到6)的矩形都具有从第一版本Vl (提供最小视差水平ND)移向第六版本V6(提供最大视差水平ND)时大小增大的表面积(表示其相应大小)。
[0043]图3图解地示出作为传送比特率DB的函数的视差水平ND的变化的规律的第一示例的图。这里，变化遵循特别地双曲正切类型的规律。图2中的非限制性示例从该类型的规律的使用而产生。将理解的是，与视差水平ND等于一(I)相关联的版本Vj使用展现最大视差的3D内容图像序列，而与视差水平ND等于零(O)相关联的版本Vj’使用展现最小视差(可能零)的3D内容图像序列，并且与包括在值零(O)和一⑴之间的视差水平ND相关联的版本Vj”使用展现中间的减小的视差的3D内容图像序列。
[0044]将注意到，可以使用除了图2中示出的规律之外的其他类型的规律。因此，规律(ND = f (DB))可以包括低于其时视差水平ND等于零(O)的传送比特率阈值。图4图解地示出包括先前所述的类型的阈值(这里位于大约3Mbps)的作为传送比特率DB的函数的视差水平ND的变化的规律(ND = f(DB))的第二示例的图。在该情况下，小于或等于3Mbps的全部传送比特率DB与零视差水平ND相关联。
[0045]将理解的是，在呈现零视差水平ND时，在3D内容的图像序列之间不再存在差异(视差)，并且因此不再存在3D效果。因此，为了减小传送比特率DB，有利的是处理设备Dl被配置为仅对3D内容的图像序列之一进行编码(或压缩)，以便当其与低于规律(ND =f(DB))的阈值的传送比特率DB对应时产生版本Vj。因此其他序列不再有助于涉及的版本Vj,因为它们被认为与正在使用的近似相同。
[0046]将注意到，处理设备Dl还可以被设置为有利地生成描述3D内容的版本Vj的相应的视差水平和/或相应的传送比特率的描述文件，其中可以查看与这些版本Vj对应的其存储器(这里存储器指服务器SC的存储部件MS)。下面将进一步讨论这些描述文件的影响。
[0047]将注意到，处理设备Dl可以被设置为有利地产生包括一个版本的时间位置与另一版本相同的参考帧TR的3D内容的版本Vj。特别地在图2中示出的非限制性示例中如此。回顾参考帧TR是允许随机访问的在流式传输模式中传送的内容的子部分的那些。3D内容数据的编码(或压缩)的该特征使得安装在内容接收器RC中的解码器能够在请求时在精确的时间(其是参考帧TR的传送的时间)从一个版本Vj移动到另一版本Vj’，而不引入视觉伪像。
[0048]还将注意到，处理设备Dl可以将3D内容的一些序列编码(或压缩)为该相同3D内容的其他序列中的一个或多个的函数以生成每一个版本Vj。但在一个实施例中，其(Dl)可以被设置为独立于每一个3D内容的其他序列地对该相同3D内容的每一个序列进行编码。因此，3D内容的每一个版本Vj包括分别与不同序列相关联的、并且分别与不同视差水平ND对应的或者分别与分开定义的或处于至少两个不同视差水平的互补视差水平对应的数据的子分组。例如，与图像序列相关联的第一子组可以包括与第一视差水平相关联的基本层，与该相同图像序列相关联的第二子组可以包括与高于第一视差水平的第二视差水平相关联的基本层和第一增强层，与该相同图像序列相关联的第三子组可以包括与高于第一和第二视差水平的第三视差水平相关联的基本层和第一增强层以及第二增强层。
[0049]如上所述，存储在服务器SC中的版本Vj用于在请求时向至少一个内容接收器RC传送。
[0050]为此目的，每一个内容接收器RC可以与根据本发明的内容获得设备D2相关联。
[0051]这里“相关联”应理解为作为内容接收器RC的组成部分(如非限制性地示出的)的事实和直接耦接到内容接收器RC的事实。因此，内容获得设备D2可以以软件模块、或电子电路和软件模块的组合的形式实现。
[0052]该内容获得设备D2被设置为根据选择的视差水平ND和/或选择的传送比特率DB选择编码后的3D内容的版本V j (其由内容接收器RC的用户请求)，并且命令该内容接收器RC从存储该所需3D版本的服务器SC请求选择的版本Vj。选择可以由请求3D内容的观看者在他请求的同时或在预编程期间做出，或由内容获得设备D2根据观看者的偏好自动做出。
[0053]应理解的是，例如当希望施加特定3D呈现水平并且因此特定视差时(独立于选择时由通信网络R提供的条件并且独立于图像质量)，可以根据选择的视差水平ND做出版本Vj的选择，或者当希望确保版本Vj将与在选择时通信网络R提供的比特率条件兼容以便图像质量良好时，可以根据作为选择的传送比特率DB的函数做出版本Vj的选择，或者可以根据作为选择的视差水平ND和选择的传送比特率DB的函数做出版本Vj的选择。
[0054]为了识别希望的3D内容的不同版本，内容获得设备D2可以被设置为命令其内容接收器RC从涉及的服务器SC重新获得与这些版本Vj对应地存储的描述文件(并且其描述它们相应的视差水平和/或它们相应的传送比特率)。在该情况下，一旦内容接收器RC从涉及的服务器SC重新获得所需描述文件，则内容获得设备D2可以通过基本上连续地控制作为希望的视差水平ND和/或希望的传送比特率的函数的希望的3D内容的所选择(或选取)的版本而开始流式传输会话。内容获得设备D2将随后向其内容接收器RC提供其选择的每一个版本Vj (并且其在描述文件中提及)的指定(designation),以便设备从涉及的服务器SC请求它。
[0055]将注意到，通过流式传输的传送协议可以是例如HTTP。但是可以使用通过流式传输的、允许来自内容接收器RC的“反馈”的全部其他传送协议，特别地RTP、MPEG、TS/UDP、HTTP自适应流式传输或平滑流式传输。
[0056]还将注意到，获得设备D2可以与若干子网络相关联。在该情况下，可以根据每一个子网络的特有的特性做出获得策略。例如，在版本Vj由互补图像的子组组成的情况下，如前所述，根据希望的视差水平ND和/或该子网络上希望的传送比特率DB，基本版本可以经由例如电视类型的单向广播子网络广播，而“改进”版本(因此处于更高的视差水平)可以从基本版本和经由例如因特网接入类型(例如xDSL)的双向子网络获得的互补图像组而按需获得。
[0057]由于本发明，现在可以通过减小3D效果而限制由通信网络内的不良传送条件施加的对3D内容进行高压缩的影响，以便观看者不会不安和/或其不会引起视觉疲劳。
[0058]本发明不限于仅作为示例的上面描述的处理设备、服务器、内容获得设备和内容接收器的实施例，但其覆盖本领域技术人员在所附权利要求的框架内能够设想的全部变化。
【权利要求】
1.一种用于处理三维内容的设备(Dl)，所述三维内容包括从不同角度获得或生成的至少两个图像序列，并且其中三维呈现与在所述至少两个图像序列之间的视差水平相关联，所述设备的特征在于其被配置为从所述内容生成与被适配用于不同传送比特率的不同视差水平对应的至少两个不同内容版本，其中所述视差水平随着所述传送比特率减小。
2.如权利要求1所述的设备，其特征在于其被配置为根据作为传送比特率的函数的视差水平的改变的规律生成所述内容版本。
3.如权利要求2所述的设备，其特征在于所述规律包括低于其视差水平等于零的传送比特率阈值。
4.如权利要求3所述的设备，其特征在于其被配置为仅对所述内容的图像序列之一进行编码，以便产生与低于所述阈值的传送比特率对应的版本。
5.如权利要求1到4中的一项所述的设备，其特征在于其被配置为生成描述内容版本的相应视差水平和/或相应传送比特率的描述文件，所述描述文件与所述版本对应地存储。
6.如权利要求1到5中的一项所述的设备，其特征在于其被配置为产生包括具有一个版本与另一版本相同的时间位置的参考帧的内容版本。
7.如权利要求1到6中的一项所述的设备，其特征在于其被配置为独立于每一个内容的其他序列对该相同内容的每一个序列进行编码，使得所述内容的每一个版本包括分别与所述序列相关联的、并且分别与不同视差水平对应的或者分别与分开定义的或处于至少两个不同视差水平的互补视差水平对应的数据的子分组。
8.如权利要求1到7中的一项所述的设备，其特征在于其被配置为通过应用从至少包括MVC、AVC和SVC的分组选择的压缩技术的视频编码部件来生成每一个版本。
9.一种服务器(SC)，其特征在于其包括根据权利要求1到8中的一项所述的处理设备(Dl)。
10.一种用于内容接收器(RC)的三维内容获得设备(D2)，所述三维内容包括从不同角度获得或生成的至少两个图像序列，其中三维呈现与在所述至少两个图像序列之间的视差水平相关联，所述设备的特征在于其被配置为根据选择的视差水平和/或选择的传送比特率来选择内容的版本，其中与被适配用于不同传送比特率的不同视差水平对应的至少两个不同内容版本存储在内容存储服务器(SC)上，并且其中所述视差水平随着所述传送比特率减小，并且在于其被配置为命令所述内容接收器(Re)从内容存储服务器(SC)请求所述选择的版本。
11.如权利要求10所述的设备，其特征在于其被配置为命令所述内容接收器(RC)从所述服务器(SC)重新获得描述文件，所述描述文件与其希望获得的内容的版本对应地存储，所述描述文件描述所述内容的版本的相应的视差水平和/或它们相应的传送比特率，然后通过连续地控制根据希望的视差水平和/或希望的传送比特率的所述内容的所选择的版本开始流传输会话。
12.—种内容接收器(RC)，其特征在于其包括根据权利要求10到11中的一项所述的内容获得设备(D2)。
【文档编号】H04N21/845GK103959797SQ201280058572
【公开日】2014年7月30日 申请日期:2012年11月23日 优先权日:2011年11月28日
【发明者】S.古阿彻, D.多延, G.比乔特 申请人:汤姆逊许可公司