专利名称：：一种柱面全景视频编码的块尺寸计算方法和传输方法
技术领域：
：本发明涉及视频和图像编解码领域，特别涉及柱面全景视频编码的块尺寸计算方法和基于分块的柱面全景视频编码的传输技术。
背景技术：
：全景视频是一种新兴的媒体，和传统的视频相比，具有视野大，分辨率高，数据量大等特点。利用全景视频，观察者视点不变，改变观察方向能够观察到周围的全部场景，而普通的二维视频只反应了全景视频的某个局部。柱面全景视频是一种常见的全景视频，它相当于一个虚拟的摄像机，把空间中的三维物体投影到柱面上。柱面全景视频的生成可以利用多摄像头或者单摄像头采集系统采集而成。由于投影表面是柱面，所以上下方向有一些盲点。由于全景视频的视野范围是普通视频的5~6倍，在给用户提供相同的视觉质量的情况下，全景视频的数据量是普通视频的5~6倍。如果按照传统的视频传输方案，全景视频在网络环境下的使用变得困难重重。但是，由于在同一时刻，用户所需要看到的内容只是全景视频的某一部分，所以分块编码与传输成为了全景视频网络传输的常见方案。在全景视频的分块编码中，分块的尺寸对于全景视频的编码效率以及传输区域有着重要的影响，而这两项因素直接决定着需要传输的数据量。如果编码块尺寸小，则传输区域较小，但是编码效率会较低；如果编码块尺寸大，则编码效率4交高，但是传输区域也较大。所以在相同的视觉质量下，不同的编码块尺寸，需要传输的数据量是不一样的。但是现在国内外的一些系统中，基本上没有考虑分块的大小，块大d、一般是按照经验决定的，这就导致了传输数据量的增加。
发明内容本发明的目的是为柱面全景视频编码块尺寸的选择提供一种快速有效的计算方法，使得在局部视觉质量相同的情况下，所需要传输的数据量最小。为了实现上述目的，本发明提供了一种柱面全景视频编码块尺寸计算方法，利用编码全景视频的宽度，涉及的全景视频区域宽度，以及当前视频的影响因子等信息计算得到最优编码块尺寸。包含如下步骤柱面全景视频不进行分块直接预编码，得到的全景视频编码的码率柱面全景视频按照任选的一个块尺寸a进行分块预编码，得到在块尺寸a下的编码码率i。；根据公式<formula>formulaseeoriginaldocumentpage4</formula>计算码率i。相比于码率i。的增量％;根据公式<formula>formulaseeoriginaldocumentpage4</formula>计算该视频的影响因子C，其中『表示该视频的宽度；根据公式<formula>formulaseeoriginaldocumentpage4</formula>计算该视频的最优编码块尺寸~一其中M是目标区域宽度。基于此块尺寸计算方法，本发明还提供了一种柱面全景视频编码传输方法，包括如下步骤根据上述方法计算而得的块尺寸e对该视频进行分块；分块后，对每个块的序列独立进行编码；选择所需的编码后的数据进行传输。通过本发明提供的柱面全景视频编码块尺寸计算方法，能够得到一个使全景视频的压缩效率较高且传输区域较恰当的块尺寸。从而使需要传输的数据量最小。以下，结合附图来详细说明本发明的实施例，其中图1是柱面全景视频分块示意图。图2是％与编码块数目和《a与编码块尺寸的关系图。图3是柱面全景视频最优编码块尺寸计算方法的操作流图。图4是柱面全景视频分块压缩和传输示意图。具体实施方式局部视图视觉质量是由全景视频原始编码质量确定的。在编码的过程中，用量化参数(g尸)来控制全景视频编码的质量。需要在g尸一定的条件下，计算分块尺寸"使传输的数据量最小，即使传输码率r。最小的分块尺寸a。所以首先计算传输码率r。与分块尺寸a的函数关系。设目标区域的宽度为M个宏块，分块大小为"个宏块，如图l所示。因为目标区域落在全景视频中的位置会发生变化，从而相关分块的个数也会随之变化。一种情况是目标区域的右边界在a'的范围中，相关分块个数为W',另一种情况是目标区域的右边界在a"的范围中，相关分块个数为W"。则+1公式1令目标区域落在a'范围中的概率是尸'，目标区域落在a〃范围中的概率是户〃。从而，当分块大小为"时，相关区域宽度『。的期望值可以由下面的公式计算<formula>formulaseeoriginaldocumentpage5</formula>公式2传输码率为所有需要传输的相关分块的码率之和，用如下公式计算。<formula>formulaseeoriginaldocumentpage5</formula>其中，r。表示分块尺寸为a时的传输码率，凡表示分块尺寸为a时全景视频的编码码率，也就是所有分块编码的码率之和，7V。表示全景视频分块尺寸为a时包含目标区域的宏块的数目，iV表示全景视频宏块总数，『。表示全景视频分块尺寸为a时的包含目标区域的宏块的宽度之和，『表示全景视频的宽度。为了计算得到在原始编码质量一定的情况下，传输码率最小的最优编码块尺寸a^，最直接的方法就是利用上述公式通过列举方式计算得到最优编码尺寸。具体实施方式为首先对每一种可能的分块尺寸都进行编码，得到全景视频编码码率A,然后按照公式2计算出相关分块的宽度『，再然后按照公式3计算出传输码率r。，最后通过比较不同的分块尺寸的传输码率，得到传输码率最小的分块尺寸就是最优编码尺寸。例如表2所示的森林、村庄、桥梁和会堂四个序列的列举计算结果。对全景视频采用每一种可能的分块尺寸进行编码，经过比较找到最优编码块，这样的方法在实际应用中是不实用的。本发明提出一种基于反比模型的快速的最优编码块尺寸选择方法。首先定义&为i。和&的比值。;i公式4其中i。为编码块尺寸为a时的全景视频编码码率，i。为全景视频不分块时的编码码率。根据全景视频编码块大小与编码效率之间的关系，a。始终是大于等于1的一个实数。由公式3，公式4可以得到『『"『《"『、对于同样的编码条件和全景视频来说，不同的编码块尺寸a，i。和『是相同的，所以定义尸。=^.『。公式6只要计算令尸。最小的编码块尺寸，即得最优编码块尺寸。进一步，定义:^A^a一;l.公式7表l列出了桥梁序列在不同的编码块尺寸下，不同的化，对于每个编码块尺寸，应用了4个不同的量化参数(QP)进行编码。表l桥梁序列化与编码块尺寸关系<table>tableseeoriginaldocumentpage7</column></row><table>整理上表的数据，w。与编码块数目以及编码块尺寸之间的关系如图2a所示。w。与编码块数目之间呈正比关系，由于编码块数目与编码块尺寸之间呈反比关系，所以w。与编码块尺寸之间呈反比关系，如图2b所示。由于w。与编码块尺寸呈反比关系，本发明在二者之间建立一个模型，描述二者之间关系。<formula>formulaseeoriginaldocumentpage7</formula>公式8对于同一个视频C是常数，当全景视频分块编码时，这时候化=0，符合我们对于w。的定义。由公式8可以得到C的计算公式<formula>formulaseeoriginaldocumentpage7</formula>公式11由此，对视频通过任意一个编码块尺寸a进行编码，计算出o;。，则可以计算常数C。由公式6,7,8计算得到:<formula>formulaseeoriginaldocumentpage8</formula>计算尸。对"的导数为o的点，即为《的极值点，此时a的取值即为最优编码块尺寸。<formula>formulaseeoriginaldocumentpage8</formula>公式10据此可以计算出最优编码块尺寸l。根据上述分析，依据全景视频的宽度，目标区域宽度等信息计算编码块尺寸。如附图3所示该计算方法具体实施方式如下首先，对待编码的柱面全景视频不进行分块，整体进行预编码，得到的全景视频编码的码率i。。然后，为待编码的柱面全景视频任意选择一个块尺寸a,按照此块尺寸给全景视频进行分块预编码，得到在块尺寸a下的编码码率i。。再根据公式<formula>formulaseeoriginaldocumentpage8</formula>.计算预编码码率凡相比于码率i。的增量w。。再然后，根据公式<formula>formulaseeoriginaldocumentpage8</formula>计算当前柱面全景视频的影响因子C,其中ff表示全景视频的宽度。最后，根据公式<formula>formulaseeoriginaldocumentpage8</formula>计算柱面全景视频的最优编码块尺寸e，其中M是目标区域宽度。根据上述柱面全景视频编码的块尺寸计算方法，本发明提供的柱面全景视频的传输方法，如图4所示，具体步骤如下首先根据上述柱面全景视频编码的块尺寸计算方法计算而得的块尺寸对全景视频进行分块。然后依据以上分块，对每个块的序列独立进行编码。再然后选择所需要的编码后的数据进行传输。在此可以根据用户当前的视角选择数据。传输媒介可以是因特网、无线网络、局域网、光学网络、其它合适的传输媒介、或者这些传输媒介的适当组合。最后解码端接收到数据之后，对这些块序列进行独立的解码和投影变换，得到所需图像。表2编码块尺寸与传输码率对应关系<table>tableseeoriginaldocumentpage9</column></row><table><table>tableseeoriginaldocumentpage10</column></row><table>表2说明了柱面全景视频图像传输中编码块尺寸对实际传输码率的影响，其以分辨率为1920x352的4个图像序列在量化参数g尸-28，目标区域M-20的条件下传输为例进行说明。对于以森林、村庄、桥梁和会堂为目标图像，以不同块尺寸分别进行编码传输试验，从每个块尺寸对应的码率可以观察到不同图像各自的最优分块尺寸。例如，当目标图像是森林时，块尺寸等于2时，码率为194.89，此值是所有不同块尺寸编码码率的最小值。釆用本发明方法计算的块尺寸也是2，与列举试验的最优值一致。表3不同g尸时列举计算最优结果与本发明方法结果比较表<table>tableseeoriginaldocumentpage10</column></row><table>表3说明了在不同的量化参数Q尸下分别以森林、村庄、桥梁和会堂为目标图像的4个序列利用实际列举块尺寸编码试验得到的最有效率块尺寸与用本发明公式得到的最优块尺寸比较结果。经分析以上表格得知，经列举方法计算而得最有效率分块尺寸，和利用本发明计算得到的分块尺寸基本一致，只有表4中带星号的是不完全一致的，但二者也非常接近。应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。权利要求1.一种柱面全景视频编码的块尺寸计算方法，包括下列步骤柱面全景视频不进行分块直接预编码，得到的全景视频编码的码率R0；该视频按照任选的一个块尺寸a进行分块预编码，得到在块尺寸a下的编码码率Ra；根据公式ωa＝(Ra-R0)/R0，计算所述码率Ra相比于所述码率R0的增量ωa；根据公式C＝ωa·a·W/(W-a)，计算该视频的影响因子C，其中W表示全景视频的宽度；根据公式<math-cwu><![CDATA[<math><mrow><msub><mi>a</mi><mi>me</mi></msub><mo>=</mo><mo>[</mo><msqrt><mi>CM</mi><mo>/</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mfrac><mi>C</mi><mi>W</mi></mfrac><mo>)</mo></mrow></msqrt><mo>]</mo><mo>,</mo></mrow></math>]]></math-cwu><!--imgid="icf0001"file="A2007101754430002C1.gif"wi="192"he="38"img-content="drawing"img-format="tif"/-->计算该视频的最优编码块尺寸ame，其中M是目标区域宽度。2.—种柱面全景^L频编码传输方法，包括下列步骤根据如权利要求1所述的方法计算而得的块尺寸e对所述全景视频进行分块；所述分块之后，对每个块的序列独立进行编码；选择所需的编码后数据进行传输。3.如权利要求2所述的方法，其特征在于所述数据传输后，解码端接收该数据，并对所述块序列进行独立的解码和投影变换。4.如权利要求2所述的方法，其特征在于所述所需的编码后的数据根据用户视角选择。全文摘要本发明提供一种柱面全景视频编码的块尺寸计算方法和传输方法，包括柱面全景视频不进行分块直接预编码，得到的全景视频编码的一个码率；该视频按照任选的一个块尺寸进行分块预编码，得到在该块尺寸下的编码码率；计算以上两个码率的增量；根据此增量计算该视频的影响因子；最后根据此因子计算该视频的最优编码块尺寸。本发明根据上述方法计算的块尺寸又提供了一种全景视频进行分块编码传输的方法。本发明通过两次预编码，可以计算出最优的编码块尺寸，使用此最优块尺寸进行柱面全景视频编码，能够在用户视觉质量相同的情况下传输数据量最低。文档编号G03B37/00GK101127911SQ20071017544公开日2008年2月20日申请日期2007年9月29日优先权日2007年9月29日发明者锋代,张冬明,张勇东申请人:中国科学院计算技术研究所