联合比特率控制的制作方法

专利名称：联合比特率控制的制作方法
技术领域：
本发明涉及一种视听内容传输系统，以及涉及一种用于这种系统的控制的方法。
背景技术：
对于家用视听(AV)内容分配系统来说存在各种方案。应当理解，存在由系统实现的安装和成本效益，该系统具有一个通过无线链路与家庭各处分布的显示器相连的中央网关。然而，提供无线链路引起了许多技术问题，本发明设法解决其中的一些问题。
有关联合比特率控制的背景信息可以从Eindhoven，PhilipsResearch Laboratories，Thesis Technische Universiteit Delft-ISBN 90-74445-20-9的G.J.Keesman的“Multi-program videodata compression”中找到。

发明内容
按照本发明的第一方面，提供了用于在至少两个信道上分配视听内容的装置，总的信道速率是不可预测的，该装置包括用于每个信道的编码器和数据缓冲器；以及传输控制器，其被安排为控制从所述缓冲器传输的数据并对认为不正确接收的数据提供重新传输；该装置包括联合比特率控制器，其被安排为控制各个编码器以某一速率来提供数据，该速率至少部分地取决于数据产生速率和数据传输速率。
各个编码器可以是编码器或者代码转换器，这取决于被设计来处理的信号的特性。数据产生和传输速率的优选功能是一种作为等待传输的数据量的函数进行操作的功能。可以直接测量等待传输的数据量，或者从诸如数据传输速率和数据产生速率之类的其它已测参数中进行推断。
这可以提供一种灵活的系统，该系统根据操作环境自动地修改其操作参数。它还可以提供一种缓冲延迟的有效利用，在实施例中，其调整编码的质量以适应缓冲情形。这使得能够通过在各个信道上的信号来获得基本上相等的图像质量，并且容许支持另外的信道。
通过控制编码器以某一速率提供数据可以获得良好的可靠性，该速率部分地取决于在等待传输的数据量和目标量之间的差值，优选的是乘以一个控制参数。
优选地，联合比特率控制器被安排为将直接确定所使用的编码质量的控制信号施加到各个编码器的控制输入端，尽管其可以替代地被安排为将直接确定编码器的输出数据速率的控制信号施加到各个编码器的控制输入端。
如果传输控制器是最早截止时间优先的调度器，则可获得良好的结果。
按照本发明的第二方面，提供了一种在至少二个信道上分配视听内容的方法，总的信道速率是不可预测的，该方法包括提供用于各个信道的编码器和数据缓冲器，控制从所述缓冲器传输的数据，并对认为不正确接收的数据的重新传输进行控制；该方法包括控制各个编码器以某一速率来提供数据，该速率至少部分地取决于数据产生速率和数据传输速率。


现在将参考附图并仅借助于实例来描述本发明的实施例，其中图1是应用本发明的家用AV内容分配系统的示意图；图2示出图1系统的某些组件的实施例；图3说明在图2的编码器站上处于稳态条件的缓冲器充满度(fullness)；以及图4说明在信道改变条件之后不久在编码器站上的缓冲器充满度。
具体实施例方式
参考图1，房子10具有第一至第四电视机11至14，各个电视机具有各自的遥控装置RC。以机顶盒(STB)形式的网关15被连接到视频源16，该视频源16可以是援引某些非限制例子的卫星碟形天线、常规天线、有线电视源或因特网TV源。在这个例子中，网关15具有四个输出信道，其中两个通过各自的同轴电缆被接线至第一和第四电视机，以及其中两个经由无线电收发信机17馈送。第二和第三电视机12、13具有与之相关的相应的无线电收发信机18、19，其中的每一个经由收发信机17可操作地与网关15通信。无线电收发信机18、19可以被称为“瘦客户端”，因为它们不包含多的处理资源或者其它硬件。作为替代，硬盘驱动器、宽带调制解调器、大功率处理器和大量的固态存储器在网关中被提供，其运行所有处理器内含的(intensive)应用程序。可以将另外的固定或便携式无线电收发信机(未示出)安排来接收网关15的另外的输出信道。可以将网关15构成为服务器而不是STB。
这个例子涉及视频源具有模拟输出信号而不是数字编码信号的情况。
无线信道的组件在图2中示出。网关15包括三个信道，其中的每一个包括串联连接的各个编码器20、21、22和缓冲器23、24、25。在相关的编码器20-22中，对用于信道的音频与视频信号分别进行编码，然后对编码的信号一起进行多路复用。这可以通过在各个信道中分离音频与视频编码器(未示出)来实现。编码过程引起视听信号的数字压缩。
将缓冲器23-25的输出端连接到调度器26的相应输入端，其输出端被连接到收发信机17。编码器20-22由联合比特率控制器(JBRC)27控制。编码器20-22中的每一个都将模拟输入信号编码为MPEG-2。各个编码器20-22包括一个量化步长控制输入。由JBRC施加于输入端的信号确定量化步长，从而确定在输出信号中的编码质量。由于这个原因，它被称为Q输入。输出比特率取决于内容的复杂度以及取决于Q控制输入。作为选择，质量控制可以通过使用不同的控制输入来实现。
调度器26按照修改的EDF(最早截至时间优先)算法进行操作，其优先考虑显示的到期比其它数据更早的数据传输。收发信机18、19的每个包括串联的相应缓冲器28、29和相应解码器30、31。另一个收发信机32类似地包括串联的缓冲器33和解码器。
无线电收发信机17例如使用802.11a可操作地以单个频率发送分组中的无线电数据帧。各个数据帧被引导至接收机18、19、32中的某一个。接收机18、19、32丢弃那些没有寻址到它们的数据帧。通常，各个数据帧具有相同的持续时间。但是，在数据帧中包括的数据比特的数目取决于在发射机17和相关的接收机18、19、32之间的传输路径的特征。传输路径具有的有利特征越少，在经其发送的数据帧中包括的数据比特就越少，反之亦然。因此，对于不同的接收机18、19、32可能有不同的最大传输率。更加远离发射机17的接收机18、19、32能够在单位时刻接收更少的比特，因为发送给上述接收机的帧中的更多比特被用于纠错。
通过一个从相关接收机到收发信机17的低带宽信道来生成已经在接收机18、19、32处正确接收数据帧的通知。未正确接收的数据帧的重新传输以任何适宜的方式进行。这个低带宽信道还可以携带用于在网关15上处理的遥控信号，虽然这些信号可以替代地被分开传送。该信道可以是无线信道，或者例如可以利用预先存在的电源电缆。
当以较低速度重放时，由存储器的数量和限制质量的感知损失的要求来限制系统中缓冲的最大数量。这个实施例利用10秒缓冲延迟。用于信道的缓冲延迟在网关15中的缓冲器和接收机18、19、32中的相应缓冲器之间被分解。
图3示出视频数据的发送缓冲器状态，所述视频数据由用于三个分离的模拟视频源(例如电视频道)的编码器产生的，并且分别标记为信道1、2和3。该图说明在时间t＝10时缓冲器的状态。在数据希望被解码的时间处的时间称为截止时间。在横轴上，示出了从t＝20到t＝10由曲线表示的数据的截止时间，这对应于当前显示在TV上的数据。与截止时间t＝20有关的数据是最新被解码器20-22解码的。以累积的方式针对特定时间示出了在缓冲器23-25中存在的数据量，即对在信道3的线条上的一个点给出的值表示具有相应截止时间的数据总量。
系统的动态特性可以通过观察在图中逐渐向右前进的曲线(包括在横轴上的标记)来理解。数据是由编码器20-22在有圆圈的位置处产生的。数据在由虚垂直线标记的位置处被调度器26消耗。在任何给定的时间，调度器26从其中一个具有最早截止时间的缓冲器23-25的前端选择发送数据。每个信道被同等对待。在由适宜的接收机18、19、32确认之前，某些数据驻留在缓冲器中的调度器位置的右边，需要或者无需进行重新传输。
图3中示出的系统处于稳定状态，因为在给定的时间点上，全部三个编码器20-22产生具有相等截止时间(即t＝20)的数据。在这里，对于全部三个信道而言，总的端到端延迟已经达到最大延迟。这个延迟等于10秒(在t＝10和t＝20之间的时间差)。对于给定的截止时间来说，为信道产生的数据量由JBRC 27来控制。这确定未来曲线的高度。
在这样的稳态条件下，JBRC 27以LOOSE模式工作。在这里，将相同的控制信号施加于各个编码器20-22的Q输入端，这导致在每个信道上形成同等质量的编码。在LOOSE模式中，为了对网关15中的每个信道实现20％的缓冲延迟并将另外80％保持在接收机18、19、32处，JBRC 27对编码器20-22实施控制。这个缓冲条件对于信道恶化提供良好的容限。缓冲延迟总计十秒，目的是在网关15存储两秒(等于总数的20％)的数据。这是通过按照公式(1)每秒更新一次Q控制输入来实现的Qnew＝Qold-A(Dbuff-Dtarget) 公式(1)其中Qnew是下一个Q值，Qold是现有的值，Dbuff是在网关缓冲器23-25中数据的总量(以秒计)，以及Dtarget是目标缓冲器充满度(以秒计)。A是一个控制参数。Dtarget可以被计算为在网关处的目标缓冲器充满度乘以有效信道的数目。
因为公式(1)计算在实际的缓冲器充满度和目标缓冲器充满度之间的差值，所以缓冲器充满度可以替代地用字节、帧或任何其它适宜的量度来进行测量。在这种情况下，可能需要使用对应于再现时间目标的数据量(或其它量度)的估计来计算目标缓冲器充满度。
A的值确定系统对缓冲器充满度变化的反应速度。该变化可以由输出信道速率(即在考虑重新传输的情况下来自发射机17的数据吞吐量)的变化以及由编码器20-22编码的内容复杂度的变化引起。因为控制输入影响编码的质量而不是输出比特率，所以平均来说较高复杂度的内容会导致较高的平均数据速率。但是，由于公式(1)的原因，甚至在操作条件填充(charge)我们的时间时，系统将会自然地倾向于目标缓冲器充满度。此外，因为将相同的Q控制信号施加于各个编码器20-22，所以在各个接收机18、19、32处感知的图像质量被优化。
上面图3的描述涉及稳态条件，即所有接收机18、19、32已经接收了比较长一段时间它们各自所选电视频道的数据。当与接收机18相关的电视12的用户利用合适的遥控装置RC改变源频道时，稳定状态被扰乱。作为响应，用于信道(即在网关15处和在接收机18处)的数据缓冲器被腾空数据，以及在网关处设置不同的电视频道。在信道改变事件之后马上就在系统中设置缓冲的最小量，以便允许接收机18在该事件之后尽可能快地开始重放。图4示出在信道1的信道改变事件之后不久再次在时间t＝10s处的发送缓冲器状态的例子。如同图3一样，用于信道3的线条的高度表示在发送缓冲器22、23中具有相应截止时间的数据总量。
如可以看到的，目前在发送缓冲器22中存在其截止时间非常接近于当前时间(t＝10s)的数据。调度器26在考虑任一信道2或3的数据之前，首先发送接近于t＝10的信道1的所有数据。这使得在调度器位置移动之前对信道1分配与时间周期所需带宽一样多的可用信道带宽，从而用于信道2或信道3的缓冲器包含具有在信道1的最早截止时间数据之前的截止时间的数据。
对于信道1，编码器20插入具有仍然非常接近于当前时间的截止时间的数据。但是，在接收机18处使用降低的速度重放，这导致用于信道1的插入点逐渐地朝着用于其它信道的插入点的方向移动。降低的速度重放允许在视听数据正在被消耗时建立在编码器和解码器之间的缓冲延迟(即，就重放时间而言增加数据量)。最终达到如图3所示的稳定状态。当然，尽管没有必要首先清空缓冲器，但实际上要以同样的方式来处理接通事件。由于存在DSP限制，所以在系统上分配缓冲器的事实也允许延迟，而不会对内容的再现产生消极效果。
在信道变化事件之后，通常LOOSE控制被保持，同时利用均匀质量Q对新的信道进行编码。如果这会导致以比传输速率更大的速率产生数据，则网关缓冲器将变得更满，并且Q将逐渐地根据公式(1)被控制为较低的点。因为新的信道在调度器中具有最高的优先级，所以具有复杂内容的信道的改变导致更多的网关缓冲器用于其它信道(其无论如何已经在接收缓冲器中具有足够的可用数据)，而用于新信道的所有数据将立刻被发送。
当在网关15处对接收机18、19、32中的缓冲器上存储的数据量小于一个阈值进行确定时，JBRC 27进入TIGHT模式，所述阈值例如是每个接收机5秒。可以以任何适宜的方式进行该确定，例如，根据在网关缓冲器23-25中的数据量来推断在接收机18、19、32上的数据量。例如，如果在短的时间周期内改变两个或多个信道，则可以进入该模式。
当工作在TIGHT模式时，以不同的方式来计算施加于编码器20-22的Q输入端的控制信号。在TIGHT模式中，操作更像是在数字广播中发现的操作，其中是输出比特率而不是质量为重要的参数。目标是控制每个编码器20-22以指定的比特率提供数据，该指定的比特率对于每个编码器可以是不同的。目标比特率被设置用于每个编码器，并且JBRC 27设法尽可能精确地获得那个比特率。以下的解释帮助理解。
目标比特率取决于内容的复杂度。在一个简单的实施例中，假定所有的接收机18、19、32是在离发射机17相同的距离上，则将获得均等的最大传输数据速率。在TIGHT模式中，JBRC 27的目标是限制由编码器20-22产生的数据总量，使得发射机17以比编码器产生的速率更大的速率来发送数据。
这可以通过如下的公式来表示Rtotal＝Rest-A(Dbuff)公式(2)其中A是一个控制参数。
在当前由编码器20-22产生的数据到达调度器时，信道的速率是未知的，因为这个时间是在将来。因此，基于先前的信道特征来估计发送信道速率Rest。通过在先前的十分钟上计算平均信道速率可以进行这个估计，并且每分钟都更新该估计。但是，可以替代地使用许多其它的方法。然后，总的信道速率Rtotal是通过从所估计的信道速率Rest中减去一个值来计算的，该值与在发送缓冲器Dbuff中的数据总量成比例。Dbuff是在由图3中的调度器位置限制的信道3线条下面的区域，并且可以以任何适宜的方式来计算。
首先，假定图像质量Qi是与信道速率Ri和内容的复杂度Xi相关的，如同下述Qi＝Ri/Xi公式(3)JBRC 27用来确定信道内容复杂度的方式是常规的。因为其追求图像质量在所有信道上都是均匀的Qi＝Q公式(4)Q是目标质量，其对所有信道是一样的。Qi是用于信道的瞬时质量控制输入。由于实际的复杂度将不同于所估计的复杂度，所以每个Qi值都通过JBRC 27动态地调整(由此与Q稍微不同)，以便获得目标比特率。单个信道的速率总和必须等于总速率Sum(Ri)＝Rtotal 公式(5)对这些公式求解得到以下的信道速率Ri
Ri＝Rtotal x (Xi/sum(Xi)) 公式(6)以及均匀的目标质量QQ＝Ri/Xi＝Rtotal/Sum(Xi) 公式(7)根据使用的编码器类型，可以通过对量化步长输入端、或其它质量控制输入端、或编码器20-22的比特率输入端施加一个适宜的控制信号来实施控制。在这里，sum(Xi)是不同信道复杂度的总和。
由于通向不同接收机的路径可以不同，所以在数据帧中可发送的数据量可以相应地不同。这是通过下述的更加复杂的实施例允许的。在这里，由于用于发送数据的时间总量是有限的，所以在单个信道间的分配带宽的折衷方案发生改变。例如，给予信道1的用于附近接收机的数据帧与给予信道2的用于较远接收机的数据帧相比，可以携带更多的数据。如果用于信道1和2的数据复杂度相同，则给予信道1的帧将在图像质量中得到最高的增量。因此，对各个接收机18、19、32进行用于信道速率的单独估计。如果这个客户具有100％时间的信道，则会导致所估计的速率Rest，i，其表示可用于将数据发送给客户的信道速率。Rest，i可被认为是信道效率的量度，即成功地收敛为数据数目的数据比特的数目和所发送的错误比特的比值，包括重新传输的数据帧。
假定保留公式(2)和(3)。但是不保留公式(4)，因为总的速率现在取决于不同信道共享媒体的方式(例如，如果具有低速率的信道使该信道用于大部分时间，则Rtotal将是比较低的)。出于这种考虑，引入一个参数Ni，其表示某个信道可以访问媒体的时间的一部分。例如，如果信道I保留50％的传输信道，则Ni是0.5。
Sum(Ni)＝1 公式(8)因为Rest，i的定义假定信道I保留信道用于100％的时间，所以单个信道速率Ri与Ni和Rest，i有关Ri＝Ni*Rest，i 公式(9)合并以上的公式给出RiRi＝Xi/Sum(Xi/Rest，i) 公式(10)由此可以将Q目标计算为Q＝1/Sum(Xi/Rest，i) 公式(11)在正常情况下，所实施的系统目的在于按时和在各个接收机18、19、32上都提供均匀的图像质量。但是，在临界条件下，它可以决定在一个或多个接收机上完全关闭服务，以便在其余接收机上仍然可以提供可接受的性能。调度器26被安排为不断地监控到不同接收机18、19、32的传输速率。考虑重新传输来进行传输速率的计算。当检测到用于信道的传输速率降到一个阈值之下时，中止在那个信道上的数据帧的传输。然后，相关的接收机18、19、32使一个适宜的消息显示在其电视机上。当截止时间过去时，删除在网关15处的相关缓冲器中存储的用于中止信道的数据。这个特点使得一个放置不好(就从网关15到该接收机的路径来说)的接收机避免不切实际地共享信道带宽，从而负面地影响其它信道的质量。随后，通过发送测试数据分组来监控链路质量。例如通过比较传输速率与一个阈值，一旦传输速率再一次被确定是令人满意的，就恢复在那个信道上的传输。
权利要求
1.一种用于在至少两个信道上分配视听内容的装置(15)，总的信道速率是不可预测的，该装置包括用于每个信道的编码器(20-22)和数据缓冲器(23-25)；以及传输控制器(26)，其被安排为控制从所述缓冲器传输的数据并对认为不正确接收的数据提供重新传输；该装置包括联合比特率控制器(27)，其被安排为控制各个编码器以某一速率来提供数据，该速率至少部分地取决于数据产生速率和数据传输速率。
2.如权利要求1所述的装置，其中控制编码器以某一速率提供数据，该速率部分地取决于等待传输的数据量。
3.如权利要求2所述的装置，其中控制编码器以某一速率提供数据，该速率部分地取决于在等待传输的数据量和目标量之间的差值。
4.如权利要求3所述的装置，其中控制编码器以某一速率提供数据，该速率取决于乘以控制参数的所述差值。
5.如任一在先权利要求所述的装置，其中联合比特率控制器被安排来控制每个编码器以某一速率提供数据，该速率部分地取决于编码器被馈送的信号的复杂度。
6.如任一在先权利要求所述的装置，其中联合比特率控制器被安排来控制每个编码器以某一速率提供数据，该速率部分地取决于平均数据传输速率和平均数据产生速率。
7.如权利要求5所述的装置，其中联合比特率控制器被安排来控制编码器以某一速率提供数据，该速率还取决于将来在相关时间上估计的信道速率。
8.如权利要求6所述的装置，其中所估计的信道速率根据过去的信道速率数据来计算。
9.如任一在先权利要求所述的装置，其中联合比特率控制器(27)被安排来控制编码器以某一速率提供数据，该速率部分地取决于与编码器相关的信道的特征。
10.如权利要求9所述的装置，其中联合比特率控制器(27)被安排来控制编码器以某一速率提供数据，该速率部分地取决于与编码器相关的信道的信道速率。
11.如权利要求10所述的装置，其中信道速率是根据发送的数据比特与发送单元总数的比率来计算的。
12.如任一在先权利要求的装置，其中联合比特率控制器被安排为将直接确定所使用的编码质量的控制信号施加到各个编码器的控制输入端。
13.如权利要求1至11中任何一个所述的装置，其中联合比特率控制器被安排为将直接确定编码器的输出数据速率的控制信号施加到各个编码器的控制输入端。
14.如任一在先权利要求所述的装置，其中传输控制器是最早截止时间优先的调度器。
15.一种在至少两个信道上分配视听内容的方法，总的信道速率是不可预测的，该方法包括提供用于每个信道的编码器(20-22)和数据缓冲器(23-25)，控制从所述缓冲器传输的数据并对认为不正确接收的数据的重新传输进行控制，该方法包括控制各个编码器(20-22)以某一速率来提供数据，该速率至少部分地取决于数据产生速率和数据传输速率。
16.如权利要求15所述的方法，其中控制步骤包括控制编码器以某一速率来提供数据，该速率部分地取决于等待传输的数据量。
17.如权利要求16所述的方法，其中控制步骤包括控制编码器以某一速率来提供数据，该速率部分地取决于在等待传输的数据量与目标量之间的差值。
18.如权利要求17所述的方法，其中控制步骤包括控制编码器以某一速率来提供数据，该速率取决于乘以控制参数的所述差值。
19.如权利要求15至18中任一所述的方法，其中控制步骤包括控制编码器以某一速率来提供数据，该速率部分地取决于编码器被馈送的信号的复杂度。
20.如权利要求15至19中任一所述的方法，其中控制步骤包括控制编码器以某一速率来提供数据，该速率部分地取决于平均数据传输速率和平均数据产生速率。
21.如权利要求15至20中任一所述的方法，其中控制步骤包括控制编码器以某一速率来提供数据，该速率还取决于将来在相关时间上估计的信道速率。
22.如权利要求15至21中任一所述的方法，包括根据过去的信道速率数据来计算所估计的信道速率。
23.如权利要求15至22中任一所述的方法，其中控制步骤包括控制编码器(20-22)以某一速率来提供数据，该速率部分地取决于与编码器相关的信道的特征。
24.如权利要求23所述的方法，其中控制步骤包括控制编码器(20-22)以某一速率来提供数据，该速率部分地取决于与编码器相关的信道的信道速率。
25.如权利要求24所述的方法，包括根据发送的数据比特与发送单元总数的比率来计算信道速率。
全文摘要
一种家庭内视听分配系统的网关15包括第一至第三编码器或代码转换器20－22，其中的每一个都与各自的缓冲器23－25相关联。每个编码器或代码转换器以及缓冲器的组合处理来自不同输入信道的信号。由最早截止时间优先的调度器26调度来自缓冲器的数据信号以用于在无线链路上经由发射机17进行传输。联合比特率控制器27被安排为控制编码器或者代码转换器采用某一比特率，该比特率取决于在缓冲器23－25中存储的等待传输的数据量，尤其取决于在数据量和目标量之间的差值。编码器或代码转换器的输出比特率还取决于被编码内容的复杂度。在信道变化或者启动事件之后，调度器26被控制来发送用于相关信道的数据，该相关信道的数据优先于其它信道的数据。
文档编号H04N5/00GK1736051SQ200380108392
公开日2006年2月15日 申请日期2003年12月19日 优先权日2003年1月7日
发明者E·W·萨洛蒙斯 申请人:皇家飞利浦电子股份有限公司