在mpeg2传输流中自适应地插入数据/内容的方法

专利名称：在mpeg2传输流中自适应地插入数据/内容的方法
技术领域：
本发明一般涉及到数据传输系统，具体涉及到在传输过程中在通用数据内部插入本地化或私人化的内容。
数字电视技术的进步已经有可能连同视频/音频信号一起为用户传输在本地产生的数据，将其插入广播流中。这样就能提供新的业务和应用来增强数字电视体验。例如，本地广播分支机构可以定制带本地广告，本地新闻以及股票信息更新(包括“报价机”字幕透明片)的广播节目，以及本地教育节目。定制可以向下扩展到单个观众一级。
现有的内容插入/接合设备是将数据与音频和视频多路复用，在广播流中插入本地节目和/或商业广告。然而，数字电视技术赋予的新业务需要全新和有效的方法在给定带宽的限度内为广播流增加数据流。为了及时把握时机向观众传输这种本地化和/或个性化内容，关键是要有一种有效，简单的数据插入系统，它应该能尽可能最佳利用有效的带宽。
例如，运动图像专家组(MPEG)标准、阶段2(MPEG-2)是一种非常灵活的标准，能够便利地实现新数据业务而无需改变基本标准。流行的MPEG-2传输流是利用“空白”分组--由分组类型标识符(“PId”)号8191识别的分组--作为填充物来填充没有被音频/视频流或其他有用的数据流利用的带宽。通过替代空白分组(和其他任何可替代的分组)而在MPEG-2传输流内插入数据是用来插入内容的一种选择。然而，对空白分组直接插入数据分组不能明智地利用有效带宽，并且可能无法满足有效地插入数据业务又不干扰广播流。
因此就需要有一种在诸如MPEG-2传输流等数字广播流内自适应插入内容的技术，以便能及时传输数据并且充分利用带宽而不会破坏性地干扰广播流。
为了弥补现有技术的上述不足，本发明的主要目的是提供一种在接收机中使用的自适应数据插入机构，它通过分析传输流中近来被普通节目消耗的带宽来执行对未来有效带宽的预测/评估，并且通过替代传输流内部选定的分组而插入数据。对未来有效带宽的评估是由带宽利用的周期性采样而产生的，还有关于即将来临的节目变化的信息。采用有效带宽评估来优先化和调度在传输流内的数据插入。通过替代接收的传输流内部被选定的分组而在发送之前插入调度数据。
以上概括了本发明的特征和技术优点，使本领域的技术人员能够更好地理解下文对本发明的详细描述。以下要描述构成本发明权利要求书主题的本发明的附加特征及其优点。本领域技术人员能够看出，很容易用所述的概念和具体实施例为基础来修改或是设计其他结构，同样可以达到本发明的目的。本领域的技术人员还能理解到此类等效的结构不会脱离本发明主要形式的原理和范围。
在以下具体描述本发明之前，对这一专利文献中普遍使用的一些词汇或短语的定义加以说明是有益的“包括”和“包含”及其派生词的意思是不受限制的含括；术语“或”是指包括，意思是和/或；短语“有关”和“与之有关”及其派生词的意思可能是包括，包括在内，相互连接，包含，包含在内，连接到，耦合到，可与其通信，协作，交错，并列，靠近，受约束，具有，有某种性质等等；而术语“控制器”意指用来控制至少一种操作的任何设备，系统或是其部件，无论该设备是硬件，固件，软件或是其中至少两种的某些组合。应该注意到与任何具体控制器有关的功能性都可以是集中或分散的，无论是在本地还是远方。在整篇专利文献中提供了对某些词汇和短语的定义，本领域的技术人员都能理解这样的定义，它们在现有技术中即使不是最常用的也有例可查，并且在未来会用到如此定义的词汇和短语。
为了更完整地理解本发明，以下要参照附图来说明，图中对类似对象采用了类似的编号，在附图中

图1表示一种数据传输系统，在其中按照本发明的一个实施例能够在一个广播流内部实现自适应内容插入；图2具体表示按照本发明的一个实施例在一个广播流内自适应地插入内容的系统；图3表示按照本发明的一个实施例在一个广播流内自适应地插入内容的程序的高级流程图；图4表示按照本发明的一个实施例在一个广播流内执行自适应内容插入过程中的一个有效带宽预测或评估程序的高级流程图；图5表示按照本发明的一个实施例在一个广播流内执行自适应内容插入过程中的一个优先化和数据调度程序的高级流程图；以及图6表示按照本发明的一个实施例在一个广播流内执行自适应内容插入过程中的一个数据插入程序的高级流程图。
在本专利文献中，以下所述的图1到6和用来解释本发明的各种实施例都是为了说明而并非要以任何方式限制本发明的范围。本领域技术人员都能理解还能用任何适当安排的设备来实现本发明。
图1表示一种数据传输系统，在其中按照本发明的一个实施例能够在一个广播流内部实现自适应内容插入。数据传输系统100包括由一条通信链路103耦合的发射机101和接收机102。按照公知技术，通信链路103可以是无线空间接口通信信道或是有线的分组-或电路-切换式通信网络信道。具体的实施例中，发射机101和接收机102分别是高清晰度电视(HDTV)发射机和接收机。然而，发射机101和接收机102也可以是在其中执行本地内容插入的一种数据传输系统(包括语音，数据或语音和数据通信系统)中采用的任何发射机/接收机。
具体实施例中的发射机101包括由一条通信链路112耦合的一个远程发射机110和一个本地发射机111。术语“本地”和“远程”并非是指地理位置，而是为了描述各个发射机111和110在传输链中相对于接收机102的关系--也就是传输链内的本地发射机111比较远程发射机110更加靠近接收机102。按照公知技术，通信链路103和通信链路112可以是无线空间接口通信信道或是有线的分组-或电路-切换式通信网络信道。
图2具体表示按照本发明的一个实施例在一个广播流内自适应地插入内容的系统。本地发射机(准确地说是转播发射机)111从远程发射机110接收初始传输流200并且插入内容形成一个新的传输流201，然后将其发送给接收机。
优良的数据插入系统应该满足以下要求(1)数据插入不会破坏性干扰当前的节目；(2)及时传输数据；以及(3)最大限度利用有效带宽。本发明包括能够嵌入多媒体应用数据和/或MPEG-2传输流中任何其他文本数据的一种自适应数据插入系统，它由两个阶段组成在对传输流的节目新近消耗的带宽进行分析的基础上预测/评估带宽，并且插入数据，用它替代体现出有效带宽量的选定分组(例如是空白分组或音频层分组)。
本地发射机111内部的带宽(BW)评估器202跟踪各个分组类型标识符(PId)所消耗的带宽，包括空白分组等可替代的分组，在一个给定周期内用各个不同的分组类型标识符计数分组数量。然后利用这些统计来预测传输流中未来的有效带宽。
数据调度器203接收对未来有效带宽的评估，优先化并调度需要插入到来的初始传输流200中的数据流。为此，数据调度器203要接收数据描述204，它是需要插入到来的初始传输流200中的数据的一个轮廓，例如是包括要插入的数据文件的名称和或统一资源定位器(URL)，传输所需(或理想的)的比特率，用于插入的所需的调度等等。要插入的数据可以是多媒体内容，例如是联合图像专家组(JPEG)标准图形图像或是音频声音轨迹文件，或是其他任何二进制(字节-代码)或文本数据。
数据调度器203根据从带宽评估器202获得的预测的有效带宽和从数据描述204获得的所需/理想比特率来优先化并调度需要插入到来的初始传输流200中的数据流，这样就能满足特定数据流或是资源所需的比特率。
一旦调度好数据流，本地发射机111内部的分组插入器205就在到来的传输流200中查找可替代分组(例如是空白分组)，并且在新的传输流201内部用当前调度的插入数据的数据分组替代这些分组。分组插入器205包含一个用分组类型标识符表示的分组类型目录，它在到来的传输流200内部是可以替代的。可以用本地发射机上的一个本地管理器来配置这种系统。到来的传输流200内部的不可替代分组直接通过分组插入器205进入新的传输流201。
插入数据流(包括需要插入到来的传输流200内部的内容的数据流)必须在与到来的传输流200所采用的相一致的数据格式内部进行编组，在本实施例中是MPEG-2数据格式。在一种高级MPEG-2数据格式内部，根据应用可以有多级数据包装。数据发生器206获得所要插入内容的原始数据207并且按MPEG-2数据格式包装这种数据，例如是MPEG-2片段或是分组(即188字节分组)。数据发生器206不需要构成本地发射机111的一部分，而是可以作为一个外部实体按规定的格式制备数据分组。同样，用于插入内容的数据描述204和数据文件207也不必由本地发射机111来提供，而是可以从一个可利用的远程设备和因特网连接上得到。然而，数据发生器206，数据描述204和数据文207都可以作为本地发射机111的一部分并且/或是存储在其内。
图3表示按照本发明的一个实施例在一个广播流内用于自适应内容插入的程序的高级流程图。由图2的本地发射机111执行的程序300从本地发射机接收到一个请求开始(步301)，由本地发射机接替在传输流中进行未来的内容插入。首先根据传输流的当前特性来执行对未来的内容插入有效的未来带宽的评估或是预测(步302)。然后根据预测/评估的未来有效带宽来优先化并调度请求的内容插入数据(步303)。可以在带宽评估和优先化/调度等步骤的同时在本地发射机内部或是一个远程实体内部包装请求的内容插入数据(步304)。或是在带宽评估和优先化/调度等步骤前、后执行对插入数据的包装。
然后在传输流内部插入所述插入内容的数据(步305)，在可能的情况下替代到来的传输流内部的可替代分组，并且将修改后的传输流发送给接收机或是下一个转播发射机。程序要一直等待(步306)到接收到下一个内容插入请求。本领域的技术人员能够理解，如上所述能够同时或是重叠地(完全或是局部)地处理多个内容插入请求。
图4表示按照本发明的一个实施例在一个广播流内执行自适应内容插入过程中的一个有效带宽预测或评估程序的高级流程图。对应着图3中的步骤302并且由图2的带宽评估器202来执行的程序400从带宽评估的初始化开始(步401)。最初按照例如是1秒(对于高清晰度数字电视频道大约是12,830个MPEG-2传输流分组)的短周期测量可利用带宽(步402)。通过计数在测量间隔中检测到的各个唯一的分组类型标识符的分组数量来测量可利用带宽，然后计算在测量间隔期间在传输流内部的可替代分组的数量。
对于作为本实施例主体的电视广播系统，可利用带宽对整个一个特定节目或多或少是均匀的，但是在从一个节目切换到另外一个(例如是从新闻节目切换到一个电影或是反向切换)时往往会有急剧的变化。然而，只要分析系统信息表和/或电子节目指南(EPG)数据(步403)，例如是分析提供了当前和未来节目配置的事件信息表(EIT)，这种变化是可以预测的。类似于系统信息表的资源-例如是按照一天时间的函数跟踪可利用带宽的历史记录表-在其他环境下可以采用。
利用对系统信息表的分析连同对可替代分组的计算来完成对未来有效带宽的评估或预测(步404)。由于带宽测量是周期性执行的，所以在重复可利用带宽测量步骤和对未来可用的带宽产生更新的评估之前，允许用完采样周期之间的间隔(步405)。程序可以一直继续到被一个外部程序终止。
在Advanced Te1evision Systems Committee(ATSC，高级电视系统委员会)高清晰度(HD)内容上所执行的实验揭示出，电视节目的平均可利用带宽在某种程度上与节目类型有关。例如，一个新闻节目的平均可利用带宽与电影是不同的。结合着EIT内部的节目信息，可以用最新(最后一刻采样的)统计来评估通常要延迟30分钟的下一个节目的可利用带宽。因此，如果按十分钟间隔产生评估，按照评估的时间，这种评估对此后的10，20或30分钟都是有用的。
可利用带宽评估的绝对值取决于节目的视频质量。采用两个节目之间的相对带宽信息来预测未来的带宽，在电视节目中嵌入商业广告的情况例外。如果在执行带宽评估程序的过程中放弃虚假的尖峰和低谷，并且/或通过用其他常用的检测方法(删节检测)推导出关于一个特定节目其总体上可利用带宽的更精确的信息以便联合地识别出这种尖峰，这样就能改善可利用带宽评估的精度。
图5表示按照本发明的一个实施例在一个广播流内执行自适应内容插入过程中的一个优先化和数据调度程序的高级流程图。对应着图3中的步骤303并且由图2的数据调度器203执行的程序500从带宽评估器接收一个带宽评估开始(步501)。然后分析(步502)所请求的插入内容的数据描述，并且确定(步503)是否有足够的可利用带宽能够用于插入具有给定的有关带宽，定时和比特率要求的特定内容。
数据描述通常包括要插入内容(如果数据不在本地，调度器可以预先取得内容)的数据文件的名称(和URL)；数据文件的大小；理想(或所需)的比特率；插入的频率，若该内容需要在传输流内部反复发送；为特定插入内容传送数据流的次序(例如是在传送数据流2之前按相同的比特率传送数据流1)；以及插入内容的紧要性或优先级。根据以上参数就能确定评估的带宽是否满足插入的需要。
如果带宽有效性评估根据各个插入内容的大小(带宽要求)和理想的比特率预测出在至少一块插入内容的有关插入周期期间有足够的带宽可供使用，就调度各个插入内容(步504)。如果需要插入多块内容，就根据这一块的数据描述中相关的紧要性/优先级、带宽有效性评估内部的(剩余)有效带宽、以及(由数据描述中获得的)各块内容所需的特定比特率来调度要插入的每一块。
如果预测的有效带宽不足以在不影响或破坏到来传输流内部的内容质量的条件下插入所要求的内容块，就不为这一内容安排插入。然而，对紧要的本地信息可以例外，例如是更新的本地天气预报信息，但是应该尽量减少对被插入内容的广播流的质量的影响。同样，在调度好先前要求的插入内容之后，对需要插入的具有高优先级的插入内容也可以实现调度内容的优先。
数据调度器还需要为要插入的调度内容制备数据传输流分组(188字节分组)(步505)，然后等待(步506)直至接收到一个更新的未来有效带宽评估(或是对内容插入的新请求)。
图6表示按照本发明的一个实施例在一个广播流内执行自适应内容插入过程中的一个数据插入程序的高级流程图。对应着图3中的步骤305并且由图2的分组插入器205来执行的程序600从调度要插入的内容开始(步601)。检查到来的传输流分组(步602)，按照预先对应着可替代分组(例如是一个空白分组)的一个分组类型标识符的指示来确定该分组是不是一个可替代分组(步603)。
如果找到一个可作为可替代分组的特定分组，就在发送给接收机的传输流内的这一可替代分组的位置上，插入由数据调度器调度和制备的分组数据流中的一个分组(步604)。另外，有关的系统信息-主要是内部系统信息分组例如是节目图表(PMT)分组--需要修改，以包括新插入数据流的识别信息。对系统分组的修改是用更新的版本号发送新的系统信息表，或者是利用新的系统表分组替代现有的系统表来实现的。
在分组插入过程中必须要保证分配给新数据流的分组类型标识符不能与现有的分组类型标识符有冲突。所插入的数据流的某些分组类型标识符信息不会出现在节目图表中，而是可能出现在其他的表中。例如，为一种应用规定的某些数据流在发送时可能不包括诸如节目图表等标准表内部的分组类型标识符，例如是在一个业务提供者用只有某些接收器才能理解的“硬-编码”分组类型标识符传送数据流时，系统层为MPEG-2提供了在一般情况下的灵活性。
本发明为在MPEG-2传输流中插入和替代内容提供了一种通用的系统。它可以用C++面向对象的算法来实现，这种算法非常灵活并且适用于多路复用器，多路分解器等各种配置，并且易于扩展成接纳新的协议栈。
尽管本文中披露的是MPBG-2系统，本发明同样适合在MPEG-4数据流中插入数据，特别是因为MPEG-4是基于需要更加精确的数据插入间隔尺寸的一种可定标的对象级编码。本发明还涉及基于MPEG-7的、在元数据插入环境中的应用。
本发明是根据及时插入低带宽数据业务而不干扰广播流，同时又要明智地利用有效带宽的需要而产生的。例如，包括超文本标记语言(HTML)页面、可扩展标记语言(XML)文件、以及与视频内容有关的可下载文件等在内的数据业务需要评估有效带宽，以便区分数据业务的优先次序并及时传送，因为有些数据业务是与视频内容严格同步的。
众多应用和系统都可以有益地采用本发明。可以采用本发明来插入与一项应用/用户业务有关的应用数据，例如Java类文件，图像文件，触发器或文本数据。本发明同样可以用来在传输流中插入本地广告信息，或是用本地化或私人化广告流替代普通的广告流。尽管在音频和视频之间需要更加严格的同步，仍可以利用本发明来执行用不同语言的音频内容替代一种音频内容，假设插入音频流具有与被替代数据流基本上相同的定时。还可以插入不同语言的闭路字幕信息。
值得注意的是本发明在上下文中是按全功能的硬件系统和/或网络来描述的，本领域的技术人员都能看出，本发明的机构能够以包含各种形式指令的机器适用介质的形式来分配，不管实际被用来执行分配的信号载体介质的特殊类型，本发明都同样适合。机器适用介质的例子包括非易失性硬编码型介质，例如是只读存储器(ROM)或是可擦除电子编程只读存储器(EEPROM)，诸如软盘，硬盘驱动器和小型盘只读存储器(CD-ROM)或是数字通用盘(DVD)等可记录型介质，以及诸如数字和模拟通信网络等传输型介质。
尽管上文已经详细描述了本发明，本领域的技术人员都能理解，不脱离本发明主要形式的原理和范围还有各种各样的改变，替代和变更。
权利要求
1.在传输流200内部插入数据又没有破坏性干扰的一种自适应数据插入机构，包括带宽评估器202，用于对上述传输流200内部的未来有效带宽产生一个评估；一个调度器203，用于根据对未来有效带宽的上述评估和插入内容207的特性204来优先化和调度要插入上述传输流200内部的上述插入内容207；以及一个插入单元205，用于通过替代上述传输流200内部选定的可替代内容而在上述传输流200内部插入被调度的插入内容，以形成一个新的传输流201。
2.按照权利要求1的自适应数据插入机构，其特征是上述带宽评估器202根据对上述传输流200的周期性可利用带宽测量和关于上述传输流200要发送的当前和未来节目的信息来产生对未来可利用带宽的上述评估。
3.按照权利要求1的自适应数据插入机构，其特征是上述插入单元205用上述插入内容207的分组替代包括一个或多个选定的分组类型标识符之一的、上述传输流100内部选定的分组，同时放过那些包括与上述选定的分组类型标识符不相同的分组类型标识符的分组，以形成上述新的传输流201。
4.按照权利要求3的自适应数据插入机构，其特征是上述插入单元205替代MPEG-2传输流内部的空白分组。
5.一种收发信机111，包括接收一个到来的传输流200的输入连接；发送一个新的传输流201的一个输出连接，上述新的传输流201包括上述到来的传输流200的至少一部分；以及一种自适应数据插入机构，用于在上述到来的传输流200内部插入数据且又没有破坏性干扰，它包括带宽评估器202，用于对上述传输流200内部的未来有效带宽产生一个评估；一个调度器203，用于根据对未来有效带宽的上述评估和从独立于上述到来的传输流200的一个来源所获得的插入内容207的特性204来优先化和调度要插入上述新传输流201内部的插入内容207；以及一个插入单元205，用于通过替代上述到来的传输流200内部选定的可替代内容而在上述新传输流201内部插入被调度的插入内容207，以形成上述新的传输流201。
6.按照权利要求5的收发信机，其特征是上述带宽评估器202根据对上述到来的传输流200进行的周期性可利用带宽测量和关于上述到来的传输流200要发送的当前和未来节目的信息来产生对未来可利用带宽的上述评估。
7.按照权利要求5的收发信机，其特征是上述插入单元205用上述插入内容207的分组替代包括一个或多个选定的分组类型标识符之一的、上述到来的传输流200内部选定的分组，同时放过那些包括与上述选定的分组类型标识符不相同的分组类型标识符的分组，以形成上述新的传输流201。
8.按照权利要求6的自收发信机，其特征是上述插入单元205替代MPEG-2传输流内部的空白分组。
9.在传输流200内部插入数据又没有破坏性干扰的一种自适应数据插入方法，包括对传输流200内部的未来有效带宽产生一个评估；根据对未来有效带宽的评估和插入内容207的特性204来优先化和调度要插入传输流200内部的插入内容207；以及通过替代传输流200内部选定的可替代内容而在传输流200内部插入被调度的插入内容207，以形成一个新的传输流201。
10.按照权利要求9的方法，其特征是对传输流200内部的未来有效带宽产生评估的步骤进一步包括根据对传输流200的周期性可利用带宽测量和关于传输流200要发送的当前和未来节目的信息来产生对未来可利用带宽的评估。
11.按照权利要求9的方法，其特征是通过替代传输流200内部选定的可替代内容而在传输流内部插入被调度的插入内容207以形成一个新的传输流201的步骤进一步包括用插入内容207的分组替代包括一个或多个选定的分组类型标识符之一的、在传输流200内部选定的分组，同时放过那些包括与上述选定的分组类型标识符不相同的分组类型标识符的分组，以形成上述新的传输流201。
12.按照权利要求11的方法，其特征是所述用插入内容207的分组替代包括一个或多个选定的分组类型标识符之一的、在传输流100内部选定的分组，同时放过那些包括与上述选定的分组类型标识符不相同的分组类型标识符的分组，以形成上述新的传输流201的步骤进一步包括替代MPEG-2传输流内部选定的空白分组。
13.在传输流200内部插入数据又没有破坏性干扰的一种自适应数据插入的计算机程序产品，包括用来对传输流200内部的未来有效带宽产生评估的指令；根据对未来有效带宽的评估和插入内容207的特性204来优先化和调度要插入传输流内部的插入内容207的指令；以及用来通过替代传输流200内部选定的可替代内容而在传输流200内部插入被调度的插入内容207以形成一个新的传输流201的指令。
14.按照权利要求13的计算机程序产品，其特征是对传输流200内部的未来有效带宽产生评估的指令进一步包括根据对传输流200的周期性可利用带宽测量和关于传输流200要发送的当前和未来节目的信息来产生对未来可利用带宽的评估的指令。
15.按照权利要求14的计算机程序产品，其特征是所述通过替代传输流200内部选定的可替代内容而在传输流200内部插入被调度的插入内容207以形成一个新的传输流201的指令进一步包括用插入内容207的分组替代包括一个或多个选定的分组类型标识符之一的、在传输流200内部选定的分组，同时放过那些包括与上述选定的分组类型标识符不相同的分组类型标识符的分组，以形成上述新的传输流201的指令。
16.按照权利要求15的计算机程序产品，其特征是用插入内容207的分组替代包括一个或多个选定的分组类型标识符之一的、在传输流200内部选定的分组，同时放过那些包括与上述选定的分组类型标识符不相同的分组类型标识符的分组，以形成上述新的传输流201的指令进一步包括替代MPEG-2传输流内部选定的空白分组的指令。
17.一种数据传输流201，包括从一个传输流200获取的第一部分；以及从插入内容207获取的第二部分，其中第一部分与第二部分的比例是这样确定的，即对代表上述传输流200内部选定的可替代内容的上述传输流200的内部的有效带宽进行评估，并且通过用上述插入内容部分207替代上述在传输流200内部选定的可替代内容而插入上述插入内容207，以便形成上述数据传输流201。
18.按照权利要求17的数据传输流201，其特征是对上述传输流200内部有效带宽的上述评估是根据对上述传输流200的周期性可利用带宽测量和关于上述传输流200要发送的未来节目的信息获取的。
19.按照权利要求17的数据传输流201，其特征是上述第一部分进一步包括上述传输流200内部的、包括与一个或多个选定的分组类型标识符不相同的分组类型标识符的分组；并且上述第二部分进一步包括上述插入内容的、用来替代上述传输流200内包括上述一个或多个选定的分组类型标识符之一的分组的分组。
20.按照权利要求19的数据传输流201，其特征是上述第二部分进一步包括用来替代构成上述传输流200的一个MPEG-2传输流内部的空白分组的、上述插入内容207的分组。
全文摘要
一种自适应数据插入机构，它通过分析传输流中近来被普通节目消耗的带宽来执行对未来有效带宽的预测/评估，并且通过替代传输流内部选定的分组而插入数据。对未来有效带宽的评估是通过对带宽利用进行周期性采样而产生的，还有关于即将来临的节目变化的信息。采用有效带宽评估来优先化和调度传输流内的数据插入。通过替代接收的传输流内被选定的分组而在发送之前插入调度数据。
文档编号H04N7/24GK1460377SQ02800937
公开日2003年12月3日 申请日期2002年3月19日 优先权日2001年3月29日
发明者K·V·德瓦拉 申请人:皇家菲利浦电子有限公司