专利名称：一种调节视频通讯数据码率的装置和方法
技术领域：
本发明涉及视频通讯技术，特别是涉及一种调节视频通讯数据码率的装置和方法。
背景技术：
在现有的即时通信(IM，Instant Messaging)应用中，视频通讯是一项非常广泛的应用。随着视频通讯的普及，用户对视频通讯的各种需求也越来越多。由于视频通讯占用的带宽比较大，如果网络状况变差，视频通讯所占用的带宽将减少，视频通讯的质量也会受到非常大的影响，需要进行带宽调节。视频通讯数据包括音频数据和视频数据两种，这两种数据是分别传输的，在网络状况变差时，将对音频和视频进行带宽自适应调节。
在现有技术中，无论对于音频还是视频，通常只考虑其自身所占用的网络带宽，所以在一般的带宽调节策略中，音频带宽调节和视频带宽调节是相互独立的。比如说，在网络状况变差后，视频通讯所占用的带宽减小，此时音频带宽和视频带宽均按照一定的原则减少。
基于优化通讯体验的原则，经过调查发现，在视频通讯中，大多数用户比较能够忍受视频断断续续的问题，但是无法忍受声音断断续续听不清楚的问题，这可能是由于用户已经习惯于音频通话。既然现有技术是对音频带宽和视频带宽独立进行调节，所以无法保证音频相对于视频来说优先使用带宽，从而无法解决由于带宽不够导致的用户通讯体验变差的问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种在视频通讯中调节视频通讯数据码率的装置和方法，保证音频数据优先使用带宽。
本发明的目的是通过如下技术方案实现的一种调节视频通讯数据码率的装置，包括音频带宽估计单元、视频码率确定单元和视频输出单元；其中音频带宽估计单元对视频通讯过程中的音频带宽状况进行估计，并将估计出的当前音频带宽状况传输给视频码率确定单元；视频码率确定单元根据当前音频带宽状况确定当前的视频码率，并将所确定的视频码率传输给视频输出单元；视频输出单元根据该视频码率进行视频编码。
所述音频带宽估计单元的个数为N，其中N为大于一的正整数，每个音频带宽估计单元分别对N路视频通讯中一路的音频带宽状况进行估计；所述装置进一步包括多路带宽判断单元，接收所述N个音频带宽估计单元输出的N路音频带宽状况，并根据N个音频带宽估计单元的输出判断当前音频带宽的整体状况后发送至视频码率确定单元；所述视频编码确定单元根据当前音频带宽的整体状况确定当前的视频码率，并将所确定的视频码率传输给视频输出单元。
所述调节视频通讯数据码率的装置位于视频通讯终端上；所述视频输出单元包括摄像头、视频编码器和视频发送单元，摄像头采集的视频数据在视频编码器中进行编码处理后，通过视频发送单元发送。
一种调节视频通讯数据码率的方法，在视频通讯的过程中，执行以下步骤a、估计当前视频通讯的音频带宽的占用情况；b、根据所估计的当前音频带宽的占用情况确定视频码率；c、根据所确定的视频码率进行视频编码。
步骤a所述获取当前音频带宽的占用情况包括对音频数据包的发送和接收进行统计，获取表示音频带宽占用情况的参数；根据所述表示音频带宽占用情况的参数估计当前音频带宽的占用情况。
步骤b所述根据所估计的当前音频带宽的占用情况确定视频码率包括根据步骤a估计的当前音频带宽的占用情况确定视频码率的调节参数；
步骤c所述根据所确定的视频码率进行视频编码包括根据步骤b所确定的视频码率的调节参数进行视频编码。
所述视频通讯为N路视频通讯，其中N为正整数；步骤a所述估计当前音频带宽的占用情况包括分别估计N路视频通讯中每一路的音频带宽的占用情况；根据所估计的N路视频通讯中每一路的音频带宽的占用情况确定当前音频带宽的整体占用情况；在步骤b中，根据所述音频带宽的整体占用情况确定视频码率。
步骤a所述分别估计N路视频通讯中每一路的音频带宽的占用情况包括分别对N路视频通讯中每一路的音频数据包的发送和接收进行统计，获取表示每一路音频带宽占用情况的参数；根据所获取的表示每一路音频带宽占用情况的参数分别估计当前N路视频通讯的音频带宽的占用情况。
所述根据所估计的N路视频通讯的音频带宽的占用情况确定当前音频带宽的整体占用情况包括如果N路视频通讯的音频带宽的占用均变大，则当前音频带宽的整体占用变大；如果有N路视频通讯中至少有一路的音频带宽的占用变小，则当前音频带宽的整体占用变小；否则，当前音频带宽的整体占用不变。
步骤b所述根据所确定的当前音频带宽的整体占用情况确定视频码率包括根据所确定的当前音频带宽的整体占用情况确定视频码率的调节参数；步骤c所述根据所确定的视频码率进行视频编码包括根据步骤b所确定的视频码率的调节参数进行视频编码。
所述表示音频带宽占用情况的参数包括音频数据包的丢包率、抖动和延时中的任一项或任几项的组合。
该方法进一步包括设置一个以上的码率级别，每个码率级别对应的视频码率调节参数的值不同，码率级别越高，按照其所对应的视频码率调节参数值进行视频编码后的视频数据所占用的带宽越大；所述根据当前音频带宽的占用情况确定视频码率的调节参数包括如果当前音频带宽的占用变小，则降低码率级别，并确定降低后的码率级别所对应的视频码率调节参数；如果当前音频带宽的占用变大，则提高码率级别，并确定提高后的码率级别所对应的视频码率调节参数；如果当前音频带宽的占用不变，则保持当前的码率级别，并保持当前码率级别所对应的视频码率调节参数。
所述视频码率的调节参数包括视频帧率、视频质量和视频编码方式中任一项或任几项的组合。
从以上技术方案可以看出，在视频通讯的过程中，通过对音频带宽的占用情况进行估计来确定视频码率，即根据音频带宽的占用情况调节视频带宽，这样，在网络质量不佳时，即音频带宽占用变小时，通过降低视频带宽，在一定程度上提高音频带宽，保证视频通讯的用户的音频数据传输，从而保证了视频通讯用户最基本的话音通讯的需求，不至于由于话音断断续续造成通讯无法进行。
另外，根据本发明的另一方面，在多路视频通讯的过程中，通过对每一路音频带宽的占用情况进行估计来确定当前音频带宽的整体占用情况，根据音频带宽的整体占用情况确定视频码率，即根据音频带宽的整体占用情况调节视频带宽，从而在多路视频通讯时也能够保证音频优先于视频占用带宽。
图1是本发明实施例一的调节视频通讯数据码率的装置结构图。
图2是本发明实施例一的调节视频通讯数据码率的方法流程图。
图3是本发明实施例二的调节视频通讯数据码率的装置结构图。
图4是本发明实施例二的调节视频通讯数据码率的方法流程图。
具体实施例方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的核心思想是在视频通讯的过程中，通过对音频带宽的占用情况进行估计来确定视频码率，并根据所确定的视频码率进行视频编码，即根据音频带宽的占用情况调节视频带宽。
本发明提供了调节视频通讯数据码率的装置，该装置位于视频通讯终端上。在视频通讯终端进行视频通讯的过程中，根据音频带宽状况动态调节视频码率。下面通过两个具体实施例阐述本发明的调节视频通讯数据码率的装置，以及基于该装置所进行的调节视频通讯数据码率的方法。
实施例一图1是本发明实施例一的调节视频通讯数据码率的装置结构图。如图1所示，本实施例的调节视频通讯数据码率的装置包括音频带宽估计单元、视频码率确定单元和视频输出单元。
其中，音频带宽估计单元对视频通讯过程中的音频带宽状况进行定期或实时估计，并将估计出的当前音频带宽状况传输给视频码率确定单元；视频码率确定单元根据当前音频带宽状况确定当前的视频码率，并将所确定的视频码率传输给视频输出单元；视频输出单元根据该视频码率进行视频编码。
优选地，视频输出单元包括摄像头、视频编码器和视频发送单元。视频编码器对摄像头采集的视频数据进行编码处理后，通过视频发送单元将视频数据发送到网络。
图2是本发明实施例一的调节视频通讯数据码率的方法流程图。该方法基于图1所示装置。从图2可以看出，本实施例的方法具体包括如下步骤步骤201音频带宽估计单元在视频通讯过程中估计音频带宽状况，然后将所估计的音频带宽状况发送至视频码率确定单元。
通常，音频带宽估计有定期估计和实时估计两种。从理论上来说，两者没有本质区别，都是对特定周期内，即特定时间段内的音频带宽状况进行估计，区别仅在于实时估计的周期比定期估计的周期短得多。可以根据具体的终端配置情况和网络情况对周期进行配置。
通常，通过对网络音频数据包的发送和接收统计音频数据包的丢包率、抖动和延时这三个参数，这三个参数是表示当前音频带宽占用情况的参数。然后，根据这三个参数来估计当前的音频带宽状况，即判断当前网络的状态是良好还是不良，然后确定一段时间内的音频带宽的变化情况，并向视频码率确定单元发送音频带宽的变化情况。
例如，如果连续十个周期内估计出网络状况不良，说明此时音频带宽大幅减小，则在向视频码率确定单元发送的音频带宽消息中携带音频带宽变小的标识，比如将音频带宽消息中某字段的值设置为LEVEL_DOWN；如果连续十个周期内估计出网络状况良好，说明此时音频带宽大幅增加，则在向视频码率确定单元发送的音频带宽消息中携带音频带宽变大的标识，比如将上述字段的值设置为LEVEL_UP；否则，说明此时音频带宽变化不大，则在向视频码率确定单元发送的音频带宽消息中携带音频带宽不变的标识，比如将上述字段的值设置为LEVEL-KEEP。
步骤202视频码率确定单元根据接收到的音频带宽变化情况，确定视频码率的调节参数，然后输出所确定的调节参数至视频编码单元。
视频码率体现了视频对带宽的占用情况，视频的帧率、质量和编码方式对视频码率有很大影响，可以通过调节这三个参数中的一个或任意组合来调节视频码率。视频的帧率表示每秒中传输的视频帧的数量。视频质量表示图像的清晰程度，视频质量最高为100，此时图像没有失真，通常是通过调节图像的压缩比来调节视频质量，图像的压缩比越高，视频质量越低。由于调节编码方式较为复杂，对视频通讯的影响比较大，往往容易造成延时等问题，因此一般是通过调节视频帧率和/或视频质量来达到快速调节视频码率的目的。
在视频码率确定单元中，保存有预先设置的视频码率级别，每一个级别对应不同视频参数，例如视频帧率和/或视频质量。比如，如果码率分15级，15级码率对应15帧的帧率和100分的视频质量；10级码率对应10帧的帧率和70分的视频质量；5级码率对应5帧的帧率和50分的视频质量，等等。
如果视频码率确定单元接收到的音频带宽消息显示音频带宽变小，则视频码率确定单元将当前视频码率降低一个或一个以上级别，并向视频输出单元输出包含降低后的码率级别所对应的视频参数的视频编码改变消息；如果视频码率确定单元接收到的音频带宽消息显示音频带宽变大，则视频码率确定单元将当前视频码率升高一个或一个以上级别，并向视频输出单元输出包含升高后的码率级别所对应的视频参数的视频编码改变消息；如果视频码率确定单元接收到的音频带宽消息显示音频带宽不变，则视频码率确定单元不改变当前视频码率的级别，不向视频输出单元发送视频编码改变消息。
步骤203视频输出单元在接收到视频码率确定单元发来的视频参数后，根据该视频参数改变视频码率。
优选地，视频输出单元包括摄像头、视频编码器和视频发送单元，视频编码器对摄像头采集的视频数据进行编码处理后，通过视频发送单元发送出去。通常，可以通过改变摄像头的视频输出帧率或者通过改变视频发送单元的发送帧率来改变视频帧率，通过对视频编码器进行配置来改变视频质量。
这样，在网络质量不佳的情况下，随着视频码率的降低，视频数据所占用的带宽减少，相应地，音频数据所占用的带宽增加。这样，虽然视频数据的传输质量在一定程度上受到损害，但是保证了音频数据的传输。
实施例二随着视频通讯的发展，多方视频通讯日益普遍，多方视频通讯是指多个用户同时进行通讯，视频通讯的每个参与方分别与其它参与方建立点对点(P2P，Peer to Peer)连接，分别接收其它参与方发来的视频和音频数据，同时向其它参与方发送视频和音频数据，即进行多路视频通讯。本实施例即针对多方视频通讯的情况调节视频通讯数据码率。
图3是本发明实施例二的调节视频通讯数据码率的装置结构图。如图3所示，本实施例的调节视频通讯数据码率的装置包括至少一个音频带宽估计单元、多路带宽判断单元，视频码率确定单元和视频输出单元。
所述至少一个音频带宽估计单元中的每一个分别对应一路视频通讯，每个音频带宽估计单元分别对视频通讯过程中一路的音频带宽状况进行定期或实时估计，并分别向多路带宽判断单元发送估计出的当前音频带宽状况；多路带宽判断单元根据所接收到的每一路的音频带宽状况判断当前音频带宽的整体状况，然后将该整体状况输出至视频码率确定单元；视频码率确定单元根据当前音频带宽的整体状况确定当前的视频码率，并将所确定的视频码率传输给视频输出单元；视频输出单元该视频码率进行视频编码。
图4是本发明实施例二的调节视频通讯数据码率的方法流程图。该方法基于图3所示装置。从图4可以看出，本实施例的方法具体包括如下步骤步骤401每个音频带宽估计单元在视频通讯过程中估计一路音频带宽状况，然后将所估计的一路音频带宽状况发送至多路带宽判断单元。
每一个音频带宽估计单元具体的操作与步骤201所述的音频带宽估计单元的操作基本相同，不同之处仅在于，每个音频带宽估计单元在本路的音频带宽进行估计之后，向多路带宽判断单元发送音频带宽消息，而不是向视频码率确定单元发送音频带宽消息。在此对步骤401不予赘述。
步骤402多路带宽判断单元根据每个音频带宽估计单元所估计的音频带宽状况判断当前音频带宽的整体状况，并将该整体状况输出至视频码率确定单元。
优选地，在判断多路带宽状况的时候，所遵循的原则是照顾带宽情况最差的一方的通讯，也就是说，只要一路带宽变差，即认为音频带宽的整体状况变差；如果每一路带宽都很好，即认为音频带宽的整体情况变好。
基于以上原则，在本实施例中，多路带宽判断单元采用一票否决的投票机制来判断当前音频带宽的整体状况。
具体做法是，多路带宽判断单元每隔一段时间获取每一路的音频带宽状况，例如采用每隔一分钟轮询每个音频带宽估计单元发来的音频带宽消息的方式来获取每一路的音频带宽状况。然后，根据一票否决的投票机制的原则，判断当前音频带宽的整体状况。如果至少一个音频带宽估计单元发来的音频带宽消息显示音频带宽变小时，则在向视频码率确定单元发送的多路带宽消息中携带多路带宽变小的标识，比如将多路带宽消息中某字段的值设置为LEVEL_DOWN；如果所有音频带宽估计单元发来的音频带宽消息都显示音频带宽变大，则在向视频码率确定单元发送的多路带宽消息中携带多路带宽变大的标识，比如将上述字段的值设置为LEVEL_UP；否则，在向视频码率确定单元发送的多路带宽消息中携带多路带宽不变的标识，比如将上述字段的值设置为LEVEL-KEEP。
步骤403视频码率确定单元根据接收到的音频带宽的整体状况，确定视频码率的调节参数，然后输出所确定的调节参数至视频编码单元。
本步骤与步骤202完全相同，在此不予赘述。
步骤404视频输出单元在接收到视频码率确定单元发来的视频参数后，根据该视频参数改变视频码率。
本步骤与步骤203完全相同，在此不予赘述。
从以上两个具体实施例可以看出，本发明的装置和方法具有如下功能在视频通讯的过程中，音频数据占用带宽的优先级高于视频数据，当音频带宽变小时，降低视频数据的带宽，从而优先保证音频数据对带宽的占用。这样，在网络情况不佳的情况下，可在最大程度上保证进行视频通讯的用户的语音通话不至于中断，满足用户最基本的通讯要求。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种调节视频通讯数据码率的装置，其特征在于，包括音频带宽估计单元、视频码率确定单元和视频输出单元；其中音频带宽估计单元对视频通讯过程中的音频带宽状况进行估计，并将估计出的当前音频带宽状况传输给视频码率确定单元；视频码率确定单元根据当前音频带宽状况确定当前的视频码率，并将所确定的视频码率传输给视频输出单元；视频输出单元根据该视频码率进行视频编码。
2.根据权利要求1所述的装置，其特征在于，所述音频带宽估计单元的个数为N，每个音频带宽估计单元分别对N路视频通讯中一路的音频带宽状况进行估计，其中N为大于一的正整数；所述装置进一步包括多路带宽判断单元，接收所述N个音频带宽估计单元输出的N路音频带宽状况，并根据N个音频带宽估计单元的输出判断当前音频带宽的整体状况后发送至视频码率确定单元；所述视频编码确定单元根据当前音频带宽的整体状况确定当前的视频码率，并将所确定的视频码率传输给视频输出单元。
3.根据权利要求1或2所述的装置，其特征在于，所述调节视频通讯数据码率的装置位于视频通讯终端上；所述视频输出单元包括摄像头、视频编码器和视频发送单元，摄像头采集的视频数据在视频编码器中进行编码处理后，通过视频发送单元发送。
4.一种调节视频通讯数据码率的方法，其特征在于，在视频通讯的过程中，执行以下步骤a、估计当前视频通讯的音频带宽的占用情况；b、根据所估计的当前音频带宽的占用情况确定视频码率；c、根据所确定的视频码率进行视频编码。
5.根据权利要求4所述的方法，其特征在于，步骤a所述获取当前音频带宽的占用情况包括对音频数据包的发送和接收进行统计，获取表示音频带宽占用情况的参数；根据所述表示音频带宽占用情况的参数估计当前音频带宽的占用情况。
6.根据权利要求4所述的方法，其特征在于，步骤b所述根据所估计的当前音频带宽的占用情况确定视频码率包括根据步骤a估计的当前音频带宽的占用情况确定视频码率的调节参数；步骤c所述根据所确定的视频码率进行视频编码包括根据步骤b所确定的视频码率的调节参数进行视频编码。
7.根据权利要求4所述的方法，其特征在于，所述视频通讯为N路视频通讯，其中N为正整数；步骤a所述估计当前音频带宽的占用情况包括分别估计N路视频通讯中每一路的音频带宽的占用情况；根据所估计的N路视频通讯中每一路的音频带宽的占用情况确定当前音频带宽的整体占用情况；在步骤b中，根据所述音频带宽的整体占用情况确定视频码率。
8.根据权利要求7所述的方法，其特征在于，步骤a所述分别估计N路视频通讯中每一路的音频带宽的占用情况包括分别对N路视频通讯中每一路的音频数据包的发送和接收进行统计，获取表示每一路音频带宽占用情况的参数；根据所获取的表示每一路音频带宽占用情况的参数分别估计当前N路视频通讯的音频带宽的占用情况。
9.根据权利要求7所述的方法，其特征在于，所述根据所估计的N路视频通讯的音频带宽的占用情况确定当前音频带宽的整体占用情况包括如果N路视频通讯的音频带宽的占用均变大，则当前音频带宽的整体占用变大；如果有N路视频通讯中至少有一路的音频带宽的占用变小，则当前音频带宽的整体占用变小；否则，当前音频带宽的整体占用不变。
10.根据权利要求7所述的方法，其特征在于，步骤b所述根据所确定的当前音频带宽的整体占用情况确定视频码率包括根据所确定的当前音频带宽的整体占用情况确定视频码率的调节参数；步骤c所述根据所确定的视频码率进行视频编码包括根据步骤b所确定的视频码率的调节参数进行视频编码。
11.根据权利要求5或8所述的方法，其特征在于，所述表示音频带宽占用情况的参数包括音频数据包的丢包率、抖动和延时中的任一项或任几项的组合。
12.根据权利要求6或10所述的方法，其特征在于，进一步包括设置一个以上的码率级别，每个码率级别对应的视频码率调节参数的值不同，码率级别越高，按照其所对应的视频码率调节参数值进行视频编码后的视频数据所占用的带宽越大；所述根据当前音频带宽的占用情况确定视频码率的调节参数包括如果当前音频带宽的占用变小，则降低码率级别，并确定降低后的码率级别所对应的视频码率调节参数；如果当前音频带宽的占用变大，则提高码率级别，并确定提高后的码率级别所对应的视频码率调节参数；如果当前音频带宽的占用不变，则保持当前的码率级别，并保持当前码率级别所对应的视频码率调节参数。
13.根据权利要求12所述的方法，其特征在于，所述视频码率的调节参数包括视频帧率、视频质量和视频编码方式中任一项或任几项的组合。
全文摘要
本发明公开了一种调节视频通讯数据码率的装置，其包括音频带宽估计单元、视频码率确定单元和视频输出单元；音频带宽估计单元对视频通讯过程中的音频带宽状况进行估计，并将音频带宽状况传输给视频码率确定单元；视频码率确定单元根据音频带宽状况确定视频码率，并将视频码率传输给视频输出单元；视频输出单元根据视频码率进行视频编码。本发明还公开了一种调节视频通讯数据码率的方法，其包括估计当前音频带宽的占用情况，根据当前音频带宽的占用情况确定视频码率，根据所确定的视频码率进行视频编码。基于上述装置和方法，可实现根据音频的带宽占用来调节视频的带宽占用，必要时出让视频带宽给音频带宽，保证视频通讯用户的音频数据的收发。
文档编号H04N7/24GK101047845SQ200610066810
公开日2007年10月3日 申请日期2006年3月29日 优先权日2006年3月29日
发明者龚毅, 朱治 申请人:腾讯科技(深圳)有限公司