一种码流传输方法及装置的制造方法
【专利摘要】一种码流传输方法及装置。所述方法在接收到用户发出的接入命令时，编码器编码生成刷新帧，将刷新帧及后面的码流发送到已有连接的解码器，将作为所述刷新帧的参考帧的I帧、刷新帧及后面的码流发送到新建连接的解码器；其中所述刷新帧的帧间预测的参考帧是当前图像组的首个I帧。本发明可以实现快速随机接入，强制生成刷新帧，不会造成很大的瞬时码率波动，对已有连接影响较小。
【专利说明】
一种码流传输方法及装置
技术领域
[0001]本发明属于视频编解码技术领域，特别涉及一种可实现快速随机接入的码流传输方法及装置。
【背景技术】
[0002]随着社会经济的发展，人们对安全的需要越来越迫切，视频监控技术相应的得到越来越广泛的应用。在公共场所、交通道路、楼宇内部乃至私宅内部都需要视频监控设备，以实时或事后提供快速、清晰的视频图像。
[0003]目前，视频监控技术领域中仍存在诸多技术缺陷。例如，为了达到低码率，通常需要将I帧间隔设置很长。但是，由于解码时需要向前找到I帧才能开始解码，意味着越长的I帧间隔在随机接入时就越困难。因此，如果I帧间隔长，则向前查找的时间也就越长。
[0004]随着视频监控对象或地点的多样化，需要支持多路连接的视频编码器，以能够同时支持多路传输的视频图像编码和解码。对于支持多路连接的视频编码器来说，一个新建立的连接需要在视频序列中立即插入一个I帧，以便能即刻播放当前视频。具体地，在视频编码器和视频解码器建立连接的时间点上，视频编码器在当前的编码处理中强制插入一个I帧(打乱原有的I帧间隔设置)，从该I帧起始，将码流发送到解码器，同时该I帧也必须被发送到其它已经建立连接的视频解码器。采用上述方式，新插入的I帧会对已有的连接造成影响，这是由于I帧通常较大，将I帧发送给视频解码器，会带来较大的瞬时码率的波动。
[0005]针对上述问题，有人提出了一种减少播放等待时间的视频编码方法，该方法提出了 “插队帧”的概念。具体来说，为视频流的图像组设置至少一个P帧作为插队帧，该插队帧为短期参考帧，当前图像组的I帧作为长期参考帧。插队帧只参考当前G0P(Group ofPictrues，图像组)的I帧，并且在反馈新用户的插入请求时，将当前GOP的I帧和插队帧反馈给新用户，使得新用户能够快速的接入当前视频流，从而减少了新观众的等待时间。这种方法可以应用于流媒体广播，以求达到减少新切入用户的等待时间的目的。
[0006]但是，上述技术方案存在以下问题:由于插队帧的间隔(设为NI)固定，在接收到新用户切入的信息后，该方案不能马上插入一个插队帧，而是要等待一个固定时刻，即等待直到下一个插队帧到来才可以播放。每个用户等待的时间与用户具体切入的时间点有关，当用户在插队帧的后一时刻接入时，则就要等待将近间距NI的时间，而在插队帧前一时刻接入时，就能得到最快的反馈，因此采用该技术方案，用户的等待时间是不可控的。
[0007]因此，需要提供一种可实现快速随机接入的码流传输方法及装置，以实现快速、可控的视频接入，克服现有技术中存在的上述缺陷。
【发明内容】
[0008]本发明的目的是提供一种码流传输方法及装置，可以实现快速随机接入，强制生成刷新帧，不会造成很大的瞬时码率波动，对已有连接影响较小。
[0009]为实现上述目的，本发明的一方面提供了一种码流传输方法，所述码流包括多个图像组，每个图像组包括至少一个I帧和该I帧之后与其存在参考关系的多个刷新帧和多个普通帧，所述方法包括:编码器接收到用户发出的接入命令；编码器编码生成刷新帧，所述刷新帧的帧间预测的参考帧是当前图像组的首个I帧；将作为所述刷新帧的参考帧的I帧发送到新建连接的解码器；以及将刷新帧及后面的码流发送到新建连接的解码器。
[0010]在编码器编码生成刷新帧的步骤之后还包括:将所生成的刷新帧及后面的码流发送到已有连接的解码器。
[0011]可选的，还包括编码器编码生成普通帧的步骤，所述普通帧采用帧内预测和/或帧间预测产生。
[0012]可选的，所述普通帧参考其前面最近的I帧、最近的刷新帧、和/或最近的刷新帧与当前帧之间的普通帧进行帧间预测。
[0013]可选的，相邻两个刷新帧之间包含多个普通帧，相邻两个刷新帧之间的间隔是可变或固定的。
[0014]可选的，所述刷新帧是新用户接入后在预定时刻生成或新用户接入时强制生成。
[0015]优选的，在所述编码器编码生成刷新帧的步骤之前，还包括预存当前图像组的首个I帧的步骤。
[0016]根据本发明的另一方面，提供了一种码流传输装置，所述码流包括多个图像组，每个图像组包括至少一个I帧和该I帧之后与其存在参考关系的多个刷新帧和多个普通帧，所述装置包括:编码器，用于编码生成I帧、刷新帧和普通帧，将所述普通帧和/或刷新帧发送给建立连接的用户的解码器，所述刷新帧的帧间预测的参考帧是当前图像组的首个I帧；缓存单元，用于预存当前图像组的首个I帧，以将预存的I帧发送给新建连接的解码器；和发送单元，用于将所述编码器生成的普通帧、刷新帧和/或预存的I帧发送给建立连接的用户的解码器。
[0017]可选的，所述编码器在新用户的接入时刻强制生成刷新帧，或者在新用户的接入时刻等待下一个刷新帧的生成。
[0018]可选的，所述编码器采用帧内预测和/或帧间预测生成普通帧。
[0019]可选的，所述编码器参考前面最近的I帧、最近的刷新帧、和/或最近的刷新帧与当前帧之间的普通帧进行帧间预测生成普通帧。
[0020]可选的，相邻两个刷新帧之间包含多个普通帧，相邻两个刷新帧之间的间隔是可变或固定的。
[0021]可选的，所述编码器将所生成的刷新帧及其后的码流发送至已有连接的解码器。
[0022]可选的，所述编码器将作为所述刷新帧的参考帧的I帧和刷新帧及其后的码流先后或同时发送至新建连接的解码器。
[0023]本发明实施方式提供的码流传输装置，在接收到新用户随机接入命令时，编码器会立即响应，在编码处理中强制生成刷新帧，从而可以最快时间播放，而不需要等到某一个固定时刻，与用户的具体切入时间点无关，因此更灵活有效。此外，由于刷新帧的尺寸远小于I帧，因此相对于传统的插入I帧的方式，本发明采用强制生成并发送刷新帧的方式，不会造成很大的瞬时码率波动，对已有连接影响较小。
【附图说明】
[0024]图1显示了现有技术的视频图像码流帧结构示意图；
[0025]图2是根据本发明的视频图像码流帧结构的示意图；
[0026]图3是根据本发明优选实施方式的码流传输方法的流程图；
[0027]图4显示了本发明另一实施方式的码流传输方法的流程图；
[0028]图5显示了本发明一实施方式的码流传输装置的结构示意图；
[0029]图6显示了图5所示码流传输装置的编码器的结构示意图。
【具体实施方式】
[0030]为使本发明的目的、技术方案和优点更加清楚明了，下面结合【具体实施方式】并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0031]图1显示了现有技术的视频图像码流帧结构示意图。
[0032]在现有技术的视频图像码流帧结构中，由I帧及其后与其存在参考关系的多个普通P帧组成一个图像集合以构成一个图像组，简称GOP (Group of Pictrues)。如图1所示，相邻的两个I帧(例如图中的IjP 12)之间构成一个G0P，一个GOP的长度不定，至少要包含一个I帧和多个P帧。
[0033]I帧是视频编解码标准规定的一种帧类型，其采用帧内预测方式编码，是一种自带全部信息的独立帧，可以独立解码，其解码过程不会依赖于之前的图像。
[0034]P帧属于普通帧，也称前向预测参考帧，在编码过程中既可以采用帧内预测方式，也可以参考其前面的P帧或者I帧进行帧间预测，即考虑运动的特性对时间域的冗余信息进行帧间压缩。
[0035]在传统的多客户端编解码和传输系统中，当新观众想要切入视频流时需要等候。例如，当前的新用户切入视频流时:假设服务器端编码和发送的图像组GOP长度为100帧，整个视频流共200帧，则服务器需要发送的码流记为码流S，如码流S表示为:S -1idP1P2…
P 了 P P...P
rSg110r1irIC^ r 199 °
[0036]码流S中，字母I和P分别表示各帧的编码类型，下标数字表示各帧在视频流中的编码和显示顺序。由于P帧的解码结果必须依赖于同一 GOP的I帧，因此，在传统的多客户端视频编解码和传输系统中，新观众必须等候下一个GOP的I帧到达，才能正确地解码和显示视频流。
[0037]在现有技术的一种视频接入方法中，在编码器和解码器建立连接的时间点上，编码器在当前的编码处理中强制插入一个I帧(打乱原有的I帧间隔设置)，从该I帧起始，将码流发送到解码器；同时该I帧也必须被发送到其它已经建立连接的解码器。但是，由于I帧通常较大，将I帧发送给视频解码器，会带来较大的瞬时码率的波动，使得新插入的I帧对已有的连接造成不利影响。
[0038]在现有技术的另一种视频接入方法中，为视频流的图像组设置至少一个P帧作为插队帧，该插队帧为短期参考帧，当前图像组的I帧作为长期参考帧。插队帧只参考当前GOP的I帧，在反馈新用户的插入请求时，将当前GOP的I帧和插队帧反馈给新用户，使得新用户能够快速的接入当前视频流，从而减少了新观众的等待时间。但是，由于插队帧的间隔(设为NI)固定，在接收到新用户切入的信息后，该方法需要等待到下一个插队帧到来才可以播放，即不能立即插入插队帧，导致用户需要等待插队帧间隔的时间，从而经常出现视频接入延迟的现象，影响视频观看体验。
[0039]本发明提供了一种码流传输方法及装置，可以理解为一种可以实现快速随机接入的码流传输方法及装置。为实现本发明的快速随机接入视频的目的，本发明提出了一种新型的视频图像码流帧结构，参见下面的图2。
[0040]图2是根据本发明的视频图像码流帧结构的示意图。
[0041]如图2所示，本发明中，在现有技术的视频图像码流帧结构基础上新设置了刷新帧，本发明的视频图像码流的一个图像组包括至少一个I帧和该I帧之后与其直接或间接存在参考关系的多个刷新帧和多个普通帧。也就是说，I帧及其后与其直接或间接存在参考关系的刷新帧、普通帧组成的一个图像集合构成一个图像组G0P。
[0042]I帧是视频编解码标准规定的一种帧类型，其采用帧内预测方式编码，是一种自带全部信息的独立帧，可以独立解码，其解码过程不会依赖于之前的图像。
[0043]普通帧是包含视频图像信息的帧，也称前向预测参考帧。在视频码流传输过程中，普通帧由编码器根据预定的时刻和规格编码实时产生，形成一系列的普通帧序列，从而构成视频码流。普通帧可以是P帧，也可以是B帧，本文中为了描述方便，以P帧为例进行说明，但不限制于此。
[0044]如图2中的箭头所示，普通帧在编码过程中可以采用帧内预测或帧间预测方式，具体来说，普通帧可以参考其前面最近的I帧、最近的刷新帧、或最近的刷新帧与当前帧之间的普通帧进行帧间预测而产生，但通常不参考最近的刷新帧之前的普通帧，从而考虑运动的特性对时间域的冗余信息进行帧间压缩。在其他可选实施方式中，例如在GOP编码方式中也可以参考B帧进行帧间预测。
[0045]刷新帧是一种特殊的P帧，刷新帧由编码器根据预定的时刻和规格编码产生，也可以根据实际需要随机产生。本发明中，系统在需要产生刷新帧时会向编码器发出一个强制生成命令，使编码器强制生成刷新帧，刷新帧通常优先形成为比所在时刻的普通帧具有更好的图像质量，从而实现对当前时刻的普通帧进行质量提升，但本发明不限制于此。
[0046]如图2所示，刷新帧按照预定的间隔生成在普通帧之间，构成其后的普通帧的参考对象。刷新帧的预测方式与普通P帧基本相同，可以采用帧内预测和/或帧间预测的方式。不同的是，刷新帧的帧间预测的参考帧限定为当前图像组(即刷新帧所属的图像组)的首个I帧，不参考前面的普通P帧。也就是说，刷新帧是参考其前面所在图像组的首个I帧进行帧间预测而生成。
[0047]如图2所示，刷新帧产生的时刻可以预先设定，或者根据视频播放的实际需要随机发出指令设定。相邻两个刷新帧之间的间隔(间隔普通帧的数量)可以固定或不固定，在两个相邻I帧之间可以包括N个刷新帧(N多O)。通过这样设置，可以实现在随机访问或者视频回放时可以快速检索和快速解码，减少解码等待时间。本发明中，刷新帧的编码方式可以根据播放视频对象的格式、视频源文件质量、接入客户要求的视频播放质量等实际情况进行选择，可以采用本领域常用的编码方式，但不限于此。只要保证刷新帧的参考关系能够实现快速随机接入，任何已知或未知的编码方式均可适用于本发明，从而能够在长GOP的情况下实现了快速的随机接入。
[0048]在本发明的帧结构中，相邻的两个I帧之间包含有多个普通帧和刷新帧，相邻两个刷新帧之间包含多个普通帧。相邻两个刷新帧之间的间隔是可变的，例如，相邻两个刷新帧之间的间隔可以为I秒或2秒。
[0049]现有技术中，由于I帧间隔很大，客户端需要等候下一个GOP的I帧到达，才能正确地解码和显示视频流，这会导致等待较长时间，造成码流传输和解码的延迟。对于强制插入一个I帧以启动发送码流的方案，由于I帧的尺寸(数据量大小)通常较大，强制插入的I帧会带来较大的瞬时码率的波动，使得新插入的I帧对已有的连接造成不利影响。
[0050]在本发明中，预定或随机的强制生成刷新帧，通过刷新帧实现快速随机接入，客户端不用等候下一个I帧到达即可接入，使得相邻两个I帧的间隔可以形成为很大，可远大于一般视频监控中的I帧间隔。例如，一般视频监控的I帧间隔为50秒，在本发明中，视频监控的I帧间隔可以达到几分钟、几十分钟、几个小时、几天甚至更长，这样可以保持较低码率波动，减小传输数据量。
[0051]另一方面，本发明通过刷新帧实现快速随机接入，使得相邻两个I帧的间隔可以形成为很大，既避免了强制插入额外的I帧，又避免了采用过多数量的I帧，从而可以大大减少码流的数据尺寸，提高传输速率。因此，本发明中，I帧的尺寸可以形成为远大于刷新帧或普通帧的尺寸。在本发明的优选实施例中，I帧的尺寸形成为刷新帧的10倍以上，在前景(即场景中的运动物体)较少的场景中，如在车流较少的马路或者无人的室内等，I帧的尺寸形成为P帧的50倍甚至更多。
[0052]通常，一个GOP的长度不定，至少要包含一个I帧。在背景不变的场景中，相邻两个I帧之间的间隔(即G0P)可以很长，至少为I个小时，例如3?5个小时。在室内场景光照条件不变的场景中，相邻两个I帧之间的间隔(即G0P)至少为I天，例如，3?5天甚至一周。在本发明中，通过引入具有刷新帧的帧结构，可以使得在长GOP的情况下(理论上该GOP可几天甚至几个月)，实现了快速的随机接入。进一步，本发明的技术方案能够更好的使用长GOP，从而大大节省了码率。
[0053]基于上述本发明的视频图像码流帧结构，下面参考图3对本发明实施方式的码流传输方法进行说明。
[0054]图3是根据本发明优选实施方式的码流传输方法的流程图。
[0055]如图3所示，根据本发明优选实施方式的码流传输方法包括:
[0056]步骤SI，编码器接收到用户发出的接入命令。
[0057]在本发明的码流传输方法中，对某个视频对象来说，编码器向解码器发送实时视频码流(以下简称码流)时，可能已经有若干个用户在线连接获取码流(进行在线视频预览等)，这些已经存在的在线连接称为“已有连接”。
[0058]当有新的用户需要在线访问码流时(例如进行在线视频预览等)，会向编码器发送一个的随机接入命令，该新接入的连接称为“新建连接”。
[0059]编码器在接收到该随机接入命令时，与解码器建立连接，形成一个新的随机接入。其中，编码器和解码器建立连接的时间点称为接入时刻，即可被认为是需要解码显示的起始点，也即新生成的刷新帧显示的时刻。
[0060]步骤S2，编码器编码生成刷新帧。
[0061]在编码器端，当编码器接收到随机接入命令时，启动刷新帧编码机制，编码生成刷新帧并发送给解码器，新产生的刷新帧的帧间预测仅参考当前图像组的首个I帧，因而能够在当前时刻及时显示出来，而无需等待。但是，本发明并不限制于此，新产生的刷新帧也可以设置为等待一定时间间隔后显示。
[0062]刷新帧由编码器根据预定的时刻和规格编码产生，也可以根据实际需要随机产生。本发明中，系统在需要产生刷新帧时会向编码器发出一个强制生成命令，使编码器强制生成刷新帧。
[0063]由于刷新帧远小于I帧大小，一般I帧的大小是刷新帧的10倍以上，在前景(即场景中的运动物体)较少的场景中，如在车流较少的马路或者无人的室内等，I帧的大小是P帧的50倍甚至更多。因此，产生并发送一个刷新帧，对于已存在连接的瞬时码率影响较小，不会影响用户接入的速度。
[0064]步骤S3，将所生成的刷新帧及后面的码流发送到已有连接的解码器。
[0065]对某个视频对象来说，可能已经有若干个用户在线连接获取码流(进行在线视频预览等)，这些已经存在的在线连接称为“已有连接”。本步骤中，编码器在接入时刻将刷新帧及后面的码流发送到所述若干个“已有连接”的解码器。由于刷新帧能够及时显示，并且具有比普通帧更优的图像质量，对于已经接入的用户来说，新用户的随机接入行为不会影响其播放速度和播放质量。
[0066]步骤S4，将作为所述刷新帧的参考帧的I帧发送到新建连接的解码器。
[0067]如前所述，每个图像组GOP包含至少一个I帧及该I帧之后存在参考关系的多个刷新帧和多个普通帧。本发明中，在生成某个GOP时，该GOP的首个I帧预先存储在编码器的缓存内。编码器在编码刷新帧的同时，向新建连接的解码器发送该预存的I帧，解码器接收到该GOP预存的I帧后即可启动解码操作。当前的图像组GOP发送完毕后，当生成下一个GOP时，会生成下一个GOP的首个I帧，此时将下一个GOP的首个I帧存储在编码器的缓存内，并替换掉前一个GOP的首个I帧，从而启动下一个GOP的编码解码操作。
[0068]步骤S5，将刷新帧及后面的码流发送到新建连接的解码器。
[0069]本步骤中，编码器在接入时刻将刷新帧及后面的码流发送到新建连接的解码器。编码器向解码器发送完I帧后，在当前编码处理中强制生成步骤S2中编码出的刷新帧，再向解码器发送该刷新帧，从而可以使得解码器实现对视频码流快速接收和解码，进而快速播放该视频码流给用户，这样可以保证在在随机接入时以最快速度播放视频码流。
[0070]由于刷新帧能够及时显示，并且具有比普通帧更优的图像质量，对于已经接入的用户来说，新用户的随机接入行为不会影响其播放速度和播放质量。
[0071]本发明中，步骤S3与步骤S4和步骤S5可以同时执行或先后执行，步骤S4与步骤S5可以同时执行或先后执行。
[0072]图4显示了本发明另一实施方式的码流传输方法的流程图。
[0073]在图4所示实施例中，步骤S4与步骤S5同时执行，即对于新建连接的用户来说，编码器在编码生成刷新帧之后，同时将预存的I帧和刷新帧发送到新建连接的解码器。
[0074]如上所述，在本发明的实施方式中，编码器对于已经存在的随机接入连接和新建立的随机接入连接，在向解码器发送刷新帧时采用不同的机制。
[0075]由于编码器基于已连接用户的请求已经建立了多条随机接入连接。S卩，在执行上述步骤S1、步骤S2的同时，编码器处于编码处理过程中，向解码器发送实时视频码流。在此过程中，当编码器执行完步骤S2后，会在当前编码处理器过程中强制生成刷新帧，然后向解码器发送该刷新帧。也就是说，编码器在编码出一个刷新帧后，即向当前编码处理中强制生成刷新帧，而不需要等待某个固定时刻，从而可以使得解码器实现对视频码流快速接收和解码，进而快速播放该视频码流给用户，满足用户的视频访问需要。
[0076]在本发明中，编码器是指视频码流的编码和发送设备，例如包括网络摄像机、视频服务器等具有此类功能的设备或模块。解码器是指视频码流的解码和接收设备，例如包括客户端软件、浏览器控件、网络硬盘录像机等具有此类功能的设备或模块。
[0077]根据本发明实施方式的码流传输方法，在接收到新用户随机接入命令时，编码器会立即响应并强制编码生成刷新帧，在编码处理中实时生成刷新帧，从而实现快速高质量的码流传输和播放，而不需要等到某一个固定时刻，与用户的具体切入时间点无关，因此更灵活有效。此外，由于刷新帧的尺寸远小于I帧，能够在保持较长I帧间隔(从而保持较低码率)的同时，实现快速随机接入，因此相对于传统的插入I帧的方式来说，本发明方法中新的随机接入不会造成很大的瞬时码率波动，对已有连接影响较小。
[0078]图5显示了本发明一实施方式的码流传输装置的结构示意图。
[0079]如图5所示，本发明优选实施方式的码流传输装置包括编码器1、缓存单元2和发送单元3。
[0080]编码器I用于编码生成I帧、刷新帧和普通帧，将所述生成的普通帧和/或刷新帧通过发送单元发送给建立连接的用户的解码器。
[0081]缓存单元2用于预存当前图像组的首个I帧，以将预存的I帧通过发送单元发送给新建连接的解码器。
[0082]发送单元3连接到编码器I和缓存单元2，用于将编码器生成的数据帧和/或缓存单元中预存的I帧发送给解码器，包括已有连接的解码器和新建连接的解码器。
[0083]在本发明的实施方式中，当有新的用户需要在线访问码流时，向编码器I发送一个随机接入命令。编码器I在接收到该随机接入命令时，与解码器建立新的随机接入连接。其中，编码器和解码器建立随机接入连接的时间点称为接入时刻，即可被认为是需要解码显示的起始点。
[0084]在本发明的优选实施例中，编码器I在该新用户的接入时刻强制生成刷新帧，由于编码器I基于之前用户的请求，已经建立了多条随机接入连接。即，编码器I在响应新用户的随机接入命令和编码刷新帧的同时，也处于编码处理过程中，向解码器实时发送普通帧形成的视频码流。在另一可选实施例中，编码器I也可以在新用户的接入时刻等待下一个刷新帧的生成。
[0085]在此过程中，当编码器I编码出刷新帧后，向解码器发送该刷新帧，而不需等待某个特定时刻，从而可以使得解码器实现对视频码流快速接收和解码，进而快速播放该视频码流给用户，这样可以保证在在随机接入时以最快速度播放视频码流。
[0086]在本发明的实施方式中，编码器可以为视频码流的编码设备，例如:网络摄像机、视频服务器等具有此类功能的设备或模块。解码器可以为视频码流的解码和接收设备，例如:客户端软件、浏览器控件、网络硬盘录像机等具有此类功能的设备或模块。
[0087]图6显示了图5所示码流传输装置的编码器的结构示意图。
[0088]如图6所示，在本发明的实施方式中，编码器I包括第一编码单元11和第二编码单元12。
[0089]第一编码单元11用于编码生成普通帧。普通帧是包含视频图像信息的帧，在正常的码流传输过程中，第一编码单元11对已经建立连接的用户持续的编码生成普通帧，并通过发送单元发送给已连接用户的解码器。
[0090]第二编码单元12用于编码生成刷新帧。刷新帧比普通帧具有更好的图像质量，从而实现在预定的时刻对当前时刻的普通帧进行质量提升。刷新帧产生的时刻可以预先设定，或者根据视频播放的实际需要发出指令设定。相邻两个刷新帧之间的间隔(间隔普通帧的数量)可以固定或不固定。
[0091]编码器I在接收到新的随机接入命令时，与解码器建立新的随机接入连接，此时第二编码单元12编码出一个刷新帧，向解码器发送刷新帧。
[0092]在本发明的实施方式中，编码器I对于已经存在的随机接入连接和新建立的随机接入连接，在向解码器发送刷新帧时采用不同的机制。
[0093]一方面，编码器I对于接收到新的随机接入命令时已经存在的随机接入连接，在第二编码单元12编码生成刷新帧后，将该刷新帧及其后的码流发送至已有连接的解码器。
[0094]另一方面，编码器I对于新建立的随机接入连接，在第二编码单元12编码出一个刷新帧的同时，向解码器发送预存的I帧，同时发送该刷新帧至解码器。也就是说，对于新建立的随机接入连接，编码器I先向解码器发送预先保存的I帧，再发送刷新帧。
[0095]通过上述不同机制的帧发送方式，从而可以使得解码器实现对视频码流快速接收和解码，进而快速播放该视频码流给用户，同时保证不会影响已连接用户的码流传输速度和质量，这样可以保证在在随机接入时以最快速度播放视频码流。
[0096]如上所述，根据本发明实施方式的码流传输装置，在接收到新用户随机接入命令时，编码器会立即响应，在编码处理中强制生成刷新帧，从而可以最快时间播放，而不需要等到某一个固定时刻，与用户的具体切入时间点无关，因此更灵活有效。此外，由于刷新帧的尺寸远小于I帧，因此相对于传统的插入I帧的方式，本发明采用强制生成并发送刷新帧的方式，不会造成很大的瞬时码率波动，对已有连接影响较小。
[0097]应当理解的是，本发明的上述【具体实施方式】仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
【主权项】
1.一种码流传输方法，所述码流包括多个图像组，每个图像组包括至少一个I帧和该I帧之后与其存在参考关系的多个刷新帧和多个普通帧，所述方法包括: 编码器接收到用户发出的接入命令； 编码器编码生成刷新帧，所述刷新帧的帧间预测的参考帧是当前图像组的首个I帧； 将作为所述刷新帧的参考帧的I帧发送到新建连接的解码器；以及 将刷新帧及后面的码流发送到新建连接的解码器。2.根据权利要求1所述的码流传输方法，在编码器编码生成刷新帧的步骤之后还包括:将所生成的刷新帧及后面的码流发送到已有连接的解码器。3.根据权利要求1或2所述的码流传输方法，还包括编码器编码生成普通帧的步骤，所述普通帧采用帧内预测和/或帧间预测产生。4.根据权利要求3所述的码流传输方法，所述普通帧参考其前面最近的I帧、最近的刷新帧、和/或最近的刷新帧与当前帧之间的普通帧进行帧间预测。5.根据权利要求1或2所述的码流传输方法，其特征在于，相邻两个刷新帧之间包含多个普通帧，相邻两个刷新帧之间的间隔是可变或固定的。6.根据权利要求1或2所述的码流传输方法，其特征在于，所述刷新帧是新用户接入后在预定时刻生成或新用户接入时强制生成。7.根据权利要求1或2所述的码流传输方法，在所述编码器编码生成刷新帧的步骤之前，还包括预存当前图像组的首个I帧的步骤。8.一种码流传输装置，所述码流包括多个图像组，每个图像组包括至少一个I帧和该I帧之后与其存在参考关系的多个刷新帧和多个普通帧，所述装置包括: 编码器，用于编码生成I帧、刷新帧和普通帧，将所述普通帧和/或刷新帧发送给建立连接的用户的解码器，所述刷新帧的帧间预测的参考帧是当前图像组的首个I帧； 缓存单元，用于预存当前图像组的首个I帧，以将预存的I帧发送给新建连接的解码器；和 发送单元，用于将所述编码器生成的普通帧、刷新帧和/或预存的I帧发送给建立连接的用户的解码器。9.根据权利要求8所述的码流传输装置，所述编码器在新用户的接入时刻强制生成刷新帧，或者在新用户的接入时刻等待下一个刷新帧的生成。10.根据权利要求8所述的码流传输装置，所述编码器采用帧内预测和/或帧间预测生成普通帧。11.根据权利要求10所述的码流传输装置，所述编码器参考前面最近的I帧、最近的刷新帧、和/或最近的刷新帧与当前帧之间的普通帧进行帧间预测生成普通帧。12.根据权利要求8-11中任一项所述的码流传输装置，相邻两个刷新帧之间包含多个普通帧，相邻两个刷新帧之间的间隔是可变或固定的。13.根据权利要求8-11中任一项所述的码流传输装置，所述编码器将所生成的刷新帧及其后的码流发送至已有连接的解码器。14.根据权利要求8-11中任一项所述的码流传输装置，所述编码器将作为所述刷新帧的参考帧的I帧和刷新帧及其后的码流先后或同时发送至新建连接的解码器。
【文档编号】H04N19/177GK105847790SQ201510023470
【公开日】2016年8月10日
【申请日】2015年1月16日
【发明人】谢小燕, 浦世亮, 师恩义, 俞海
【申请人】杭州海康威视数字技术股份有限公司