视频处理方法、装置、电子设备和存储介质与流程

本公开涉及人工智能领域，尤其涉及大模型、深度学习领域和图像处理领域。

背景技术：

1、随着大语言模型(large language model，llm)在人工智能领域的成功，其在视觉-语言融合中的应用得到了极大拓展。在一些应用场景中，需要充分理解视频的内容，对视频帧进行编码是理解视频重要的一环。

技术实现思路

1、本公开提供了一种用于视频处理方法、装置、电子设备和存储介质。

2、根据本公开的一方面，提供了一种视频处理方法，包括：

3、基于视频的t个图像帧中每个图像帧的视觉特征，在图像帧中确定关键帧；其中，t为大于或等于2的整数；

4、基于关键帧对应的事件原型，对关键帧进行编码，得到关键帧的编码信息；其中，事件原型是基于关键帧的视觉特征以及关键帧的邻域帧的视觉特征得到的；

5、基于与视频处理任务关联的文本的特征，对图像帧中除关键帧以外的其他图像帧进行编码，得到其他图像帧的编码信息；

6、基于关键帧的编码信息以及其他图像帧的编码信息，得到视频的处理结果。

7、根据本公开的另一方面，提供了一种视频处理装置，包括：

8、关键帧确定模块，用于基于视频的t个图像帧中每个图像帧的视觉特征，在图像帧中确定关键帧；其中，t为大于或等于2的整数；

9、关键帧编码模块，用于基于关键帧对应的事件原型，对关键帧进行编码，得到关键帧的编码信息；其中，事件原型是基于关键帧的视觉特征以及关键帧的邻域帧的视觉特征得到的；

10、其他图像帧编码模块，用于基于与视频处理任务关联的文本的特征，对图像帧中除关键帧以外的其他图像帧进行编码，得到其他图像帧的编码信息；

11、结果确定模块，用于基于关键帧的编码信息以及其他图像帧的编码信息，得到视频的处理结果。

12、据本公开的另一方面，提供了一种电子设备，包括：

13、至少一个处理器；以及

14、与该至少一个处理器通信连接的存储器；其中，

15、该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。

16、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

17、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

18、本公开实施例的技术方案，通过利用所述关键帧对应的事件原型对所述关键帧进行编码，可以尽可能地保留关键帧的事件细节，并且通过利用与视频处理任务关联的文本的特征，对其他图像帧进行编码，可以在其他图像帧中确定并保留与文本相关的信息，压缩与文本不相关的内容。因此，本公开实施例的技术方案可以使关键帧和其他图像帧的特征得到最优利用，在降低内存占用的同时，保留视频的关键事件信息，从而获得良好的编码效率和信息完整性。

19、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种视频处理方法，包括：

2.根据权利要求1所述的方法，其中，所述基于所述关键帧的编码信息以及所述其他图像帧的编码信息，得到所述视频的处理结果，包括：

3.根据权利要求1或2所述的方法，其中，所述基于视频的t个图像帧中每个图像帧的视觉特征，在所述图像帧中确定关键帧，包括：

4.根据权利要求3所述的方法，其中，所述基于所述文本的特征，在所述代表帧中确定所述关键帧，包括：

5.根据权利要求4所述的方法，其中，所述基于每个所述代表帧对应的事件原型以及所述文本的特征，得到每个所述代表帧对应的关联信息，包括：

6.根据权利要求1-5中任一项所述的方法，其中，所述基于所述关键帧对应的事件原型，对所述关键帧进行编码，得到所述关键帧的编码信息，包括：

7.根据权利要求6所述的方法，其中，所述基于所述关键帧对应的空间对象原型以及所述关键帧对应的事件原型，对所述关键帧进行编码，得到所述关键帧的编码信息，包括：

8.根据权利要求1-7中任一项所述的方法，其中，所述基于与视频处理任务关联的文本的特征，对所述图像帧中除所述关键帧以外的其他图像帧进行编码，得到所述其他图像帧的编码信息，包括：

9.根据权利要求8所述的方法，其中，所述基于所述其他图像帧对应的空间对象原型以及所述文本的特征，对所述图像帧中除所述关键帧以外的其他图像帧进行编码，得到所述其他图像帧的编码信息，包括：

10.一种视频处理装置，包括：

11.根据权利要求10所述的装置，其中，所述结果确定模块，还用于：

12.根据权利要求10或11所述的装置，其中，所述关键帧确定模块，包括：

13.根据权利要求12所述的装置，其中，所述关键帧确定子模块，包括：

14.根据权利要求13所述的装置，其中，所述关联确定单元，还用于：

15.根据权利要求10-14中任一项所述的装置，其中，所述关键帧编码模块，包括：

16.根据权利要求15所述的装置，其中，所述关键帧编码子模块，还用于：

17.根据权利要求10-16中任一项所述的装置，其中，所述其他图像帧编码模块，包括：

18.根据权利要求17所述的装置，其中，所述其他图像帧编码子模块，还用于：

19.一种电子设备，包括：

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。

技术总结
本公开提供了视频处理方法、装置、电子设备和存储介质，涉及人工智能领域，尤其涉及大模型、深度学习领域和图像处理领域。具体实现方案为：基于视频的T个图像帧中每个图像帧的视觉特征，在图像帧中确定关键帧；基于关键帧对应的事件原型，对关键帧进行编码，得到关键帧的编码信息；基于与视频处理任务关联的文本的特征，对图像帧中除关键帧以外的其他图像帧进行编码，得到其他图像帧的编码信息；基于关键帧的编码信息以及其他图像帧的编码信息，得到视频的处理结果。

技术研发人员：张继丰
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2025/4/10