HEVC帧内编码压缩域的目标检测方法

本发明属于图像处理，具体涉及一种hevc帧内编码压缩域的目标检测方法。

背景技术：

1、传统压缩域视频图像分析中，图像压缩方法采用传统视频图像压缩方法，例如h.264/avc、h.265/hevc、jpeg等压缩标准，它们使用的压缩域特征包括编码块的划分类型、帧内预测模式、帧间运动矢量、变换系数、量化参数等，特征的具体组成和实际使用的压缩标准相关。

2、根据图像分析算法，已有传统压缩域视频图像分析相关工作可以分成基于传统机器学习和基于深度学习的压缩域视频图像分析两类。基于传统机器学习的压缩域图像分析方法是基于块级的、帧级的或序列级的分类算法，常使用的分类器包括lbp(local binarypattern，局部二值模式)、mrf(markov random field，马尔可夫随机场)、svm(supportvector machine，支持向量机)等，还会对压缩域数据进行mv(motion vector，运动向量)的全局运动补偿、空间或时间维度的滤波、缺失数据的插值等预处理操作，但准确率和鲁棒性相对较差，不能实现严格定义的目标检测，即检测出图像中的所有目标物体，同时还要提供检测到的物体的类别和位置，很难应用于复杂环境下的计算机视觉任务；基于深度学习的压缩域视频图像分析方法直接利用已有的编码信息,替代原需要一定网络提取的特征，可以实现和利用重建视频图像接近的分析精度，同时，在推理速度方面有大幅提升。然而，它们仍依赖重建图像去提取空间维度特征，要求视频片段中的关键帧必须是重建图像，需要耗费巨大的计算资源，无法满足实时应用场景的需求。

技术实现思路

1、本发明的目的是提供一种hevc帧内编码压缩域的目标检测方法，在低成本、低延时的前提下提高压缩域目标检测精度。

2、本发明提供的hevc帧内编码压缩域的目标检测方法，具体步骤为：

3、步骤1，构建hevc帧内编码压缩域的目标检测系统，所构建的系统包括hevc解码模块、预处理模块和检测模块，所述hevc解码模块的功能为获得三种帧内编码语法元素，所述预处理模块的功能为对三种帧内编码语法元素进行处理，所述检测模块的功能为获取目标检测结果；

4、步骤2，通过hevc解码模块，对于输入的比特码流，先进行熵解码，再对亮度分量的残差变换系数进行反变换量化，获得三种帧内编码语法元素，即pu(prediction unit，预测单元)划分深度、帧内预测模式和帧内预测残差；

5、步骤3，通过预处理模块，对划分深度图像和预测模式图像进行上采样，即将当前pu的语法元素赋值给它所覆盖的所有像素点；然后对原始残差图像迭代地进行图像增强；

6、步骤4，通过检测模块，对压缩域图像拼接后送入基于深度卷积网络的目标检测器进行目标检测。

7、进一步地：

8、所述三种帧内编码语法元素，具有以下定义：

9、pu划分深度：hevc帧内编码的pu划分包含2n×2n和n×n两种，再结合所属cu(coding unit，编码单元)相对于ctu(coding tree units，编码树单元)的划分深度，即可定义pu相对于ctu的划分深度；pu的划分深度取值在集合{0,1,2,3,4}中；

10、帧内预测模式：对帧内预测模式的统计和h.265/hevc对帧内预测模式的编号一致；

11、帧内预测残差：反变换得到的帧内预测残差像素的取值范围是[-255,255](整数精度)，在数据预处理中被调整到[0,255](浮点精度)。

12、步骤3中，所述划分深度图像和预测模式，是从块级精度上采样至像素级精度，将当前pu的语法元素赋值给它所覆盖的所有像素点。

13、步骤3中，所述对原始残差图像迭代地进行图像增强，其帧内预测残差图像增强使用的是帧内预测策略，用帧内预测过程丰富帧内预测残差图像的内容；

14、残差图像增强时使用已有的帧内预测残差像素作为参考像素，各tu之间并行处理；这样可避免hevc定义的帧内预测过程中pu之间前后约束的问题；

15、残差图像增强处理是迭代的，每次迭代产生的预测图像都是与原始的残差图像相加，作为下一次迭代的参考图像。

16、步骤3中，并行帧内预测时，对参考像素不进行平滑处理，以节省计算成本。

17、步骤3中，原始残差图像先经过帧内预测，得到预测图像，然后对预测图象和原始残差图像进行像素级的相加操作；以上操作被认为是一次残差图像增强处理；以利用增强后的残差图像作为参考，再次进行预测像素计算，即迭代地进行图像增强。

18、步骤4中，所述目标检测器是yolov5目标检测网络。

19、本发明方法能够直接在帧内压缩域图像上进行目标检测，在低成本、低延时的前提下提高目标检测精度。

技术特征：

1.一种hevc帧内编码压缩域的目标检测方法，其特征在于，具体步骤为：

2.根据权利要求1所述的hevc帧内编码压缩域的目标检测方法，其特征在于，所述三种帧内编码语法元素，具体定义如下：

3.根据权利要求1所述的hevc帧内编码压缩域的目标检测方法，其特征在于，步骤(3)中所述对原始残差图像迭代地进行图像增强，其帧内预测残差图像增强使用的是帧内预测策略，用帧内预测过程丰富帧内预测残差图像的内容。

4.根据权利要求3所述的hevc帧内编码压缩域的目标检测方法，其特征在于，步骤(3)中，残差图像增强时使用已有的帧内预测残差像素作为参考像素，各tu之间并行处理；残差图像增强处理是迭代的，每次迭代产生的预测图像都与原始的残差图像相加，作为下一次迭代的参考图像。

5.根据权利要1所述的hevc帧内编码压缩域的目标检测方法，其特征在于，步骤4中所述目标检测器是yolov5目标检测网络。

技术总结
本发明属于图像处理技术领域，具体为一种HEVC帧内编码压缩域的目标检测方法。本发明方法首先构建HEVC帧内编码压缩域的目标检测系统，所构建系统包括HEVC解码模块、预处理模块和检测模块，通过HEVC解码模块获得三种帧内编码语法元素，即PU划分深度、帧内预测模式和帧内预测残差，预处理模块对划分深度图像和预测模式图像进行上采样，对原始残差图像迭代地进行图像增强，检测模块对压缩域图像拼接后送入基于深度卷积网络的目标检测器进行目标检测。采用本方法能够直接在帧内压缩域图像上进行目标检测，在低成本、低延时的前提下提高目标检测精度。

技术研发人员：范益波,张若玉,陈柳宏,荆明娥,龚勇,赵国强,黄晓倩
受保护的技术使用者：复旦大学
技术研发日：
技术公布日：2024/1/15