一种解决自动曝光硬件统计块和软件检测框不匹配的方法与流程

本发明属于智能监控视频处理，特别涉及一种解决自动曝光硬件统计块和软件检测框不匹配的方法。

背景技术：

1、传统自动曝光算法通常采用分块测光模式，又称多幅面测光、多模式测光或区域分割式测光，主要原理是将画面分成几个块，先测取每个块的亮度，然后经过综合计算，从而决定每个块的测光加权比重，给出一个能兼顾各块的曝光值。一但测光分区块确定了，再想获取比分区块还小的统计信息就存在瓶颈，也就是说，直接使用硬件统计块的信息存在偏差。

2、此外，现有技术中的常用术语如下：

3、自动曝光:auto exposure简记ae，是相机根据外界光线的强弱自动调整曝光量和增益，防止曝光过度或者不足的一种机制。

4、集合：由一个或多个确定的元素所构成的整体。

5、交集：设a，b是两个集合，由所有属于集合a且属于集合b的元素所组成的集合，叫做集合a与集合b的交集。

6、归一化：一种是把数变为0～1之间的小数。

技术实现思路

1、为了解决上述问题，本技术的目的在于：更精确的获取检测框统计信息。

2、具体地，本发明提供一种解决自动曝光硬件统计块和软件检测框不匹配的方法，所述方法包括：

3、s1，获取检测框信息，所述检测框信息由目标检测算法yolov5推理得到，所述检测框信息是一个矩形框由两个坐标点表示：(x0,y0)，(x1,y1)，

4、其中x0为检测框在图像坐标系左上角x轴坐标，

5、x1为检测框在图像坐标系右下角x轴坐标，

6、y0为检测框在图像坐标系左上角y轴坐标，

7、y1为检测框在图像坐标系右下角y轴坐标；

8、获取硬件分块信息，所述硬件分块信息由用户控制，将整幅图像分成zone_w*zone_h块，每块统计r/gr/gb/b四分量平均值信息，其中zone_w取值范围1～15，zone_h取值范围1～15；

9、s2，检测框和硬件分块取交集：

10、根据检测框和硬件分块信息计算交集；

11、s3，交集块数条件判断：

12、判断交集中完全包含分块数是否大于零？则

13、如果否，则进行步骤s4；

14、如果是，则进行步骤s8；

15、s4，计算获取检测框和硬件分块交集最大的分块zone_i；

16、s5，获取zone_i该分块内检测框box_i；

17、s6，软件层面统计box_i检测框信息计算box_s和统计zone_i分块信息计算zone_s；硬件层面统计分块zone_i信息计算zone_h；

18、s7，根据硬件和软件计算获取硬件检测框统计信息：

19、

20、其中，box_h为硬件根据检测框box_i统计信息计算得到的平均亮度值；

21、zone_h为硬件根据分块zone_i统计信息计算得到的平均亮度值；

22、box_s为软件根据检测框box_i统计信息计算得到的平均亮度值；

23、zone_s为软件根据分块zone_i统计信息计算得到的平均亮度值；

24、接着进行步骤s10；

25、s8，直接从步骤s2拿到交集分块信息

26、zone_j(zone_jx0,zone_jx1,zone_jy0,zone_jy1)，

27、zone_jx0为分块zone_j在硬件分块坐标系左上角x轴坐标，

28、zone_jx1为分块zone_j在硬件分块坐标系右下角x轴坐标，

29、zone_jy0为分块zone_j在硬件分块坐标系左上角y轴坐标，

30、zone_jy1为分块zone_j在硬件分块坐标系右下角y轴坐标；

31、接着进行s9；

32、s9，根据分块信息获取硬件统计信息；

33、将整幅图像分成15*15分块，自动曝光模块可以统计r/gr/gb/b四分量平均值信息，使用bt601标准将矩形框内r/g/b转成亮度信息y4，

34、

35、计算：

36、

37、其中，zone_hj是zone_j矩形框硬件统计平均亮度值，

38、y(xi,yi)是zone_j矩形框内每个块的平均亮度值，

39、zone_jx0为分块zone_j在硬件分块坐标系左上角x轴坐标，

40、zone_jx1为分块zone_j在硬件分块坐标系右下角x轴坐标，

41、zone_jy0为分块zone_j在硬件分块坐标系左上角y轴坐标，

42、zone_jy1为分块zone_j在硬件分块坐标系右下角y轴坐标；

43、s10，执行传统自动曝光算法，所述自动曝光算法：曝光量＝感光度*光圈*曝光时间，通过对当前场景的分析，计算配置给图像传感器和图像信号处理的合适的感光度、光圈、曝光时间，使得图像传感器输出或者使得图像信号处理在自动曝光测光之前的图像输出达到一定的亮度。

44、所述步骤s2进一步包括：

45、s2.1，归一化

46、

47、其中x0为检测框在图像坐标系左上角x轴坐标，

48、x1为检测框在图像坐标系右下角x轴坐标，

49、y0为检测框在图像坐标系左上角y轴坐标，

50、y1为检测框在图像坐标系右下角y轴坐标，

51、xmin为检测框归一化左上角x轴坐标，

52、xmax为检测框归一化右下角x轴坐标，

53、ymin为检测框归一化左上角y轴坐标，

54、ymax为检测框归一化右下角y轴坐标，

55、img_w为检测图像的宽，

56、img_h为检测图像的高；

57、s2.2.计算检测坐标落在哪个分块

58、

59、其中zone_w硬件x轴分块个数，

60、zone_h硬件y轴分块个数；

61、zonex0为检测框x0在硬件分块坐标系左上角x轴坐标，

62、zonex1为检测框x1在硬件分块坐标系右下角x轴坐标，

63、zoney0为检测框y0在硬件分块坐标系左上角y轴坐标，

64、zoney1为检测框y1在硬件分块坐标系右下角y轴坐标，

65、s2.3.取交集计算检测框能完全包含的最大分块zone_j

66、zone_j(zone_jx0,zone_jx1,zone_jy0,zone_jy1)

67、

68、其中，ceil向上取整函数，

69、floor向下取整函数，

70、zone_jx0为分块zone_j在硬件分块坐标系左上角x轴坐标，

71、zone_jx1为分块zone_j在硬件分块坐标系右下角x轴坐标，

72、zone_jy0为分块zone_j在硬件分块坐标系左上角y轴坐标，

73、zone_jy1为分块zone_j在硬件分块坐标系右下角y轴坐标。

74、所述步骤s3进一步包括：

75、n＝(zonex1-zonex0)(zoney1-zoney0)   公式(4)

76、其中n为交集分块数，

77、zonex0为检测框x0在硬件分块坐标系左上角x轴坐标，

78、zonex1为检测框x1在硬件分块坐标系右下角x轴坐标，

79、zoney0为检测框y0在硬件分块坐标系左上角y轴坐标，

80、zoney1为检测框y1在硬件分块坐标系右下角y轴坐标，

81、判断n＞0是否成立，

82、如果否，即交集分块数等于零，跳至步骤s4；

83、如果是，即交集分块数大于零，跳至步骤s8。

84、所述步骤s4即获取检测框和分块交集占比最大的一个分块；进一步包括：

85、s4.1.计算检测框中心坐标

86、

87、其中x_center为检测框中心x轴坐标，

88、y_center为检测框中心y轴坐标；

89、s4.2.归一化

90、

91、s4.3.计算检测坐标落在哪个分块

92、

93、s4.4.判断检测框中心坐标是否为整数，

94、s4.4.1.检测框中心坐标不为整,跳至步骤s5；

95、s4.4.2.检测框中心为整数则判断中心坐标和图像中心点位置关系，采用靠近图像中心原则

96、(1)计算x轴坐标

97、

98、(2)计算y轴坐标

99、

100、其中，img_w_center为图像x轴中心坐标，

101、img_h_ceter为图像y轴中心坐标，

102、eps＝10-6。

103、所述步骤s5获取分块zone_i信息：

104、zone_i在硬件分块坐标系(zone_ix0,zone_ix1,zone_iy0,zone_iy1)

105、

106、其中，ceil向上取整函数，

107、floor向下取整函数，

108、zone_ix0为分块zone_i在硬件分块坐标系左上角x轴坐标，

109、zone_ix1为分块zone_i在硬件分块坐标系右下角x轴坐标，

110、zone_iy0为分块zone_i在硬件分块坐标系左上角y轴坐标，

111、zone_iy1为分块zone_i在硬件分块坐标系右下角y轴坐标，

112、zone_i在图像坐标系(zone_ix2,zone_ix3,zone_iy2,zone_iy3)

113、

114、img_w为检测图像的宽，

115、img_h为检测图像的高；

116、zone_w硬件x轴分块个数，

117、zone_h硬件y轴分块个数；

118、zone_ix2为分块zone_i在图像坐标系左上角x轴坐标，

119、zone_ix3为分块zone_i在图像坐标系右下角x轴坐标，

120、zone_iy2为分块zone_i在图像坐标系左上角y轴坐标，

121、zone_iy3为分块zone_i在图像坐标系右下角y轴坐标。

122、所述步骤s6进一步包括：

123、软件层面计算分块内检测框box_i信息；

124、box_i(box_ix0,box_ix1,box_iy0,box_iy1)

125、

126、box_ix0为检测框box_i在图像坐标系左上角x轴坐标，

127、box_ix1为检测框box_i在图像坐标系右下角x轴坐标，

128、box_iy0为检测框box_i在图像坐标系左上角y轴坐标，

129、box_iy0为检测框box_i在图像坐标系右下角y轴坐标，

130、整幅图像每个像素点信息r/g/b，通过遍历box_i矩形框，

131、使用bt601标准将矩形框内r/g/b转成亮度信息y1，

132、y1＝0.299r+0.587g+0.114b   公式(13)

133、计算：

134、

135、其中，box_s是box_i矩形框平均亮度值

136、y(xi.yi)是box_i矩形框内每个像素点的亮度值

137、box_ix0为检测框box_i在图像坐标系左上角x轴坐标，

138、box_ix1为检测框box_i在图像坐标系右下角x轴坐标，

139、box_iy0为检测框box_i在图像坐标系左上角y轴坐标，

140、box_iy0为检测框box_i在图像坐标系右下角y轴坐标；

141、软件层面统计分块内信息；

142、整幅图像每个像素点信息r/g/b，通过遍历zone_i矩形框，

143、使用bt601标准将矩形框内r/g/b转成亮度信息y2，

144、y2＝0.299r+0.587g+0.114b   公式(15)

145、计算：

146、

147、其中，zone_s是zone_i矩形框平均亮度值

148、y(xi.yi)是zone_i矩形框内每个像素点的亮度值

149、zone_ix2为分块zone_i在图像坐标系左上角x轴坐标，

150、zone_ix3为分块zone_i在图像坐标系右下角x轴坐标，

151、zone_iy2为分块zone_i在图像坐标系左上角y轴坐标，

152、zone_iy3为分块zone_i在图像坐标系右下角y轴坐标，硬件统计分块内信息；

153、将整幅图像分成15*15分块，自动曝光模块可以统计r/gr/gb/b四分量平均值信息，使用bt601标准将矩形框内r/g/b转成亮度信息y3，

154、

155、计算：

156、

157、其中，zone_s是zone_i矩形框平均亮度值

158、y(xi.yi)是zone_i矩形框内每个块的亮度值

159、zone_ix0为分块zone_i在硬件分块坐标系左上角x轴坐标，

160、zone_ix1为分块zone_i在硬件分块坐标系右下角x轴坐标，

161、zone_iy0为分块zone_i在硬件分块坐标系左上角y轴坐标，

162、zone_iy1为分块zone_i在硬件分块坐标系右下角y轴坐标。

163、由此，本技术的优势在于：本技术引入软件统计实现硬件不能精确统计的细节；更精确的获取检测框统计信息。