一种内容感知的显示控制方法与流程

本发明涉及图像显示控制的，尤其涉及一种内容感知的显示控制方法。

背景技术：

1、液晶显示器本身并不发光需要背光源为显示区域提供亮度，传统显示器背光无法自适应调节导致图像显示质量较差，进而影响图像显示效果，无法凸显原始图像的对比度。针对该问题，本发明提出一种内容感知的显示控制方法，智能化感知图像内容并自适应调节显示器不同点位的亮度，提高显示图像整体对比度，增强显示效果。

技术实现思路

1、有鉴于此，本发明提供一种内容感知的显示控制方法，目的在于：1)构建得到一种内容感知模型，依次提取待显示图像的关键目标图、添加先验语料信息的嵌入向量，并基于嵌入向量对先验语料信息进行迭代优化，得到待显示图像中结合上下文信息的先验语料分布向量，即感知内容向量，实现图像的内容感知，并选取符合预设感知内容的待显示图像中的图像区域作为感知目标实体图像，利用感知目标背光修正模型对待显示图像中感知目标实体图像进行自适应亮度修正，智能化感知图像内容并自适应调节显示器不同点位的亮度，提高显示图像整体对比度，增强显示效果；2)利用学习率随迭代次数自适应变换的双曲正切优化算法对模型参数迭代优化，令学习率在所设置的最小学习率以及奇偶迭代周期的最大学习率之间交替循环变换，避免模型难以收敛或局限于局部最小值，可以快速求解得到全局最优模型参数以及最优内容感知模型。

2、实现上述目的，本发明提供的一种内容感知的显示控制方法，包括以下步骤：

3、s1：构建内容感知模型以及训练损失函数，所构建模型包括目标实体感知模块、特征融合嵌入模块以及感知内容输出模块，其中目标实体感知模块以待显示图像为输入，以关键目标图为输出，特征融合嵌入模块以关键目标图和先验语料为输入，以嵌入向量为输出，感知内容输出模块以嵌入向量为输入，以感知内容向量为输出；

4、s2：基于训练损失函数对内容感知模型参数进行迭代优化，得到最优内容感知模型，其中双曲正切优化算法为模型参数迭代优化的主要实施方法；

5、s3：利用最优内容感知模型对待显示图像进行目标实体感知，得到不同图像区域的感知内容向量，并选取符合预设感知内容的图像区域作为感知目标实体图像；

6、s4：构建感知目标背光修正模型，所构建模型以感知目标实体图像为输入，以修正背光后的图像为输出；

7、s5：利用感知目标背光修正模型对待显示图像中感知目标实体图像进行修正，并将修正后的待显示图像进行显示。

8、作为本发明的进一步改进方法：

9、可选地，所述s1步骤中构建内容感知模型中的目标实体感知模块，包括：

10、构建内容感知模型中的目标实体感知模块，其中目标实体感知模块以待显示图像为输入，以关键目标图为输出；

11、目标实体感知模块包括特征图提取层、3层关键目标检测层以及输出层，特征图提取层包括卷积层以及池化层，用于对输入图像进行卷积、池化处理，得到输出图像的特征图，关键目标检测层包括卷积层，用于对特征图进行卷积处理，得到特征图的关键目标中心点、关键目标中心点目标框以及关键目标关系，输出层输出标记关键目标的特征图，作为关键目标图；

12、其中目标实体感知模块中的待优化参数为不同卷积层中卷积核的权重以及偏置量，卷积层中卷积核的尺寸为3×3×3，分别对应输入图像的宽、长以及颜色通道。

13、可选地，所述s1步骤中构建内容感知模型中的特征融合嵌入模块，包括：

14、构建内容感知模型中的特征融合嵌入模块，其中特征融合嵌入模块以关键目标图和先验语料为输入，以嵌入向量为输出，先验语料为关键目标图中关键目标的先验语义关系，在本发明实施例中，本发明通过获取待显示图像，将待显示图像转换为关键目标图，为关键目标图中不同关键目标之间增加关系谓语并统计关系谓语的概率，得到待显示图像中关键目标之间关系谓语的概率分布，作为关键目标的先验语义关系；

15、特征融合嵌入模块为编码结构，包括全连接层以及输出层，其中全连接层用于将关键目标图以及先验语料进行嵌入整合，输出层将嵌入整合结果作为嵌入向量进行输出，其中特征融合嵌入模块中的待优化参数为全连接层的矩阵向量。

16、可选地，所述s1步骤中构建内容感知模型中的感知内容输出模块，包括：

17、构建内容感知模型中的感知内容输出模块，其中感知内容输出模块以嵌入向量为输入，以感知内容向量为输出；

18、感知内容输出模块为基于感知内容解码的lstm结构，利用lstm对嵌入向量中的先验语料进行迭代更新，得到嵌入向量中结合上下文的先验语料分布向量，作为嵌入向量的感知内容向量；其中基于lstm结构的嵌入向量迭代更新流程为：

19、s11：令当前迭代次数为k，k的初始值为0，设置最大迭代次数为k；

20、s12：更新感知内容输出模块中lstm结构状态以及先验语料分布：

21、a1k+1＝sigmoid(wa1,ff+wa1,mmk)

22、a2k+1＝sigmoid(wa2,ff+wa2,mmk)

23、a3k+1＝sigmoid(wa3,ff+wa3,mmk)

24、a4k+1＝a2k+1⊙a1k+1⊙tanh(wa4,ff+wa4,mmk)

25、mk+1＝a3k+1⊙a4k+1

26、其中：

27、f表示输入感知内容输出模块的嵌入向量，mk表示先验语料的第k次迭代结果，m0表示输入到特征融合嵌入模块的先验语料；

28、a1、a2、a3、a4分别表示lstm结构的输入门、遗忘门、输出门以及记忆单元，a1k+1,a2k+1,a3k+1,a4k+1为第k+1次迭代后的lstm结构状态；

29、wa1,f,wa2,f,wa3,f,wa4,f分别表示lstm结构中输入门、遗忘门、输出门以及记忆单元对嵌入向量处理的权重矩阵向量，wa1,m,wa2,m,wa3,m,wa4,m分别表示lstm结构中输入门、遗忘门、输出门以及记忆单元对先验语料处理的权重矩阵向量；

30、⊙表示逐元素相乘处理；

31、s13：若k+1达到最大迭代次数，即k+1＝k，则将mk+1作为嵌入向量f中结合上下文信息的最终先验语料，并利用softmax函数对mk+1进行处理，得到嵌入向量f的感知内容向量f′＝softmax(mk+1)，其中softmax函数用于得到mk+1中每个关系谓语的概率，作为结合上下文信息的先验语料分布向量，即感知内容向量；

32、否则令k＝k+1，返回步骤s12。

33、可选地，所述s1步骤中构建内容感知模型的训练损失函数，包括：

34、采集d组训练数据构成训练数据集data，其中每组训练数据包括图像以及对应的图像内容描述向量，所构成的训练数据集data的形式为data＝{(id,yd)|d∈[1,d]}，其中(id,yd)表示训练数据集data中的第d组训练数据，id表示第d组训练数据的图像，yd表示图像id所对应的图像内容描述向量；

35、构建用于内容感知模型参数优化的训练损失函数，其中内容感知模型中待优化参数为θ＝[θ1,θ2,θ3]，θ1表示目标实体感知模块中不同卷积层中卷积核的权重以及偏置量，θ2表示特征融合嵌入模块中全连接层的矩阵向量，θ3表示感知内容输出模块中的权重矩阵向量；

36、所构建的训练损失函数f(θ)为：

37、

38、其中：

39、||·||2表示l2范数；

40、表示使得达到最小的θ；

41、f′θ(d)表示将id输入到基于参数θ的内容感知模型中，模型输出的感知内容向量。

42、可选地，所述s2步骤中基于训练损失函数对内容感知模型参数进行迭代优化，包括：

43、基于所构建的训练损失函数f(θ)，对内容感知模型参数θ进行迭代优化，在本发明实施例中，双曲正切优化算法为模型参数迭代优化的主要实施方法，其中迭代优化流程为：

44、s21：设定奇数迭代周期内的最大学习率值为αodd，偶数迭代周期内的最大学习率值为αeven，最小学习率值为αmin，迭代步长为s，当前迭代次数为t，t的初始值为1，最大值为max，初始化内容感知模型参数为θ(0)；

45、s22：计算第t次迭代的训练损失函数梯度gt：

46、

47、其中：

48、表示梯度算子；

49、若gt-gt-1小于预设置的阈值，则终止优化算法迭代，将θt-1作为内容感知模型参数迭代优化结果θ*，并基于θ*构建最优内容感知模型，否则转向步骤s23；

50、s23：计算第t次迭代的梯度指数移动平均指数qt：

51、qt＝εqt-1+(1-ε)gt

52、其中：

53、ε表示指数衰减率，将其设置为0.91；

54、q0＝0；

55、s24：计算第t次迭代的学习率：

56、

57、

58、

59、其中：

60、λ表示控制恒定学习率长度的参数，c表示学习率形变参数；

61、在本发明实施例中，由于过小的学习率会造成模型收敛速度过缓，使其容易困于局部最小值中，而过大的学习率则会导致训练损失函数大幅震荡，同样导致模型难以收敛，本发明通过将迭代次数划分为奇数迭代周期以及偶数迭代周期，令学习率在所设置的最小学习率以及不同迭代周期的最大学习率之间交替循环变换，随着迭代次数的增加，学习率以多项式曲线的形式上升，当到达最大值后，学习率保持一段时间不变，再以多项式衰减方式快速衰减，以这样的方式进行学习率的周期性变化，避免模型难以收敛或局限于局部最小值，可以快速求解得到全局最优模型参数；

62、s25：迭代优化内容感知模型参数：

63、

64、其中：

65、θt表示内容感知模型参数的第t次迭代结果；

66、令t＝t+1，返回步骤s22。

67、可选地，所述s3步骤中利用最优内容感知模型对待显示图像进行目标实体感知，得到不同图像区域的感知内容向量，包括：

68、将待显示图像输入到最优内容感知模型中，利用最优感知模型对待显示图像进行目标实体感知，其中基于最优感知模型的目标实体感知流程为：

69、s31：获取待显示图像并进行灰度化处理，利用otsu算法对灰度化后的待显示图像进行二值化处理，得到若干前景图像区域；

70、s32：将二值化处理后的前景图像区域在待显示图像中的相同图像区域位置进行标记，得到待显示图像的若干前景区域；在本发明实施例中，所述前景图像区域为待显示图像中前景区域的二值化处理后图像；

71、s33：将待显示图像的前景区域依次输入到最优内容感知模型中，得到每个前景区域的感知内容向量；

72、s34：计算每个前景区域感知内容向量与预设感知内容向量的相似度，将相似度最高的前景区域以及相似度高于预设置阈值的前景区域作为符合预设感知内容的图像区域，将符合预设感知内容的图像区域作为感知目标实体图像；在本发明实施例中，其中相似度计算方法为余弦相似度计算。

73、可选地，所述s4步骤中构建感知目标背光修正模型，包括：

74、构建感知目标背光修正模型，所构建模型以感知目标实体图像为输入，以修正背光后的图像为输出，其中基于感知目标背光修正模型的背光修正流程为：

75、s41：获取感知目标实体图像，计算得到感知目标实体图像中每个像素的亮度值：

76、l(i,j)＝116h(y(i,j))-16

77、y(i,j)＝0.213r(i,j)+0.715g(i,j)+0.072b(i,j)

78、

79、其中：

80、l(i,j)表示感知目标实体图像中像素(i,j)的亮度值，像素(i,j)表示感知目标实体图像中第i行第j列的像素；

81、r(i,j),g(i,j),b(i,j)分别表示感知目标实体图像中像素(i,j)在rgb颜色通道的颜色值；

82、s42：获取感知目标实体图像中每个像素的初始背光值：

83、u(i,j)＝max(r(i,j),g(i,j),b(i,j))

84、其中：

85、u(i,j)表示感知目标实体图像中像素(i,j)的初始背光值；

86、s43：计算得到感知目标实体图像中每个像素的背光修正系数：

87、

88、其中：

89、η(i,j)表示感知目标实体图像中像素(i,j)的背光修正系数；

90、s44：对感知目标实体图像中每个像素的亮度值进行背光修正，得到背光修正后的亮度值：

91、l′(i,j)＝η(i,j)μl(i,j)

92、

93、其中：

94、φ表示预设置的背光修正阈值，μ表示背光修正因子，rand(0.5,1)表示0.5-1之间的随机数，rand(0,0.5)表示0-0.5之间的随机数；

95、l′(i,j)表示感知目标实体图像中像素(i,j)的修正后亮度值；

96、将感知目标实体图像中修正后的像素亮度值映射到rgb颜色通道，得到背光修正后的感知目标实体图像。

97、在本发明实施例中，通过基于背光修正系数以及自适应背光修正因子对感知目标实体图像中的像素进行亮度修正，当背光修正系数较大时，表示像素的初始背光值与亮度值差异较小，亮度分布一致性较高，因此设置较小的背光修正因子进行修正，否则设置较大的背光修正因子进行修正。

98、可选地，所述s5步骤中利用感知目标背光修正模型对待显示图像中感知目标实体图像进行修正，包括：

99、将待显示图像中的感知目标实体图像输入到感知目标背光修正模型中，其中感知目标实体图像为待显示图像中部分区域的图像，并将背光修正后的感知目标实体图像复原至原始位置，得到背光修正后的待显示图像并进行显示。

100、为了解决上述问题，本发明提供一种电子设备，所述电子设备包括：

101、存储器，存储至少一个指令；

102、通信接口，实现电子设备通信；及

103、处理器，执行所述存储器中存储的指令以实现上述所述的内容感知的显示控制方法。

104、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的内容感知的显示控制方法。

105、相对于现有技术，本发明提出一种内容感知的显示控制方法，该技术具有以下优势：

106、首先，本方案提出一种基于内容感知的图像亮度控制方法，构建内容感知模型以及训练损失函数，所构建模型包括目标实体感知模块、特征融合嵌入模块以及感知内容输出模块，通过利用内容感知模型依次提取待显示图像的关键目标图、添加先验语料信息的嵌入向量，并基于嵌入向量对先验语料信息进行迭代优化，得到待显示图像中结合上下文信息的先验语料分布向量，即感知内容向量，实现图像的内容感知，并选取符合预设感知内容的待显示图像中的图像区域作为感知目标实体图像，利用感知目标背光修正模型对待显示图像中感知目标实体图像进行自适应亮度修正，即基于背光修正系数以及自适应背光修正因子对感知目标实体图像中的像素进行亮度修正，当背光修正系数较大时，表示像素的初始背光值与亮度值差异较小，亮度分布一致性较高，因此设置较小的背光修正因子进行修正，否则设置较大的背光修正因子进行修正，从而智能化感知图像内容并自适应调节显示器不同点位的亮度，提高显示图像整体对比度，增强显示效果。

107、同时，本方案提出一种学习率自适应调整的模型参数求解算法，基于所构建的训练损失函数f(θ)，对内容感知模型参数θ进行迭代优化，其中迭代优化流程为：设定奇数迭代周期内的最大学习率值为αodd，偶数迭代周期内的最大学习率值为αeven，最小学习率值为αmin，迭代步长为s，当前迭代次数为t，t的初始值为1，最大值为max，初始化内容感知模型参数为θ(0)；计算第t次迭代的训练损失函数梯度gt：

108、

109、其中：表示梯度算子；若gt-gt-1小于预设置的阈值，则终止优化算法迭代，将θt-1作为内容感知模型参数迭代优化结果θ*，并基于θ*构建最优内容感知模型，否则转向下一步骤；计算第t次迭代的梯度指数移动平均指数qt：

110、qt＝εqt-1+(1-ε)gt

111、其中：ε表示指数衰减率，将其设置为0.91；q0＝0；计算第t次迭代的学习率：

112、

113、

114、

115、其中：λ表示控制恒定学习率长度的参数，c表示学习率形变参数；迭代优化内容感知模型参数：

116、

117、其中：θt表示内容感知模型参数的第t次迭代结果；令t＝t+1，返回梯度计算步骤。由于过小的学习率会造成模型收敛速度过缓，使其容易困于局部最小值中，而过大的学习率则会导致训练损失函数大幅震荡，同样导致模型难以收敛，本方案利用学习率随迭代次数自适应变换的双曲正切优化算法对模型参数迭代优化，令学习率在所设置的最小学习率以及奇偶迭代周期的最大学习率之间交替循环变换，避免模型难以收敛或局限于局部最小值，可以快速求解得到全局最优模型参数以及最优内容感知模型。