一种图像中目标区域的确定方法、装置、设备及存储介质与流程

1.本发明属于图像处理技术领域，尤其涉及一种图像中目标区域的确定方法、装置、设备及存储介质。


背景技术：

2.在带有显示屏的电子产品(如电视、电脑、手机、相机、平板电脑等)使用过程中，一个常见的需求是：通过人机交互获知用户希望在图像中选定的目标物体区域。现有技术中比较常见的是“画框”或“画笔涂抹”的方式，“画框”方式即是用户从图像中目标物体的左上角到右下角拖拽画框，来指定要选择的目标物体区域，此种操作方式可以很方便地使用鼠标输入设备完成，而对于其他常见的输入设备(比如触摸屏、遥控、眼球追踪等)来说则比较复杂，且容易造成误操作；另一种“画笔涂抹”方式常用于触屏类输入设备，其操作流程为用户使用手指或者触屏笔在屏幕上涂抹(滑动)，涂抹过程所经过的区域则被标记为已选择区域，这一操作方式流程繁琐而且耗时。此外，一般在确定图像中的目标之后，目标区域的选择对于后续的目标跟踪的效果及效率也有一定影响。
3.因此，亟须一种能简单快速且精确确定图像中目标区域的方法来解决上述问题。


技术实现要素：

4.本发明的目的在于提供一种图像中目标区域的确定方法、装置、设备及存储介质，旨在解决由于现有技术导致人机交互过程中对图像中目标区域的选择操作繁琐、不够智能的问题。
5.一方面，本发明提供了一种图像中目标区域的确定方法，所述方法包括下述步骤：
6.确定图像中的目标及所述目标的位置坐标；
7.根据预设候选目标区域比例，生成一系列以所述目标的位置坐标为中心的候选目标区域；
8.计算每个所述候选目标区域的目标似然分数；
9.将每一目标的所述目标似然分数中分数最高的候选目标区域确定为所述图像中每一目标的目标区域。
10.优选地，所述将每一目标的所述目标似然分数中分数最高的候选目标区域确定为所述图像中每一目标的目标区域的步骤之后，所述方法还包括：
11.根据预设边界调整算法对所述目标区域的边界进行调整。
12.优选地，所述根据预设边界调整算法对所述目标区域的边界进行调整的步骤，包括：
13.根据预设梯度函数确定所述目标区域的待调整边界；
14.根据预设端点调整函数获取所述待调整边界调整后的端点调整坐标。
15.优选地，所述计算每个所述候选目标区域的目标似然分数的步骤，包括：
16.计算每个所述候选目标区域的二值化赋范梯度特征分数，将所述二值化赋范梯度
特征分数作为所述目标似然分数。
17.优选地，所述计算每个所述候选目标区域的目标似然分数的步骤，包括：
18.根据每个所述候选目标区域的颜色直方图，通过预设的目标似然分数计算公式计算每个所述候选目标区域的目标似然分数。
19.优选地，所述根据预设候选目标区域比例，生成一系列以所述目标的位置坐标为中心的候选目标区域的步骤之前，所述方法还包括：
20.设置目标框大小和目标框宽高比，将所述目标框大小和所述目标框宽高比的组合作为所述候选目标区域比例。
21.优选地，所述根据预设候选目标区域比例，生成一系列以所述目标的位置坐标为中心的候选目标区域的步骤之前，所述方法还包括：
22.采用机器学习算法对标准数据集标注的物体矩形框进行聚类，得到所述候选目标区域比例。
23.优选地，所述确定图像中的目标及所述目标的位置坐标的步骤之前，所述方法还包括：
24.接收用户根据所述图像对所述目标的选择。
25.另一方面，本发明提供了一种图像中目标区域的确定装置，所述装置包括：
26.坐标确定单元，用于确定图像中的目标及所述目标的位置坐标；
27.区域生成单元，用于根据预设候选目标区域比例，生成一系列以所述目标的位置坐标为中心的候选目标区域；
28.分数计算单元，用于计算每个所述候选目标区域的目标似然分数；以及
29.区域确定单元，用于将每一目标的所述目标似然分数中分数最高的候选目标区域确定为所述图像中每一目标的目标区域。
30.另一方面，本发明还提供了一种显示设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述图像中目标区域的确定方法所述的步骤。
31.另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像中目标区域的确定方法所述的步骤。
32.本发明确定图像中的目标及目标的位置坐标，根据预设候选目标区域比例，生成一系列以目标的位置坐标为中心的候选目标区域，计算每个候选目标区域的目标似然分数，将每一目标的目标似然分数中分数最高的候选目标区域确定为图像中每一目标的目标区域，使得用户可以通过一次简单的人机交互操作完成目标区域的选择，从而简化了操作流程，并提高了对图像中目标区域选择的智能化程度。
附图说明
33.图1是本发明实施例一提供的图像中目标区域的确定方法的实现流程图；
34.图2是本发明实施例二提供的图像中目标区域的确定方法的实现流程图；
35.图3是本发明实施例三提供的图像中目标区域的确定装置的结构示意图；
36.图4是本发明实施例四提供的图像中目标区域的确定装置的结构示意图；以及
37.图5是本发明实施例五提供的显示设备的结构示意图。
具体实施方式
38.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
39.以下结合具体实施例对本发明的具体实现进行详细描述：
40.实施例一：
41.图1示出了本发明实施例一提供的图像中目标区域的确定方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
42.在步骤s101中，确定图像中的目标及目标的位置坐标。
43.本发明实施例适用于显示设备，例如电视、电脑、手机、相机、平板电脑等。根据用户对图像中目标的选择方式，确定图像中的目标及目标的位置坐标，选择方式包括但不限于位置坐标的直接输入、点击、触摸、红外等，本发明不做限定。
44.在步骤s102中，根据预设候选目标区域比例，生成一系列以目标的位置坐标为中心的候选目标区域。
45.在本发明实施例中，预设候选目标区域比例可以是根据经验人工设定的，也可以是从标注的数据通过机器学习算法计算得到的，每个候选目标区域可以为一个矩形框，也可以是其他一些常见的规则图形，例如，三角形、圆形等，在此，本发明对候选目标区域的形状不进行具体的限定。
46.在生成一系列以目标的位置坐标为中心的候选目标区域之前，优选地，设置目标框大小和目标框宽高比，将目标框大小和目标框宽高比的组合作为候选目标区域比例，该目标框可以是矩形框，从而提高生成的候选目标区域的有效性和合理性。作为示例地，可以根据经验人工设置矩形框大小为图像的1/8、1/16、1/32(即3种大小)，每种大小的矩形框宽高比可以为3:1、2:1、3:2、1:1、2:3、1:2(即6种宽高比)，则总共会生成3*6＝24个以目标的位置坐标为中心的候选目标区域。
47.在生成一系列以目标的位置坐标为中心的候选目标区域之前，又一优选地，采用机器学习算法对标准数据集标注的物体矩形框进行聚类，得到候选目标区域比例，从而提高生成的候选目标区域的有效性和合理性。作为示例地，对imagenet数据集标注的物体矩形框进行聚类，得到n种典型的矩形框大小，将得到的典型的矩形框大小作为候选目标区域比例，按照该候选目标区域比例生成一系列以目标的位置坐标为中心的候选目标区域。
48.在步骤s103中，计算每个候选目标区域的目标似然分数。
49.在本发明实施例中，通常，用户会希望框选的区域刚好包含一个完整的独立物体(比如桌子、海报、黑板、狗等)，或者一个物体相对完整的一个部件(比如人脸、手掌)，这些物体具有显著性，也就是说它们的特征和周围的背景有显著的区别，容易被区分开来，因此，通过目标似然分数表征候选目标区域与用户实际想选择的目标区域的接近程度，分数越高表示与用户实际想选择的目标区域越接近。
50.在计算每个候选目标区域的目标似然分数时，优选地，计算每个候选目标区域的二值化赋范梯度特征(binarized normed gradients，bing)分数，将二值化赋范梯度特征
networks，r-cnn)、带掩膜的基于区域的卷积神经网络(mask region-based convolutional neural networks，mask r-cnn)、你只看一次检测器(you only look once，yolo)、或者单发多框检测器(single shot multibox，ssd)等基于卷积神经网络技术的检测算法，选择的方式可以是接收用户通过输入设备直接输入的单个位置坐标，也可以是接收用户通过输入设备对图像的点击点或者触摸点，位置坐标、点击点或者触摸点都是标志目标中的某点，因此，与显示设备连接的输入设备包括但不限于键盘、鼠标、触摸屏、眼球追踪、遥控设备等，本发明不做限定。
59.在步骤s202中，确定图像中的目标及目标的位置坐标。
60.在步骤s203中，根据预设候选目标区域比例，生成一系列以目标的位置坐标为中心的候选目标区域。
61.在步骤s204中，计算每个候选目标区域的目标似然分数。
62.在步骤s205中，将每一目标的目标似然分数中分数最高的候选目标区域确定为图像中每一目标的目标区域。
63.在本发明实施例中，步骤s202-步骤s205的具体实施方式可参考实施例一的步骤s101-步骤s104的描述，在此不再赘述。
64.在步骤s206中，根据预设边界调整算法对目标区域的边界进行调整。
65.在本发明实施例中，根据预设边界调整算法对目标区域所对应的矩形框的4条边的位置进行调整，使得调整后的矩形框更好地贴合目标区域中目标物体的边缘，也即使得调整后的目标区域更接近用户实际想选择的目标区域。
66.在根据预设边界调整算法对目标区域的边界进行调整时，优选地，通过下述步骤实现对目标区域的边界的调整：
67.(1)根据预设梯度函数确定目标区域的待调整边界。
68.在本发明实施例中，对于目标区域的上下边界，使用梯度函数iy(x,y)＝|i(x,y+1)-i(x,y-1)|计算在距离上下边界m个像素内y方向上的梯度绝对值，将在该m个像素内梯度绝对值最大的边确定为目标区域的待调整的上下边；对于目标区域的左右边界，使用梯度函数ix(x,y)＝|i(x+1,y)-i(x-1,y)|计算在距离左右边界n个像素内x方向上的梯度绝对值，将在该n个像素内梯度绝对值最大的边确定为目标区域的待调整的左右边，其中，i(x,y)为图像i在点(x,y)的灰度值，m和n可以是根据经验预设的值，比如设置为m＝n＝5，或者根据目标区域的高度和宽度对m、n进行设置，比如设置m为矩形高度的1/8，n为矩形宽度的1/8。
69.(2)根据预设端点调整函数获取待调整边界调整后的端点调整坐标。
70.在本发明实施例中，对于目标区域的上下边界，使用端点调整函数得到待调整的上下边要调整的y坐标y
opt
，进而得到待调整的上下边调整后的端点调整坐标为(x0,y
opt
)和(x1,y
opt
)，而(x0,y
opt
)和(x1,y
opt
)两点的连线即为调整后的待调整边界，其中，(x0,y0)和(x1,y0)为待调整的上下边调整前两端点的原始坐标；对于目标区域的左右边界，使用端点调整函数得到待调整的左右边要调整的x坐标x
opt
，进而得到待调整的左右边调整后的端点调整坐标为(x
opt
,y0)和(x
opt
,y1)，而(x
opt
,y0)和
(x
opt
,y1)两点的连线即为调整后的待调整边界，其中，(x0,y0)和(x0,y1)为待调整的左右边调整前两端点的原始坐标。
71.通过上述步骤(1)-(2)实现对目标区域的边界的调整，从而使得调整后的目标区域更接近用户实际想选择的目标区域，提高了目标区域的精确度。
72.在本发明实施例中，确定图像中的目标及目标的位置坐标，根据预设候选目标区域比例，生成一系列以目标的位置坐标为中心的候选目标区域，计算每个候选目标区域的目标似然分数，将每一目标的目标似然分数中分数最高的候选目标区域确定为图像中每一目标的目标区域，并根据预设边界调整算法对该目标区域的边界进行调整，使得用户可以通过一次简单的人机交互操作完成目标区域的选择，从而简化了操作流程，提高了目标区域的精确度，进而提高了对图像中目标区域选择的智能化程度。
73.实施例三：
74.图3示出了本发明实施例三提供的图像中目标区域的确定装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
75.坐标确定单元31，用于确定图像中的目标及目标的位置坐标。
76.区域生成单元32，用于根据预设候选目标区域比例，生成一系列以目标的位置坐标为中心的候选目标区域。
77.分数计算单元33，用于计算每个候选目标区域的目标似然分数。
78.区域确定单元34，用于将每一目标的目标似然分数中分数最高的候选目标区域确定为图像中每一目标的目标区域。
79.优选地，本发明实施例的图像中目标区域的确定装置还包括：
80.第一比例获得单元，用于设置目标框大小和目标框宽高比，将目标框大小和目标框宽高比的组合作为候选目标区域比例；以及
81.第二比例获得单元，用于采用机器学习算法对标准数据集标注的物体矩形框进行聚类，得到候选目标区域比例。
82.在本发明实施例中，图像中目标区域的确定装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。具体地，各单元的实施方式可参考前述实施例一的描述，在此不再赘述。
83.实施例四：
84.图4示出了本发明实施例四提供的图像中目标区域的确定装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
85.选择接收单元41，用于接收用户根据图像对目标的选择。
86.坐标确定单元42，用于确定图像中的目标及目标的位置坐标。
87.区域生成单元43，用于根据预设候选目标区域比例，生成一系列以目标的位置坐标为中心的候选目标区域。
88.分数计算单元44，用于计算每个候选目标区域的目标似然分数。
89.区域确定单元45，用于将每一目标的目标似然分数中分数最高的候选目标区域确定为图像中每一目标的目标区域。
90.区域调整单元46，用于根据预设边界调整算法对目标区域的边界进行调整。
91.其中，优选地，区域调整单元46包括：
92.边界确定单元461，用于根据预设梯度函数确定目标区域的待调整边界；以及
93.坐标获取单元462，用于根据预设端点调整函数获取待调整边界调整后的端点调整坐标。
94.分数计算单元44包括：
95.第一分数计算单元441，用于计算每个候选目标区域的二值化赋范梯度特征分数，将二值化赋范梯度特征分数作为目标似然分数；以及
96.第二分数计算单元442，用于根据每个所述候选目标区域的颜色直方图，通过预设的目标似然分数计算公式计算每个候选目标区域的目标似然分数，该似然分数计算公式为s＝d(h0,h1)+d(h0,h2)+d(h0,h3)+d(h0,h4)，其中，s为计算得到的候选目标区域的目标似然分数，d表示两个颜色直方图之间的巴氏距离，h0为候选目标区域的颜色直方图，h1为候选目标区域上方宽为w、高为h/2区域的颜色直方图，h2为候选目标区域下方宽为w、高为h/2区域的颜色直方图，h3为候选目标区域左边宽为w/2、高为h区域的颜色直方图，h4为候选目标区域右边宽为w/2、高为h区域的颜色直方图，w为候选目标区域的宽度，h为候选目标区域的高度。
97.在本发明实施例中，图像中目标区域的确定装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。具体地，各单元的实施方式可参考前述方法实施例的描述，在此不再赘述。
98.实施例五：
99.图5示出了本发明实施例五提供的显示设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
100.本发明实施例的显示设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述图像中目标区域的确定方法实施例中的步骤，例如图1所示的步骤s101至s104。或者，处理器50执行计算机程序52时实现上述各装置实施例中各单元的功能，例如图3所示单元31至34的功能。
101.在本发明实施例中，确定图像中的目标及目标的位置坐标，根据预设候选目标区域比例，生成一系列以目标的位置坐标为中心的候选目标区域，计算每个候选目标区域的目标似然分数，将每一目标的目标似然分数中分数最高的候选目标区域确定为图像中每一目标的目标区域，使得用户可以通过一次简单的人机交互操作完成目标区域的选择，从而简化了操作流程，并提高了对图像中目标区域选择的智能化程度。
102.本发明实施例的显示设备可以为电视、电脑、手机、相机、平板电脑。该显示设备5中处理器50执行计算机程序52时实现图像中目标区域的确定方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
103.实施例六：
104.在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述图像中目标区域的确定方法实施例中的步骤，例如，图1所示的步骤s101至s104。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元31至34的功能。
105.在本发明实施例中，确定图像中的目标及目标的位置坐标，根据预设候选目标区域比例，生成一系列以目标的位置坐标为中心的候选目标区域，计算每个候选目标区域的
目标似然分数，将每一目标的目标似然分数中分数最高的候选目标区域确定为图像中每一目标的目标区域，使得用户可以通过一次简单的人机交互操作完成目标区域的选择，从而简化了操作流程，并提高了对图像中目标区域选择的智能化程度。
106.本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，rom/ram、磁盘、光盘、闪存等存储器。
107.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。