一种在图像中识别手部区域的方法及装置与流程

本发明涉及图像识别领域，具体涉及一种在图像中识别手部区域的方法及装置。

背景技术：

随着软硬件相关科技的快速发展，腕式智能装置，如智能手表，智能手环等的集成度越来越高，功能越来越丰富，很大比例的手机功能可以通过智能手表，智能手环实现，大大简化用户接收和传递信息的方法。但和传统智能手机比较，腕式智能装置受限于小尺寸显示屏幕，一方面，使用者在使用时无法很好地利用触屏或者按键完成相关功能的操作，易造成误操作，另一方面，当智能手表佩戴在一只手上时，要对其进行操作，除了唤醒，休眠等简单操作不需要另一只手操作外，其余的较为复杂的操作都有另一只手完成，无法使用单手独立对智能手表进行操作，因此，智能手表在内容显示和操作上仍存在很大的缺陷。

针对上述问题，目前有一些产品提供了基于用户手部姿势的控制方式，用户可以通过佩戴手表的手指活动来控制设备，其原理是利用手表上设置的摄像装置采集手部图像，处理器根据图像的变化确定控制内容。此类方案需要从图像中准确地识别出用户的手部区域或轮廓，即需要剔除背景和其他噪声，只根据手部区域的变化确定控制内容。

现有的图像识别方案通常是根据目标物体的形状特征，根据预设的特征参数，利用机器学习模型等手段从图像中识别出目标物体。但是这种识别方式抵抗背景干扰的能力较差，例如用户所处环境背景十分复杂时，根据形状特征很可能出现误判，由此可见现有的图像识别方案准确性较差。

技术实现要素：

本发明要解决的是现有的图像识别方案准确性较差的问题。

有鉴于此，本发明提供一种在图像中识别手部区域的方法，包括：

分别将待识别的手部区域中每一个像素的颜色值与所述像素周围像素的颜色值、第一预定区域的颜色值、第二预定区域的颜色值中的至少2个进行比对以得到至少2个相似度值，其中所述第一预定区域位于所述待识别的手部区域内，所述第二预定区域与所述待识别的手部区域不重合；根据所述像素与所述第一预定区域的距离以及所述相似度值确定所述像素是手部区域内像素的概率值；根据所述概率值确定手部区域。

可选地，在所述分别将待识别的手部区域中每一个像素的颜色值与所述像素周围像素的颜色值、第一预定区域的颜色值、第二预定区域的颜色值中的至少2个进行比对以得到至少2个相似度值之前，还包括：在所述图像中确定待识别的手部区域；从所述待识别的手部区域中剔除所述第一预定区域。

可选地，所述将所述像素的颜色值与自身周围像素的颜色值、第一预定区域的颜色值、第二预定区域的颜色值中的至少2个进行比对以得到至少2个相似度值包括：将所述像素的颜色值与所述第一预定区域的颜色值进行比对以得到相似度w1；和/或将所述像素的颜色值与所述第二预定区域的颜色值进行比对以得到相似度w2；和/或将所述像素的颜色值与其自身周边8个相邻像素的颜色值进行比对以得到相似度w3；和/或确定所述像素到所述第一预定区域的最短路径以及所述最短路径上的像素颜色变化的平稳度值w4。

可选地，确定所述像素到所述第一预定区域的最短路径，包括：分别计算所述像素到所述第一预定区域的各个路径的代价值，所述代价值是根据所述路径上的像素点的值确定的；从所述各个路径中选取具有最小代价值的路径。

可选地，所述分别计算所述像素到所述第一预定区域的各个路径的代价值，包括：分别将路径上像素点的颜色值构建曲线；计算所述曲线的二阶偏导数；计算所述二阶偏导的方差作为所述代价值。

可选地，所述根据所述像素与所述第一预定区域的距离以及所述相似度值确定所述像素是手部区域内像素的概率值，包括：确定所述像素与所述第一预定区域的欧几里得距离值l；根据l和w1、w2、w3、w4中的至少2个确定所述像素是手部区域内像素的概率值，其中所述概率值与w1、w3、w4呈正相关关系，所述概率值与l、w2呈负相关关系。

可选地，所述根据所述像素与所述第一预定区域的距离以及所述相似度值确定所述像素是手部区域内像素的概率值包括：分别确定每个相似度所对应的权值；根据各个相似度和相应的权值的乘积确定所述概率值。

可选地，所述手部区域是利用主动轮廓线模型确定的，所述概率值作为所述主动轮廓线模型的输入值，所述主动轮廓线模型根据所述概率值、预定拉力参数、预定引力参数和预定初始轮廓得到手部区域。

可选地，所述相似度是根据rgb、hsv以及ycrcb空间下的颜色值的相似性指标信息的总和确定的相似度。

相应地，本发明还提供一种在图像中确定手部区域的装置，包括：比对单元，用于分别将待识别的手部区域中每一个像素的颜色值与所述像素周围像素的颜色值、第一预定区域的颜色值、第二预定区域的颜色值中的至少2个进行比对以得到至少2个相似度值，其中所述第一预定区域位于所述待识别的手部区域内，所述第二预定区域与所述待识别的手部区域不重合；判定单元，用于根据所述像素与所述第一预定区域的距离以及所述相似度值确定所述像素是手部区域内像素的概率值；确定单元，用于根据所述概率值确定手部区域。

可选地，该装置还可以还包括：识别单元，用于在所述图像中确定待识别的手部区域；剔除单元，用于从所述待识别的手部区域中剔除所述第一预定区域。

可选地，比对单元可以包括：第一比对单元，用于将所述像素的颜色值与所述第一预定区域的颜色值进行比对以得到相似度w1；和/或第二比对单元，用于将所述像素的颜色值与所述第二预定区域的颜色值进行比对以得到相似度w2；和/或第三比对单元，用于将所述像素的颜色值与其自身周边n个相邻像素的颜色值进行比对以得到相似度w3；和/或第四比对单元，用于确定所述像素到所述第一预定区域的最短路径以及所述最短路径上的像素颜色变化的平稳度值w4。

可选地，第四比对单元可以包括：代价计算单元，用于分别计算所述像素到所述第一预定区域的各个路径的代价值，所述代价值是根据所述路径上的像素点的值确定的；路径选取单元，用于从所述各个路径中选取具有最小代价值的路径。

可选地，代价计算单元可以包括：曲线构建单元，用于分别将路径上像素点的颜色值构建曲线；导数计算单元，用于计算所述曲线的二阶偏导数；方差计算单元，用于计算所述二阶偏导的方差作为所述代价值。

可选地，判定单元可以包括：距离计算单元，用于确定所述像素与所述第一预定区域的欧几里得距离值l；概率计算单元，用于根据l和w1、w2、w3、w4中的至少2个确定所述像素是手部区域内像素的概率值，其中所述概率值与w1、w3、w4呈正相关关系，所述概率值与l、w2呈负相关关系。

可选地，判定单元可以包括：权值确定单元，用于分别确定每个相似度所对应的权值；距离计算单元，用于确定所述像素与所述第一预定区域的欧几里得距离值l；概率计算单元，用于根据各个相似度和相应的权值的乘积以及所述距离确定所述概率值。

根据本发明实施例提供的在图像中确定手部区域方法及装置，通过将待识别的手部图像中的像素的颜色值与各个位置上的像素颜色进行比对，来确定图像中的各个像素是手部区域内的像素的概率值，进而根据该概率值以及各个像素与预定区域的距离来确定手部区域，相比于现有的根据形状特征确定手部区域的方案，本发明实施例具备更高的准确性。并且本方案将待识别的像素与自身周围像素、第一预定区域的颜色值、第二预定区域中的至少两个进行比对并由此来综合确定上述概率值，使得本方案具备较强的抗干扰能力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种可穿戴设备的结构示意图；

图2为图1所示设备拍摄的图像；

图3为本发明实施例提供的在图像中识别手部区域的方法的流程图；

图4是对图2进行去色处理后的图像；

图5为本发明实施例提供的在图像中识别手部区域的装置的结构图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供了一种在图像中识别手部区域的方法，该方法所处理的图像是由具有摄像装置的可穿戴设备拍摄的图像，该设备如图1所示，其中摄像装置01沿佩戴者手腕向手心方向采集佩戴者手部图像。其采集到的图像如图2所示，佩戴者的手掌在图像中的整体位置是比较固定的，只是手指区域在一个固定的范围内会随着用户的运动发生变化。如图3所示，本实施例提供的方法包括如下步骤：

s1，分别将待识别的手部区域中每一个像素的颜色值与像素周围像素的颜色值、第一预定区域的颜色值、第二预定区域的颜色值中的至少2个进行比对以得到至少2个相似度值，其中第一预定区域位于待识别的手部区域内，第二预定区域与待识别的手部区域不重合；

如图2所示，其中包含第一预定区域11、待识别的手部区域12和第二预定区域13，通常也称第一预定区域11为种子区域。关于上述三个区域的选取，可以预先设定固定的位置，只要用户正常佩戴，第一预定区域11必定是用户手掌的一部分，第二预定区域13必定不包括用户手掌。为了更清楚地描述本发明实施例涉及的各个区域，下面采用对图2进行去色后的图4进行说明，需要说明的是，本发明实施例需要依赖像素的颜色进行后续处理，所以图4只是为了清楚地说明所给出的图像，实际应用时不需要进行去色处理。

关于像素之间的颜色值比对，本发明实施例可以使用某一种颜色空间下的颜色值进行比对，也可以采用多种种颜色空间下的颜色值的结合进行比对，例如可以根据rgb、hsv以及ycrcb空间下的颜色值的相似性指标信息的总和来确定两个像素的相似度。

在此步骤中，将待识别的手部区域12中的像素与上述至少2种像素进行分别进行比对后，可以得到至少2个相似度值。将待识别的手部区域12中的所有像素比对过后，每个像素都对应有至少2个相似度值。例如某一像素a与其自身周围的几个像素的相似度为w1＝90％，且该像素与第一预定区域11的颜色相似度为w2＝80％，则像素a对应w1和w2。

s2，根据像素与第一预定区域的距离以及相似度值确定像素是手部区域内像素的概率值，即针对待识别的手部区域12中的每一个像素，利用其对应的相似度值，和与第一预定区域(例如区域中心)的距离综合计算出一个概率值，该概率值越高则表示该像素是手部区域内的几率也大，反之则越小。距离与概率值呈负相关关系，即距离越远则概率值会相应降低。例如上述像素a对应距离l、相似度w1和相似度w2，综合计算后可以得到像素a是手部区域内像素的概率为80％。对所有像素综合计算完成后，每个像素均对应一个概率值。

s3，根据概率值确定手部区域,确定方式有多种，例如可以使用最简单的方式，通过设定概率阈值与每个像素对应的概率值比对，即可筛选出所有手部区域内的像素，这些像素的总和即为手部区域。优选地，在本实施例中，可以采用一种主动轮廓线模型(也称为snake模型)来识别手部区域。具体地，上述概率值作为主动轮廓线模型的输入值，主动轮廓线模型根据各个像素对应的概率值、预定拉力参数、预定引力参数和预定初始轮廓得到手部区域。模型上的每个点在引力和拉力作用下将运动至兴趣区域边缘，同时轮廓保持一定的曲率，具备光滑的特性。最终，每个点运动停止后，即标识出了兴趣区域(手部区域)的光滑的边缘，即得到的是连续平滑的手部区域外轮廓。

根据本发明实施例提供的在图像中确定手部区域方法，通过将待识别的手部图像中的像素的颜色值与各个位置上的像素颜色进行比对，来确定图像中的各个像素是手部区域内的像素的概率值，进而根据该概率值以及各个像素与预定区域的距离来确定手部区域，相比于现有的根据形状特征确定手部区域的方案，本发明实施例具备更高的准确性。并具本方案将待识别的像素与自身周围像素、第一预定区域的颜色值、第二预定区域中的至少两个进行比对并由此来综合确定上述概率值，使得本方案具备较强的抗干扰能力。

作为一个优选的实施方式，在上述步骤s1之前，还可以包括如下步骤：

s01，在图像中确定待识别的手部区域。如上所述，根据图像的特点，待识别的手部区域12的位置也可以是预先标定的，例如是从图像边缘到图像1/2、3/4、4/5的区域等，具体可根据拍摄图像时的预定焦距和取景范围确定。

s02，从待识别的手部区域中剔除第一预定区域，由于第一预定区域必定是手掌的一部分，因此可以将此部分像素去除以减少计算量。

上述优选方案在图像中确定待识别的手部区域，并从其中剔除必定是手部区域的部分，使得后续步骤可以只针对剩余的区域进行计算，由此可以减小计算量，提高识别效率。

如上所述，此前已经确定了3个区域，分别为第一预定区域11、待识别的手部区域12和第二预定区域13，并且已经确定，第一预定区域11内的像素一定是手掌上的像素、待识别的手部区域12内既存在手掌区域也存在非手掌区域、第二预定区域13一定不存在手掌区域。由此，对比情况包括多种，本发明实施例优选采用以下四种对比中的至少两种进行比对，即上述步骤s1可以包括如下4个步骤中的至少2个步骤：

s11，将像素的颜色值与第一预定区域的颜色值进行比对以得到相似度w1，由于第一预定区域内的像素一定是手部区域内的像素，因此目标像素与其相似度越高，则表示目标像素是手部区域像素的概率越大。其中第一预定区域的颜色可以是其中所有像素颜色值的均值。

s12，将像素的颜色值与第二预定区域的颜色值进行比对以得到相似度w2，由于第二预定区域内的像素一定不是手部区域内的像素，因此目标像素与其相似度越低，则表示目标像素是手部区域像素的概率越大。其中第二预定区域的颜色可以是其中所有像素颜色值的均值。

s13，将像素的颜色值与其自身周边n个相邻像素的颜色值进行比对以得到相似度w3。手部区域作为颜色相近且封闭区域，其中的每个像素与周围像素的颜色相似度应当是较高的，如果出现相差较大的情况则是处于手部边缘的像素，因此目标像素与相邻像素相似度越高，则表示目标像素是手部区域像素的概率越大。比对方式包括多种，例如将像素a与其自身周围的n个像素进行分别进行比对得到n个相似度值(例如n＝8，即像素周围8邻域)，然后计算n个相似度的均值；或者先计算n个像素的颜色均值，然后将像素a的颜色与该均值进行比对得到相似度，都是可行的。

s14，确定像素到第一预定区域的最短路径以及最短路径上的像素颜色变化的平稳度值w4，手部区域作为颜色相近且封闭区域，其中的每一个像素到第一预定区域的最短路径上的各个像素之间的颜色变化应当是比较细微且平缓的，如果出现变化较大的情况则可能表示路径上有中断的情况，该像素可能不是手部区域内的像素。因此目标像素与第一预定区域的最短路径上的像素颜色变化的平稳度越高，则表示目标像素是手部区域像素的概率越大。

上述优选方案可以计算出相似度w1-w4中的至少2个，后续计算概率值时，可以综合采纳至少2种比对结果，并综合确定概率值，本方案具有较强的抗干扰能力。

进一步地，上述步骤s14包括如下步骤：

s141，分别计算像素到第一预定区域的各个路径的代价值，代价值是根据路径上的像素点的值确定的；

s142，从各个路径中选取具有最小代价值的路径。

更进一步地，上述步骤s141可以包括如下步骤：

s1411，分别将路径上像素点的颜色值构建曲线；

s1412，计算曲线的二阶偏导数；

s1413，计算二阶偏导的方差作为代价值。

根据上述优选方案，首先可以在图像中搜索这样一条图像上路径，使得目标像素点到第一预定区域11的中心位置的代价最小，代价的计算可以是基于图像路径上穿过的一系列像素点的颜色值决定的，可通过如下方式计算：路径上像素点的值依次构建一条曲线，计算该曲线的二阶偏导数，统计每个点二阶偏导的方差。方差值即为代价，显然，二阶偏导代表路径上像点的变化的平稳性，偏导的方差代表了整体上路径中像点像素值的变化平稳性。

作为一个优选的实施方式，上述步骤s2可以包括如下步骤：

s201，确定像素与第一预定区域的欧几里得距离值l；

s202，根据l和w1、w2、w3、w4中的至少2个确定像素是手部区域内像素的概率值，其中概率值与w1、w3、w4呈正相关关系，概率值与l、w2呈负相关关系。

上述优选方案利用距离以及w1-w4中的至少2个来综合确定概率值，使得本方案具有较强的抗干扰能力。

如上所述，像素之间的比对情况包括多种，本实施例只详细给出了上述4种情况，实际应用中还可以使用更多的比对结果来计算概率值，这些比对结果的可靠性可能存在一定差异，因此还可以引入权值的概念来计算上述概率值，即上述步骤s2可以包括如下步骤：

s211，分别确定每个相似度所对应的权值，例如上述w1、w2、w3、w4可以对应不同的权值，此步骤首先确定所采纳的相似度所对应的权值；

s212，根据各个相似度和相应的权值的乘积确定概率值，不同的相似度所对应的权值可以是不同的也可以是相同的，具体可根据比对内容的可靠性进行设定，最终根据多种相似度以及对应权值的乘积来综合确定概率值，由此进一步提高识别准确性。

本发明的另一个实施例还提供了一种在图像中确定手部区域的装置，如图5所示，该装置包括：

比对单元51，用于分别将待识别的手部区域中每一个像素的颜色值与所述像素周围像素的颜色值、第一预定区域的颜色值、第二预定区域的颜色值中的至少2个进行比对以得到至少2个相似度值，其中所述第一预定区域位于所述待识别的手部区域内，所述第二预定区域与所述待识别的手部区域不重合；

判定单元52，用于根据所述像素与所述第一预定区域的距离以及所述相似度值确定所述像素是手部区域内像素的概率值；

确定单元53，用于根据所述概率值确定手部区域。

根据本发明实施例提供的在图像中确定手部区域装置，通过将待识别的手部图像中的像素的颜色值与各个位置上的像素颜色进行比对，来确定图像中的各个像素是手部区域内的像素的概率值，进而根据该概率值以及各个像素与预定区域的距离来确定手部区域，相比于现有的根据形状特征确定手部区域的方案，本发明实施例具备更高的准确性。并具本方案将待识别的像素与自身周围像素、第一预定区域的颜色值、第二预定区域中的至少两个进行比对并由此来综合确定上述概率值，使得本方案具备较强的抗干扰能力。

可选地，该装置还可以还包括：

识别单元501，用于在所述图像中确定待识别的手部区域；

剔除单元502，用于从所述待识别的手部区域中剔除所述第一预定区域。

上述优选方案在图像中确定待识别的手部区域，并从其中剔除必定是手部区域的部分，使得后续步骤可以只针对剩余的区域进行计算，由此可以减小计算量，提高识别效率。

可选地，比对单元51可以包括：

第一比对单元，用于将所述像素的颜色值与所述第一预定区域的颜色值进行比对以得到相似度w1；和/或

第二比对单元，用于将所述像素的颜色值与所述第二预定区域的颜色值进行比对以得到相似度w2；和/或

第三比对单元，用于将所述像素的颜色值与其自身周边8个相邻像素的颜色值进行比对以得到相似度w3；和/或

第四比对单元，用于确定所述像素到所述第一预定区域的最短路径以及所述最短路径上的像素颜色变化的平稳度值w4。

上述优选方案可以计算出相似度w1-w4中的至少2个，后续计算概率值时，可以综合采纳至少2种比对结果，并综合确定概率值，本方案具有较强的抗干扰能力。

可选地，第四比对单元可以包括：

代价计算单元，用于分别计算所述像素到所述第一预定区域的各个路径的代价值，所述代价值是根据所述路径上的像素点的值确定的；

路径选取单元，用于从所述各个路径中选取具有最小代价值的路径。

可选地，代价计算单元可以包括：

曲线构建单元，用于分别将路径上像素点的颜色值构建曲线；

导数计算单元，用于计算所述曲线的二阶偏导数；

方差计算单元，用于计算所述二阶偏导的方差作为所述代价值。

可选地，判定单元52可以包括：

距离计算单元，用于确定所述像素与所述第一预定区域的欧几里得距离值l；

概率计算单元，用于根据l和w1、w2、w3、w4中的至少2个确定所述像素是手部区域内像素的概率值，其中所述概率值与w1、w3、w4呈正相关关系，所述概率值与l、w2呈负相关关系。

上述优选方案利用距离以及w1-w4中的至少2个来综合确定概率值，使得本方案具有较强的抗干扰能力。

可选地，判定单元52可以包括：

权值确定单元，用于分别确定每个相似度所对应的权值；

距离计算单元，用于确定所述像素与所述第一预定区域的欧几里得距离值l；

概率计算单元，用于根据各个相似度和相应的权值的乘积以及所述距离确定所述概率值。

上述优选方案根据多种相似度以及对应权值的乘积来综合确定概率值，由此进一步提高识别准确性。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。