基于B样条的唇线补全方法、装置、电子设备及存储介质与流程

本申请涉及计算机技术领域，尤其涉及一种基于b样条的唇线补全方法、装置及电子设备。

背景技术：

相关技术中，随着互联网的飞速发展，关于唇形识别，ai美妆，照片美图等大量应用作为一种娱乐方式逐渐进入日常生活；其中，嘴唇的形状可以表达人的外貌特征、感情，还与人说话的内容有着直接的关联，检测嘴唇边缘像素并补全，获得连续光滑、单像素、符合人嘴唇特征的唇线，可以用于嘴唇三维重建，唇语识别，自动上唇妆等一系列应用。

一般的，提取唇线的方法往往是先算出唇部的关键点，然后直接把这些关键点按照一定的顺序连接起来，构成唇线；由于关键点个数的局限性，导致所获得的唇线不够平滑，而且贴合度不够好，难以在任何时候都贴近嘴唇边缘，这些缺点使得提取的唇线与真实的唇形存在着相当大的差距。

技术实现要素：

为克服相关技术中存在的问题，本申请提供一种基于b样条的唇线补全方法、装置、电子设备及存储介质。

根据本申请实施例的第一方面，提供一种基于b样条的唇线补全方法，其特征在于，所述方法包括：

对目标对象的唇部区域图像进行边缘检测，获取对应唇线的像素点；

对所述唇部区域图像进行特征点检测，获取所述对应唇线的特征点；

对所述像素点和所述特征点进行b样条曲线拟合，建立函数关系模型；

根据所述函数关系模型进行采样并确定采样点的位置；

连接所述采样点，获得补全后的唇线。

在一种可能实施方式中，所述对所述像素点和所述特征点进行b样条曲线拟合，建立函数关系模型，包括：

建立关于所述唇部区域图像的直角坐标系，获取所述像素点的坐标值与所述特征点的坐标值；

根据所述特征点的坐标值和所述像素点的坐标值，进行三次均匀b样条曲线拟合，获取函数关系模型。

在一种可能实施方式中，所述唇部区域图像包括四条唇线图像；所述特征点包括唇角左侧特征点、唇角右侧特征点，所述像素点包括各条唇线最左侧像素点、各条唇线最右侧像素点；

所述根据所述特征点的坐标值和所述像素点的坐标值，进行三次均匀b样条曲线拟合，包括：

根据所述各条唇线最左侧像素点的横坐标与所述唇角左侧特征点的横坐标的均值，确定第一定点的横坐标；

根据所述各条唇线最右侧像素点的横坐标与所述唇角右侧特征点的横坐标的均值，确定第二定点的横坐标；

根据所述第一定点的横坐标与所述第二定点的横坐标之间的所述特征点和所述像素点的坐标值，进行三次均匀b样条曲线拟合。

在一种可能实施方式中，所述函数关系模型包括：

其中，s(t)为所述像素点和所述特征点的纵坐标，t为所述像素点和所述特征点的横坐标，bi为所述b样条曲线的第i个基函数，pi为所述b样条曲线第i个控制点的值，m表示所述b样条曲线有m个所述控制点p；

其中，根据所需精度确定m的值。

在一种可能实施方式中，所述根据所述函数关系模型进行采样并确定采样点的位置，具体包括：

根据所需精度确定采样点的数量，根据所述数量确定所述第一定点与第二定点之间采样点的横坐标；

根据所述函数关系模型和所述横坐标，计算所述采样点的纵坐标，并确定所述采样点的位置。

根据本申请实施例的第二方面，提供一种基于b样条的唇线补全装置，该装置包括：

第一获取单元，被配置为对目标对象的唇部区域图像进行边缘检测，获取对应唇线的像素点；

第二获取单元，被配置为对所述唇部区域图像进行特征点检测，获取所述对应唇线的特征点；

拟合单元，被配置为对所述像素点和所述特征点进行b样条曲线拟合，建立函数关系模型；

确定单元，被配置为根据所述函数关系模型进行采样并确定采样点的位置；

执行单元，被配置为连接所述采样点，获得补全后的唇线。

在一种可能实施方式中，所述拟合单元还被配置为建立关于所述唇部区域图像的直角坐标系，获取所述像素点的坐标值与所述特征点的坐标值；根据所述特征点的坐标值和所述像素点的坐标值，进行三次均匀b样条曲线拟合，获取函数关系模型。

在一种可能实施方式中，所述唇部区域图像包括四条唇线图像；所述特征点包括唇角左侧特征点、唇角右侧特征点，所述像素点包括各条唇线最左侧像素点、各条唇线最右侧像素点；

所述拟合单元，还被配置为：根据所述各条唇线最左侧像素点的横坐标与所述唇角左侧特征点的横坐标的均值，确定第一定点的横坐标；根据所述各条唇线最右侧像素点的横坐标与所述唇角右侧特征点的横坐标的均值，确定第二定点的横坐标；根据所述第一定点的横坐标与所述第二定点的横坐标之间的所述特征点和所述像素点的坐标值，进行三次均匀b样条曲线拟合。

在一种可能实施方式中，所述函数关系模型包括：

其中，s(t)为所述像素点和所述特征点的纵坐标，t为所述像素点和所述特征点的横坐标，bi为所述b样条曲线的第i个基函数，pi为所述b样条曲线第i个控制点的值，m表示所述b样条曲线有m个所述控制点p；

其中，根据所需精度确定m的值。

在一种可能实施方式中，所述确定单元还被配置为：根据所需精度确定采样点的数量，根据所述数量确定所述第一定点与第二定点之间采样点的横坐标；根据所述函数关系模型和所述横坐标，计算所述采样点的纵坐标，并确定所述采样点的位置。

根据本申请实施例的第三方面，提供一种电子设备，该电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行以实现如权利要求1至5任一项所述的基于b样条的唇线补全方法所执行的操作。

本申请实施例第四方面提供一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行权利要求1至5中任一项所述的基于b样条的唇线补全方法。

本申请实施例第五方面提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如本申请第一方面或第一方面任一可能实现方式中所述的基于b样条的唇线补全方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

b样条曲线具有表达自由型曲线的强大功能，是形状数学描述的主流方法。通过一系列b样条控制点，可以得到一条光滑连续的曲线，改变控制点即可自由调节b样条曲线的形状。

本方法通过对目标对象的唇部区域图像进行边缘检测，获取对应唇线的像素点；再对唇部区域图像进行特征点检测，获取对应唇线的特征点；然后对像素点和特征点进行b样条曲线拟合，建立函数关系模型；最后根据所述函数关系模型进行采样并确定采样点的位置；并连接采样点，获得补全后的唇线的方法，代替了传统的图像处理方法，通过该方法可以获得连续光滑、单像素且符合人嘴唇特征的唇线，不需要结合其他图像处理方法对唇线进行边缘处理就能获得与真实唇形贴近的嘴部唇线，便于进行基于嘴唇形状的应用。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种基于b样条的唇线补全方法的流程图。

图2是根据一示例性实施例示出的一种基于b样条的唇线补全装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

本申请实施例可以应用于移动终端上，移动终端具体可以包括但不限于：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准音频层面3，movingpictureexpertsgroupaudiolayeriii)播放器、mp4(动态影像专家压缩标准音频层面4，movingpictureexpertsgroupaudiolayeriv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备、智能音响等等。

图1是根据一示例性实施例示出的一种基于b样条的唇线补全方法的流程图，如图1所示，唇线补全方法应用于终端中，包括以下步骤：

101，对目标对象的唇部区域图像进行边缘检测，获取对应唇线的像素点。

示例性的，可以获取目标对象的唇部区域图像，可以是对人脸照片的唇部区域进行截取，也可以用工具检测嘴部特征点，根据特征点来计算嘴部的矩形区域，还可以包括对人脸照片的色彩进行识别，根据唇色来确定嘴部区域图像，具体不做限定。

边缘检测是图像处理和计算机视觉中的基本问题，其目的在于识别数字图像中亮度变化明显的点，由于唇部颜色与皮肤颜色有明显的区别，所以利用颜色亮度变化明细这一特征，利用边缘检测方法很容易获取唇部的边缘像素点，即为对应唇线的像素点。使用边缘检测方法检测到的嘴唇边缘像素，不能保证其连续性，存在噪声、边缘宽度太大等问题，因此需要对其进行处理。

102，对所述唇部区域图像进行特征点检测，获取所述对应唇线的特征点。

现有技术可以根据检测人脸特征点的位置来确定眉毛，鼻子，嘴唇的位置，根据人脸特征点检测算法，利用嘴唇的位置获取对应唇线的特征点，将获取到的特征点加入上述边缘像素点之中，以弥补上述边缘像素点不连续，噪声大的缺点。

103，对所述像素点和所述特征点进行b样条曲线拟合，建立函数关系模型。

在一种可能实施方式中，所述对所述像素点和所述特征点进行b样条曲线拟合，建立函数关系模型，具体包括：

建立关于所述唇部区域图像的直角坐标系，获取所述像素点的坐标值与所述特征点的坐标值；

根据所述特征点的坐标值和所述像素点的坐标值，进行三次均匀b样条曲线拟合，获取函数关系模型。

示例性的，可以建立唇线方向为x轴，唇峰到唇峰的方向为y轴，左侧嘴角为坐标零点，根据特征点和边缘像素点的位置，计算出其坐标值；如，某一特征点到左嘴角的横向距离为6厘米，纵向为1厘米，则该特征点的坐标可以为(6，1)，可选的，坐标值单位长度可以自定义，在此不做限定。

其中，基于获得的坐标值进行拟合，带入三次均匀b样条曲线对应的公式，来求解对应的控制点的值，获取完整地函数关系式，完成拟合；可选的，可以将所有像素点和特征点坐标带入，求取函数关系式，也可以对像素点和特征点进行筛选，将部分像素点和特征点的坐标带入求取；还可以对像素点和特征点的个数进行限定，将预设个数的特征点与像素点的坐标带入，具体方式不做限定。

104，根据所述函数关系模型进行采样并确定采样点的位置。

示例性的，可以确定采样点的个数，根据采样点的个数等距离的在左嘴角和右嘴角之间确定每个采样点的横坐标，再将横坐标的值带入求得对应的纵坐标的值，确定每一个采样点的位置。

105，连接所述采样点，获得补全后的唇线。

b样条曲线具有表达自由型曲线的强大功能，它具有几何不变性、凸包性、保凸性等许多优良特性，是形状数学的主流方法，通过一系列b样条控制点，可以得到一条光滑连续的曲线，改变控制点即可自由调节b样条曲线的形状。利用b样条曲线进行拟合，对边缘像素进行补全，这样代替了传统的图像处理方法，获取更光滑连续的唇线曲线。

本方法通过对目标对象的唇部区域图像进行边缘检测，获取对应唇线的像素点；再对唇部区域图像进行特征点检测，获取对应唇线的特征点；然后对像素点和特征点进行b样条曲线拟合，建立函数关系模型；最后根据所述函数关系模型进行采样并确定采样点的位置；并连接采样点，获得补全后的唇线的方法，代替了传统的图像处理方法，通过该方法可以获得连续光滑、单像素且符合人嘴唇特征的唇线，不需要结合其他图像处理方法对唇线进行边缘处理就能获得与真实唇形贴近的嘴部唇线，便于进行基于嘴唇形状的应用。

在一种可能实施方式中，所述唇部区域图像包括四条唇线图像；所述特征点包括唇角左侧特征点、唇角右侧特征点，所述像素点包括各条唇线最左侧像素点、各条唇线最右侧像素点；

所述根据所述特征点的坐标值和所述像素点的坐标值，进行三次均匀b样条曲线拟合，包括：

根据所述各条唇线最左侧像素点的横坐标与所述唇角左侧特征点的横坐标的均值，确定第一定点的横坐标；

根据所述各条唇线最右侧像素点的横坐标与所述唇角右侧特征点的横坐标的均值，确定第二定点的横坐标；

根据所述第一定点的横坐标与所述第二定点的横坐标之间的所述特征点和所述像素点的坐标值，进行三次均匀b样条曲线拟合。

其中，由于边缘检测方法存在噪声、边缘宽度过大等问题，导致获取到的四条唇线最左侧像素点不能重合，这样，可能导致拟合后的唇线可能不能相交，而且，边缘检测方法还会检测到其他的干扰像素点，因此在拟合之前需要对像素点进行筛选和处理。

通过本方法，利用四条唇线最左侧像素点和唇角左侧特征点的位置，确定新的左嘴角像素点位置。示例性的，取上述四条唇线最左侧像素点和唇角左侧特征点，五个点的横坐标的平均值，作为最后各条唇线最左侧像素点，即第一定点的横坐标；同理，用四条唇线最右侧像素点和唇角右侧特征点的位置，确定新的右嘴角像素点位置，同时，可以将在左嘴角和右嘴角范围之外的干扰像素点删除，只对其范围内的特征值和像素点进行拟合，保证拟合后的唇线左右都能相交于嘴角一点，获取完整封闭的唇部形状。

示例性的，检测到唇角左侧特征点的横坐标为0，四条唇线最左侧像素点分别为：-0.5，0.2，0.1，0.5，则取其平均值0.06作为第一定点(即拟合后的左嘴角)的横坐标；检测到唇角右侧特征点的横坐标为6.2，四条唇线最左侧像素点分别为：5.3，5.8，5.6，6.1，则取其平均值作为第二定点(即拟合后的右嘴角)的横坐标5.8，可选的，可以将0.06-5.8区间之外的特征点进行删除，将横坐标在0.06-5.8区间之内的特征点与像素点保留并且进行曲线拟合。

在一种可能实施方式中，所述函数关系模型包括：

其中，s(t)为所述像素点和所述特征点的纵坐标，t为所述像素点和所述特征点的横坐标，bi为所述b样条曲线的第i个基函数，pi为所述b样条曲线第i个控制点的值，m表示所述b样条曲线有m个所述控制点p；

其中，根据所需精度确定m的值。

其中，将上述特征点加入唇线的像素点，获取到一系列点的坐标，将各点坐标带入上述b样条函数模型的公式，其中bi为三次均匀b样条曲线的基函数，则可以得到关于pi的方程组，求解该方程组，获得关于s(t)和t的解析式。

可选的，根据所需精度调整p的个数m；将像素点和特征点的坐标带入，得到关于b样条控制点p的超定方程组；利用最小二乘法求解所述超定方程组，得到所述控制点p的值；根据所求得的m个控制点p的值，建立s(t)与t的函数关系模型。

示例性的，可以将上述第一定点确定为坐标原点，确定单位长度为1cm，根据像素点或者特征点与第一定点的水平距离来确定各点坐标，即各点对应的t值；

可选的，还可以将整个唇部的长度确定为单位长度1，则各点对应的t的取值范围在0-1之间，再根据水平距离确定各点准确的t值。

在一种可能实施方式中，所述根据所述函数关系模型进行采样并确定采样点的位置，具体包括：

根据所需精度确定采样点的数量，根据所述数量确定所述第一定点与第二定点之间采样点的横坐标；

根据所述函数关系模型和所述横坐标，计算所述采样点的纵坐标，并确定所述采样点的位置。

图2是根据一示例性实施例示出的一种基于b样条的唇线补全装置的逻辑结构框图。参照图2，该装置包括第一获取单元201，第二获取单元202，拟合单元203，确定单元204，执行单元205。

第一获取单元201，被配置为对目标对象的唇部区域图像进行边缘检测，获取对应唇线的像素点。

第二获取单元202，被配置为对所述唇部区域图像进行特征点检测，获取所述对应唇线的特征点。

拟合单元203，被配置为对所述像素点和所述特征点进行b样条曲线拟合，建立函数关系模型。

确定单元204，被配置为根据所述函数关系模型进行采样并确定采样点的位置。

执行单元205，被配置为连接所述采样点，获得补全后的唇线。

本申请实施例提供的装置，通过对目标对象的唇部区域图像进行边缘检测，获取对应唇线的像素点；再对唇部区域图像进行特征点检测，获取对应唇线的特征点；然后对像素点和特征点进行b样条曲线拟合，建立函数关系模型；最后根据所述函数关系模型进行采样并确定采样点的位置；并连接采样点，获得补全后的唇线的方法，代替了传统的图像处理方法，通过该方法可以获得连续光滑、单像素且符合人嘴唇特征的唇线，不需要结合其他图像处理方法对唇线进行边缘处理就能获得与真实唇形贴近的嘴部唇线，便于进行基于嘴唇形状的应用。

在一种可能实施方式中，拟合单元203还被配置为执行拟合单元还被配置为建立关于所述唇部区域图像的直角坐标系，获取所述像素点的坐标值与所述特征点的坐标值；根据所述特征点的坐标值和所述像素点的坐标值，进行三次均匀b样条曲线拟合，获取函数关系模型。

在一种可能实施方式中，所述唇部区域图像包括四条唇线图像；所述特征点包括唇角左侧特征点、唇角右侧特征点，所述像素点包括各条唇线最左侧像素点、各条唇线最右侧像素点；

所述拟合单元203，还被配置为：根据所述各条唇线最左侧像素点的横坐标与所述唇角左侧特征点的横坐标的均值，确定第一定点的横坐标；根据所述各条唇线最右侧像素点的横坐标与所述唇角右侧特征点的横坐标的均值，确定第二定点的横坐标；根据所述第一定点的横坐标与所述第二定点的横坐标之间的所述特征点和所述像素点的坐标值，进行三次均匀b样条曲线拟合。

在一种可能实施方式中，所述函数关系模型包括：

其中，s(t)为所述像素点和所述特征点的纵坐标，t为所述像素点和所述特征点的横坐标，bi为所述b样条曲线的第i个基函数，pi为所述b样条曲线第i个控制点的值，m表示所述b样条曲线有m个所述控制点p；

其中，根据所需精度确定m的值。

在一种可能实施方式中，确定单元204还被配置为：根据所需精度确定采样点的数量，根据所述数量确定所述第一定点与第二定点之间采样点的横坐标；根据所述函数关系模型和所述横坐标，计算所述采样点的纵坐标，并确定所述采样点的位置。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种电子设备，包括处理器；用于存储所述处理器可执行指令的存储器；其中所述处理器可以完成上述基于b样条的唇线补全方法，该方法包括：对目标对象的唇部区域图像进行边缘检测，获取对应唇线的像素点；对所述唇部区域图像进行特征点检测，获取所述对应唇线的特征点；对所述像素点和所述特征点进行b样条曲线拟合，建立函数关系模型；根据所述函数关系模型进行采样并确定采样点的位置；连接所述采样点，获得补全后的唇线。上述指令还可以由处理器执行以完成上述示例性实施方式中所涉及的其他步骤。

在示例性实施例中，还提供了一种包括指令的存储介质，该方法包括；对目标对象的唇部区域图像进行边缘检测，获取对应唇线的像素点；对所述唇部区域图像进行特征点检测，获取所述对应唇线的特征点；对所述像素点和所述特征点进行b样条曲线拟合，建立函数关系模型；根据所述函数关系模型进行采样并确定采样点的位置；连接所述采样点，获得补全后的唇线。所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。上述指令还可以执行以完成上述示例性实施方式中所涉及的其他步骤。

在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以完成上述基于b样条的唇线补全方法，该方法包括：对目标对象的唇部区域图像进行边缘检测，获取对应唇线的像素点；对所述唇部区域图像进行特征点检测，获取所述对应唇线的特征点；对所述像素点和所述特征点进行b样条曲线拟合，建立函数关系模型；根据所述函数关系模型进行采样并确定采样点的位置；连接所述采样点，获得补全后的唇线。上述指令还可以执行以完成上述示例性实施方式中所涉及的其他步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。