本发明涉及图像处理技术领域，特别涉及一种嘴唇内侧轮廓线的分割方法、系统和介质。
背景技术：
口腔牙科患者在进行牙齿美容，如牙齿贴面、牙齿正畸整形等之前，并不能看到一个直观的牙齿美容效果。口腔牙科的新型ar技术则通过先进的虚拟增强可视化技术，将患者牙齿美容后的渲染效果实时地显示给患者观看，极大地加强了医生与患者之间的有效沟通。口腔ar技术中的一个重要环节是患者口腔图像/视频的嘴唇内轮廓区域的提取，即嘴唇内轮廓线的分割。现有的嘴唇轮廓分割往往集中在嘴外侧轮廓的分割。由于嘴唇颜色与皮肤颜色对比较大，因此嘴外侧轮廓往往比较容易分割。而嘴唇内侧区域包括嘴唇，牙齿，舌头，牙龈(或牙龈乳头)以及口内其他区域。其中嘴唇、牙龈(或牙龈乳头)以及舌头颜色极为接近，难以分割。
现有的嘴唇内轮廓线分割方法可以分为两大类，一类是定量计算方法，另一类是统计计算方法。其中第一类定量计算方法又可以分为基于区域的方法和基于轮廓的方法。具体来说，基于区域的方法有模糊聚类法，参数模型法等；基于轮廓的方法有基于梯度信息的插值法，这类方法有其应用的局限性，仅在特定的场合下有较好的效果，不具有通用性。第二类是基于统计学习的方法，具有代表性的有基于局部二值特征回归，集成回归树法，监督下降法等算法。这些方法使用大量的训练样本来建立人脸关键点的回归分析模型，训练时间往往较长，但一旦训练完成后，执行速度非常快。然而这类方法一方面需要大量的学习样本，训练之后才能够对人脸的整体五官特征具有较好的定位。另一方面其在内嘴唇上的定位上精度较差，且定位点较少。通常来说，这类算法往往对内嘴唇只有8个定位点，远远达不到嘴唇内侧轮廓的提取与分割目的，不能完整提取嘴唇内侧轮廓线，除此之外，嘴唇内侧轮廓关键点的精度不高，定位不准确，无法精确地分割出嘴唇内侧轮廓线。
技术实现要素：
有鉴于此，本发明要解决的技术问题之一在于提供一种嘴唇内侧轮廓线的分割方法，能快速有效完整地提取嘴唇内侧轮廓线，实现嘴唇内侧轮廓的精确分割。
本发明通过以下技术手段解决上述技术问题：
本发明实施例提供了一种嘴唇内侧轮廓线的分割方法，具体包括以下步骤：
在原始图像中获取嘴唇区域图像；
将所述嘴唇区域图像进行图像颜色空间变换，得到图像a和图像h；
对所述图像a和图像h分别进行图像滤波处理，得到图像滤波后的图像a1和图像h1；对图像a1和图像h1分别进行细化处理，得到图像athin和图像hthin；
对所述图像athin和图像hthin分别进行噪声滤波处理，得到图像a2和图像h2；
将图像a2和图像h2进行合并，对合并后的图像进行二值化，得到二值图像，对二值图像进行形态学滤波处理，得到平滑封闭区域；
获取所述平滑封闭区域的边界轮廓线，所述平滑封闭区域的边界轮廓线为嘴唇内侧轮廓线。
可选地，将所述嘴唇区域图像由rgb颜色空间变换到lab色彩空间，lab空间的a通道图像为图像a，所述图像h中的h的表达式为
可选地，对所述图像a和图像h分别进行图像滤波处理的具体方法包括：图像滤波处理采用的公式为：
当输入图像f(x,y)为h时，滤波器g(x,y)采用高斯二阶导数滤波器，高斯二阶导数滤波器定义为：
可选地，所述在原始图像中获取嘴唇图像区域采用opencv和dlib开源库，其中，opencv用于寻找和探测原始图像中的人脸，dlib库用于提取人脸的68个关键点，在dlib库提取的关键点当中，嘴唇外轮廓有12个关键点以及嘴唇内侧轮廓有8个关键点，对所述嘴唇内侧轮廓的8个关键点进行插值拟合，得到封闭的拟合图形。
可选地，所述噪声滤波的方法具体包括：
根据所述细化后的图像athin和hthin中的每条曲线长度进行第一次评分，得到曲线第一评分，曲线长度值越大，则评分越高；
通过计算所述细化图像athin和hthin中的每条曲线落入拟合图像的比值，得到曲线第二次评分，比值越高，则评分越高；
对所述细化后的图像athin和hthin的每条曲线的平均亮度进行统计，得到曲线第三评分，平均亮度值越大，则评分越高；
每条曲线的第一评分、第二评分和第三评分之和为曲线的总评分，设定总评分阈值，保留所述细化后图像athin和hthin中总评分高于总评分阈值的曲线，滤除总评分低于总评分阈值的曲线。
噪声滤波算法的好处在于，并不要求8个关键点的定位非常精确，在大致准确的情况下，就能得到较好的滤波效果。
可选地，所述对合并后的图像进行形态学滤波处理的具体方法包括，依次对二值图像进行闭运算、孔洞填充、开运算和闭运算。
第二方面，本发明的实施例提供了一种嘴唇内侧轮廓线的分割系统，包括嘴唇区域提取模块、颜色空间变换模块、图像滤波处理模块、图像噪声滤波处理模块、图像合并和形态学滤波模块以及嘴唇外侧轮廓线获取模块，其中，
所述嘴唇区域获取模块用于从原始图像中获取出嘴唇区域图像；
所述颜色空间变换模块用于将嘴唇区域图像由rgb颜色空间转换到lab颜色空间，得到图像a和图像h；
所述图像滤波处理模块用于对所述图像a和图像h分别进行图像滤波处理，得到图像a1和图像h1，并对所述图像a1和图像h1分别进行细化处理得到细化后的图像athin和hthin；所述图像噪声滤波处理模块用于对图像滤波处理后的得到的图像athin和hthin分别进行噪声滤波处理得到图像a2和h2；
所述图像合并和形态学滤波模块用于对图像a2和图像h2进行合并和形态学滤波处理，得到平滑封闭区域；
所述嘴唇外侧轮廓线获取模块用于在获取所述平滑封闭区域的边界轮廓线，得到嘴唇内侧轮廓线。
可选地，将所述嘴唇区域图像由rgb颜色空间变换到lab色彩空间，lab空间的a通道图像为图像a，所述图像h中的h的表达式为
可选地，所述噪声滤波处理模块处理的具体方法包括：
根据所述细化后的图像athin和hthin中的每条曲线长度进行第一次评分，得到曲线第一评分，曲线长度值越大，则评分越高；
通过计算所述细化图像athin和hthin中的每条曲线落入拟合图像的比值，得到曲线第二次评分，比值越高，则评分越高；
对所述细化后的图像athin和hthin的每条曲线的平均亮度进行统计，得到曲线第三评分，平均亮度值越大，则评分越高；
每条曲线的第一评分、第二评分和第三评分之和为曲线的总评分，设定总评分阈值，保留所述细化后图像athin和hthin中总评分高于总评分阈值的曲线，滤除总评分低于总评分阈值的曲线。在实际应用中，根据实际情况设定总评分的阈值，总评分高于总评分阈值的曲线保留，总评分低于总评分阈值的曲线滤除。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述的方法。
本发明的有益效果：
本发明实施例提供的一种嘴唇内侧轮廓线的分割方法、系统和介质，通过引入图像h，图像h是提出的一种新的图像变换算法，凸显嘴唇内侧的轮廓区域。本发明通过进行图像滤波和细化滤波，初步得到嘴唇内侧轮廓线。然后通过对嘴唇内侧8个关键点进行插值拟合，对初步得到的嘴唇内侧轮廓线进行噪声滤波，得到噪声滤波后的图像a2和图像h2。接着对a2和h2合并，并进行一系列形态学滤波处理，获取完整的嘴唇内侧轮廓线。本发明能完整分割出嘴唇内侧轮廓线，分割的准确度明显高于现有技术的分割方法。本发明有助于进一步对嘴唇内侧区域进行其他后续处理工作，例如患者牙齿的ar美容等。
附图说明
下面结合附图和实施例对本发明作进一步描述。
图1为本发明提供的一种嘴唇内侧轮廓线的分割方法第一实施例的流程图；
图2为采用现有技术提取的嘴唇外轮廓12个关键点以及嘴唇内侧轮廓8个关键点的图像；
图3为对图2中内嘴唇8个关键点进行插值拟合得到的图形；
图4为对图2进行图像颜色空间变换得到的图像a；
图5为对图2进行图像颜色空间变换得到的图像h；
图6为对图4进行图像滤波和细化处理后得到的图像athin；
图7为对图5进行图像滤波和细化处理后得到的图像hthin；
图8为对图像a2和图像h2合并后的二值图像；
图9为对图8进行闭运算得到的图像；
图10为对图9进行空洞填充得到的图像；
图11为对图10进行开运算和闭运算得到的图像；
图12为采用本发明实施例提供的嘴唇内侧轮廓线的分割方法获取的嘴唇内轮廓线的图像；
图13为发明提供的一种嘴唇内侧轮廓线的分割系统的第一实施例的原理框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。
下面结合附图和较佳的实施例对本发明作进一步说明。
如图1所示：图1示出了本发明实施例提供的一种嘴唇内侧轮廓线的分割方法的流程图，该方法具体包括以下步骤：
s101：在原始图像中获取嘴唇区域图像。
具体地，在原始图像中获取嘴唇区域图像的步骤包括：使用人脸检测算法，获取人脸的五官区域，在人脸标定关键点，根据嘴唇部分的关键点，进而获取嘴唇区域图像。本实施例利用了opencv和dlib开源库，其中opencv用于寻找和探测原始图像中的人脸，dlib库用于提取人脸的68个关键点。如图2所示，在dlib库提取的关键点当中，嘴唇外轮廓有12个关键点以及嘴唇内侧轮廓有8个关键点。如图3所示，对所述嘴唇内侧轮廓的8个关键点进行插值拟合，得到封闭的拟合图形，具体的插值拟合处理方法包括：嘴内侧上部的1、2、3关键点之间采用线性插值；嘴内侧下部的5、6、7关键点之间采用线性插值；嘴角两侧关键点3、4、5采用三次样条插值；嘴角关键点1、8、7采用三次样条插值。
s102：将所述嘴唇区域图像进行图像颜色空间变换，得到图像a和图像h。
具体地，如图4所示，将嘴唇区域图像由rgb颜色空间转换到lab颜色空间,lab颜色空间的a通道图像为图像a，图像a能较好地区分嘴唇、牙齿、面部区别，但是有时图像a不能区分嘴唇与牙龈、舌头区域。如图5所示，图像h中的h的公式为：
s103：对所述图像a和图像h分别进行图像滤波处理，得到图像滤波后的图像a1和图像h1，对图像滤波后的图像a1和图像h1分别进行细化处理，得到图像athin和图像hthin。
具体地，对图像a和图像h分别进行图像滤波处理的具体方法包括：图像滤波处理采用的公式为：
当输入图像f(x,y)为h时，滤波器g(x,y)采用高斯二阶导数滤波器，高斯二阶导数滤波器定义为：
如图6、7所示，经过图像滤波后得到rst*，所述rst*包括图像a1和h1，对所述rst*采用了非极大值抑制算法进行细化处理得到图像athin和图像hthin，非极大值抑制算法的方向角度采用θ*(x,y)，非极大值抑制算法所需要的方向角度θ*(x,y)由公式
s104：对图像滤波后的图像athin和图像hthin分别进行噪声滤波处理，得到噪声滤波后的图像a2和图像h2。
在实际应用中，往往会出现较多噪声，一方面由于图像的采集质量不高；一方面由于不同人的嘴唇颜色及形状各不相同，会得到不同结果，其中不乏出现噪声较多情况。因此，采用噪声滤波处理，可以进一步滤除噪声，降低噪声干扰。
噪声滤波处理的方法包括：
根据所述细化后的图像athin和hthin中的每条曲线长度进行第一次评分，得到曲线第一评分，曲线长度值越大，则评分越高；
通过计算所述细化图像athin和hthin中的每条曲线落入拟合图像的比值，得到曲线第二次评分，比值越高，则评分越高；
对所述细化后的图像athin和hthin的每条曲线的平均亮度进行统计，得到曲线第三评分，平均亮度值越大，则评分越高；
每条曲线的第一评分、第二评分和第三评分之和为曲线的总评分，设定总评分阈值，保留所述细化后图像athin和hthin中总评分高于总评分阈值的曲线，滤除总评分低于总评分阈值的曲线。
对述细化后的图像athin和hthin采用上述方法进行噪声滤波处理，即使嘴唇内侧轮廓线8个关键点的封闭拟合图形并非很精确，在大致准确的情况下，也能得到较好的滤波效果。
s105：将经过噪声滤波处理后的图像a2和图像h2进行合并，对合并后的图像进行二值化，得到二值图像，对二值图像进行形态学滤波处理，得到平滑封闭区域。
具体地，在对图像athin和图像hthin噪声滤波处理后，采用大津法(otsu)自动计算图像的阈值，得到二值图像。如图8所示，将二值化后的图像a2和图像h2合并叠加，使图像a2和图像h2相互补充，共同构建了一个封闭的区域。如图9、10、11所示，对封闭的区域进行形态学滤波处理，形态学滤波处理的方法依次包括第一次闭运算、孔洞填充、开运算和第二次闭运算。第一次闭运算使合并后的图像中未连接的间断曲线完整连接；孔洞填充，将完整连接的图像形成封闭的完整区域；开运算的作用是滤除封闭的完整区域的剩余噪声；第二次闭运算的作用是进一步填充和平滑不完整缺口，得到平滑封闭区域。
s106：提取所述平滑封闭区域的边界轮廓线，所述平滑封闭区域的边界轮廓线为嘴唇内侧轮廓线，完成嘴唇内侧轮廓线的分割。如图12所示，为本实施例提取的嘴唇内侧轮廓线图像。
本发明实施例提供的一种嘴唇内侧轮廓线的分割方法，通过引入图像h，图像h是提出的一种新的图像变换算法，凸显嘴唇内侧的轮廓区域。通过进行图像滤波和细化滤波，初步得到嘴唇内侧轮廓线。然后通过对嘴唇内侧8个关键点进行插值拟合，对初步得到的嘴唇内侧轮廓线进行噪声滤波，得到噪声滤波后的图像a2和图像h2。接着对a2和h2合并，并进行一系列形态学滤波处理，获取完整的嘴唇内侧轮廓线。本发明实施例能完整分割出嘴唇内侧轮廓线，分割精确度高，方便进一步对嘴唇进行图像处理。分割出的嘴唇内侧轮廓线的准确度明显高于现有技术的分割方法。
第二方面，如图13所示，本发明的实施例提供了一种嘴唇内侧轮廓线的分割系统，包括嘴唇区域获取模块201、颜色空间变换模块202、图像滤波处理模块203、图像噪声滤波处理模块204、图像合并和形态学滤波模块205以及嘴唇外侧轮廓线获取模块206，其中，
所述嘴唇区域获取模块201用于从人脸图像中提取出嘴唇区域图像；
所述颜色空间变换模块202用于将嘴唇区域图像由rgb颜色空间转换到lab颜色空间，得到图像a。通过定义一种新的变换，得到图像h；
所述图像滤波处理模块203用于对所述图像a和图像h分别进行图像滤波处理，得到图像a1和图像h1，并对所述图像a1和图像h1分别进行细化处理得到细化后的图像athin和hthin；
所述图像噪声滤波处理模块204用于对图像滤波处理后的得到的图像athin和hthin分别进行噪声滤波处理得到图像a2和h2；
所述图像合并和形态学滤波模块205用于对进行噪声滤波处理后的图像a2和图像h2进行合并和形态学滤波处理，得到平滑封闭区域；
所述嘴唇外侧轮廓线获取模块206用于获取所述平滑封闭区域的边界轮廓线，得到嘴唇内侧轮廓线。
作为上述方案的进一步改进，将所述嘴唇区域图像由rgb颜色空间变换到lab色彩空间，lab空间的a通道图像为图像a，图像h中的h的表达式为
作为上述方案的进一步改进，所述噪声滤波处理模块处理的具体方法包括：根据所述细化后的图像athin和hthin中的每条曲线长度进行第一次评分，得到曲线第一评分，曲线长度值越大，则评分越高；
通过计算所述细化图像athin和hthin中的每条曲线落入拟合图像的比值，得到曲线第二次评分，比值越高，则评分越高；
对所述细化后的图像athin和hthin的每条曲线的平均亮度进行统计，得到曲线第三评分，平均亮度值越大，则评分越高；
每条曲线的第一评分、第二评分和第三评分之和为曲线的总评分，设定总评分阈值，保留所述细化后图像athin和hthin中总评分高于总评分阈值的曲线，滤除总评分低于总评分阈值的曲线。
本发明实施例提供的一种嘴唇内侧轮廓线的分割系统，通过引入图像h，图像h是提出的一种新的图像变换算法，凸显嘴唇内侧的轮廓区域。通过进行图像滤波和细化滤波，初步得到嘴唇内侧轮廓线。然后通过对嘴唇内侧8个关键点进行插值拟合，对初步得到的嘴唇内侧轮廓线进行噪声滤波，得到噪声滤波后的图像a2和图像h2。接着对a2和h2合并，并进行一系列形态学滤波处理，获取完整的嘴唇内侧轮廓线。本发明实施例能完整分割出嘴唇内侧轮廓线，分割精确度高，有助于进一步对嘴唇内侧区域进行其他后续处理工作。分割出的嘴唇内侧轮廓线的准确度明显高于现有技术的分割方法。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法。
所述计算机可读存储介质可以是前述实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。