一种层次化彩绘文物线稿提取模型构建、方法及装置与流程
本发明涉及彩绘文物线稿提取方法，具体涉及一种层次化彩绘文物线稿提取模型构建、方法及装置。
背景技术：
彩绘文物作为历史的物质遗存，其蕴含着不同时代、不同地域的文化艺术、宗教信仰及环境变迁，不仅传承了一国历史的文化精华、丰富了世界文化的多样性，也为人类研究历史提供了宝贵的素材。彩绘文物的线稿反映了彩绘图案的主要结构及内容，是临摹、修复彩绘文物的重要环节。然而，由于年代久远，很多彩绘文物受自然环境、人为因素等影响，产生了不同程度的病害，如起甲、干裂、褪色等，这使得彩绘文物背景变得复杂，对线稿的准确提取提出了挑战。
传统的线稿绘制主要依靠手工，绘制过程十分复杂并且非常耗时。利用计算机和图像处理技术对彩绘文物线稿进行提取具有高效、可复用等优点。线稿提取关键技术涉及边缘提取。目前，边缘提取技术主要涉及两类：传统图像处理算法和基于深度学习的算法。较经典的传统图像处理算法包括canny算子、fdog算法等，canny算子生成的线稿平滑程度较差，且存在抖动现象；fdog算法提高了线条的连续性，对干净背景的文物图像有较好的提取效果，但对于复杂背景其受噪声影响较大，将提取很多非线稿边缘，准确度大大降低。近年来，基于深度学习的边缘提取技术包括：hed、rcf、bdcn等神经网络，由于可以通过大量样本学习可以引入先验知识，边缘检测的准确度大大提高。但是如果将上述基于神经网络的方法直接应用于文物数据，特别是具有复杂背景的文物数据，其提取的边缘存在模糊、伪影以及细节丢失严重的问题。
技术实现要素：
本发明的目的在于提供一种fdog与神经网络的层次化彩绘文物线稿提取模型构建及方法，用以解决现有技术中的彩绘文物线稿提取方法存在的复杂病害背景下的文物线稿提取质量低的问题。
为了实现上述任务，本发明采用以下技术方案：
一种层次化彩绘文物线稿提取模型构建方法，所述的方法按照以下步骤执行：
步骤1、采集多幅彩绘文物图像，获得第一样本集；
采用fdog算法对第一样本集中每一幅彩绘文物图像的线稿图像进行边缘提取，获得fdog标签集；
获取第一样本集中每一幅彩绘文物图像的线稿图像，获得第一线稿标签集；
步骤2、将所述的第一样本集作为输入，将所述的fdog标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，获得粗提取模型；
所述的边缘提取网络是采用边缘数据集作为输入，采用边缘标签集作为参考输出，训练bdcn边缘检测网络后获得的；
其中所述的边缘数据集包括多幅自然图像，所述的边缘标签集包括边缘数据集中每幅自然图像对应的边缘标签图像以及边缘数据集中每幅自然图像经过边缘提取后获得的fdog边缘标签图像；
步骤3、采集多幅彩绘文物图像，获得第二样本集；其中所述第二样本集中的每一幅彩绘文物图像与第一样本集中的彩绘文物图像均不相同；
获取第二样本集中每一幅彩绘文物图像的线稿图像，获得第二线稿标签集；
步骤4、将所述步骤3获得的第二样本集输入至步骤2获得的粗提取模型中，获得粗线稿图像集；
步骤5、将所述的粗线稿图像集作为输入，将所述的第二线稿标签集作为参考输出，训练卷积神经网络，获得细线稿提取模型；
步骤6、获得线稿提取模型，所述的线稿提取模型包括依次连接的步骤2中获得的粗提取模型以及步骤5中获得的细线稿提取模型。
进一步地，所述的步骤5中的卷积神经网络包括依次设置的u-net网络、侧输出层以及融合输出层；
所述的侧输出层包括依次设置的第一卷积层、上采样层以及第一激活函数层；所述的融合输出层包括依次设置的第二卷积层以及第二激活函数层。
进一步地，所述的步骤5中训练卷积神经网络时，采用随机梯度下降算法进行训练，其中损失函数lfine为：
其中ωside表示不同的尺度特征对应的损失函数中的比重，ωfuse表示融合特征在损失函数中的比重；s表示尺度，s＝1,2,…,s，s为正整数，
进一步地，所述的步骤2中采用边缘数据集以及边缘标签集训练bdcn边缘检测网络时，损失函数lpre为：
其中s表示尺度，s＝1,2,…,s，s为正整数，α为目标函数中边缘标签的权重，β为fdog边缘标签的权重，pn表示将自然图像n输入至bdcn边缘检测网络后的输出图像，
一种层次化彩绘文物线稿提取方法，将所述的待提取的彩绘文物图像输入至所述的层次化彩绘文物线稿提取模型构建方法获得的线稿提取模型中，获得彩绘文物线稿图像。
一种层次化彩绘文物线稿提取模型构建装置，所述的装置包括第一数据集构建模块、粗提取模型获得模块、第二数据集构建模块、粗线稿提取模块、细提取模型获得模块以及线稿提取模型获得模块；
所述的第一数据集构建模块用于采集多幅彩绘文物图像，获得第一样本集；
采用fdog算法对第一样本集中每一幅彩绘文物图像的线稿图像进行边缘提取，获得fdog标签集；
获取第一样本集中每一幅彩绘文物图像的线稿图像，获得第一线稿标签集；
所述的粗提取模型获得模块用于将所述的第一样本集作为输入，将所述的fdog标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，获得粗提取模型；
所述的边缘提取网络是采用边缘数据集作为输入，采用边缘标签集作为参考输出训练bdcn边缘检测网络后获得；
其中所述的边缘数据集包括多幅自然图像，所述的边缘标签集包括边缘数据集中每幅自然图像对应的边缘标签图像以及边缘数据集中每幅自然图像经过边缘提取后获得的fdog边缘标签图像；
所述的第二数据集构建模块用于采集多幅彩绘文物图像，获得第二样本集；其中所述第二样本集中的每一幅彩绘文物图像与第一样本集中的彩绘文物图像均不相同；
获取第二样本集中每一幅彩绘文物图像的线稿图像，获得第二线稿标签集；
所述的粗线稿提取模块用于将所述获得的第二样本集输入至粗提取模型中，获得粗线稿图像集；
所述的细提取模型获得模块用于将所述的粗线稿图像集作为输入，将所述的第二线稿标签集作为参考输出，训练卷积神经网络，获得细线稿提取模型；
所述的线稿提取模型获得模块用于获得线稿提取模型，所述的线稿提取模型包括依次连接的粗提取模型以及细线稿提取模型。
进一步地，所述的细提取模型获得模块中的卷积神经网络包括依次设置的u-net网络、侧输出层以及融合输出层；
所述的侧输出层包括依次设置的第一卷积层、上采样层以及第一激活函数层；所述的融合输出层包括依次设置的第二卷积层以及第二激活函数层。
进一步地，所述的细提取模型获得模块中训练卷积神经网络时，采用随机梯度下降算法进行训练，其中损失函数lfine为：
其中ωside表示不同的尺度特征对应的损失函数中的比重，ωfuse表示融合特征在损失函数中的比重；s表示尺度，s＝1,2，…，s，s为正整数，
进一步地，所述的粗提取模型获得模块中采用边缘数据集以及边缘标签集训练bdcn边缘检测网络时，损失函数lpre为：
其中s表示尺度，s＝1,2，…，s，s为正整数，α为目标函数中边缘标签的权重，β为fdog边缘标签的权重，pn表示将自然图像n输入至bdcn边缘检测网络后的输出图像，
一种层次化彩绘文物线稿提取装置，用于将所述的待提取的彩绘文物图像输入至层次化彩绘文物线稿提取模型构建装置获得的线稿提取模型中，获得彩绘文物线稿图像。
本发明与现有技术相比具有以下技术效果：
1、本发明提供的fdog与神经网络的层次化彩绘文物线稿提取模型构建、方法及装置提出了一种线稿粗提取方法，其中设计的新的加权损失函数，将传统fdog算法引入bdcn边缘检测神经网络，二者联合训练来进行从边缘检测任务到彩绘文物线稿提取任务的迁移学习，充分结合了深层卷积网络提取连贯性边缘特征的优点和传统算法提取细节特征的优点，使得粗提取到的文物线稿信息更完整，甚至能够补充部分受病害影响断裂的线稿；
2、本发明提供的fdog与神经网络的层次化彩绘文物线稿提取模型构建、方法及装置提出了一种线稿细提取方法，其中设计的新的多尺度u-net网络将传统u-net网络解码过程的各层不同尺度的特征上采样到原图大小，利用损失函数对各个尺度的特征进行计算并进行充分的特征融合，以捕捉丰富的病害多尺度特征，从而有效地抑制传统算法无法去除的病害噪声，并能够进一步细化并还原彩绘文物中的线稿；
3、本发明提供的fdog与神经网络的层次化彩绘文物线稿提取方法及装置将线稿提取分为两步，首先利用bdcn边缘检测网络的可迁移性来解决数据不足的问题，以还原线稿边缘细节的完整信息，补充受病害影响断裂的线条，对线稿进行粗提取。然后将粗提取作为先验知识，在其基础上抑制第一步中由于引入传统算法所无法消除的病害，以及由bdcn模型引起的线条模糊。该两步充分配合，有效结合bdcn边缘检测网络和u-net网络各自的优点，使得提取的文物线稿不仅连贯完整、清晰干净，且更为全面和准确。
附图说明
图1为本发明的一个实施例中提供的彩绘文物图像；图1(a)为测试的彩绘文物图像；图1(b)为经过fdog算法提取的线稿图像；图1(c)为提供的真实的线稿图像；
图2为本发明的一个实施例中提供的自然图像；图2(a)示例了训练使用的自然图像；图2(b)为经过fdog算法提取的线稿图像；图2(c)为原始的边缘标签；
图3为本发明的一个实施例中提供的细线稿提取模型内部结构图；
图4为本发明的一个实施例中提供的消融实验分析中分两步对彩绘文物线稿提取的结果图；图4(a)为测试使用的彩绘文物图；图4(b)为粗提取得到的彩绘文物线稿图；图4(c)为最终细提取得到的彩绘文物线稿图；图4(d)为专家绘制的彩绘文物线稿真实线稿图像；
图5为本发明的一个实施例中提供的消融实验分析中用bdcn和u-net网络分别单独对彩绘文物线稿的提取结果；图5(a)为测试使用的彩绘文物图；图5(b)为彩绘文物数据仅对bdcn网络训练得到的线稿结果图，图5(c)为彩绘文物数据仅对u-net网络训练得到的线稿结果图，图5(d)为本发明层次化框架提取的线稿结果图；
图6为本发明的一个实施例中提供的与现有经典的边缘检测算法结果的对比结果图，图6(a)为基于流的高斯差分算法fdog对线稿的提取结果图；图6(b)为edge-boxes边缘检测算法对线稿的提取结果图；图6(c)为rcf网络对线稿的提取结果；图6(d)为bdcn网络对线稿提取的结果图；图6(e)为本发明提供的方法对线稿的提取结果图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
以下对本发明涉及的定义或概念内涵做以说明：
bdcn网络：双向级联网络，该网络是基于深度学习的一种卷积神经网络结构，用于边缘检测任务。
fdog算法：基于流的高斯差分滤波算法，是一种经典的传统边缘检测算子。该算法保留了图像中的显著边缘，弱边缘被引导跟随其邻域内显著边缘的方向一致，以提取线稿中的细节并最大化线条连贯性。
u-net网络：该网络是基于深度学习的一种卷积神经网络结构，包括一个收缩路径来学习深层高级的特征和一个扩展路径来学习位置特征，并将下采样的原始特征拼接到上采样的特征中。最早用于医学图像分割任务，由于其结构的简洁及有效性，现已用于多种任务来实现特征的提取。
实施例一
在本实施例中公开了一种层次化彩绘文物线稿提取模型构建方法，方法按照以下步骤执行：
步骤1、采集多幅彩绘文物图像，获得第一样本集；
采用fdog算法对第一样本集中每一幅彩绘文物图像的线稿图像进行边缘提取，获得fdog标签集；
获取第一样本集中每一幅彩绘文物图像的线稿图像，获得第一线稿标签集；
在本步骤中，采集多幅彩绘文物图像的方式可以是由相机等设备进行拍照采集，还可以是从数据库中调用采集。
在本实施例中，获取的彩绘文物图像如图1(a)所示，采用fdog算法对如图1(a)所示的彩绘文物图像进行边缘提取，获得如图1(b)所示的边缘标签图像；对如图1(a)所示的彩绘文物图像进行手绘线稿提取，获得的线稿图像如图1(c)所示。
步骤2、将第一样本集作为输入，将fdog标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，获得粗提取模型；
所述的边缘提取网络是采用边缘数据集作为输入，采用边缘标签集作为参考输出，训练bdcn边缘检测网络后获得；
其中所述的边缘数据集包括多幅自然图像，所述的边缘标签集包括边缘数据集中每幅自然图像对应的边缘标签图像以及边缘数据集中每幅自然图像经过边缘提取后获得的fdog边缘标签图像；
在本步骤中，每幅自然图像对应的边缘标签图像为每幅自然图像的真实边缘图像，这个真实边缘图像可以是手工描绘的；每幅自然图像对应的fdog边缘标签图像是经过fdog算法进行边缘提取后获得的，在本步骤中，结合这两部分数据构成每组三幅的图像作为粗提取网络的预训练集。在本步骤中，自然图像不是彩绘文物图像。
在本步骤中，利用现有的bdcn边缘检测网络作为粗提取模型的基础，bdcn边缘检测网络以vgg16为基础结构，每层经过多次扩张卷积及下采样得到不同尺度的特征，最后融合不同深度下的多尺度信息。
在本实施例中，bdcn边缘检测网络是“bi-directionalcascadenetworkforperceptualedgedetection”提出的，用于边缘检测任务的一种网络结构。
在本实施例中，为了解决文物数据集不足的问题，获取了多组用于边缘检测的公开数据对粗提取网络进行预训练，获取了bsds500的公开数据集，每组包含一幅自然图像xn和一幅对应的边缘标签
在本步骤中，通过利用fdog边缘标签图像作为标签，在bdcn预训练好的边缘检测模型上再训练，使得具有强大边缘检测能力的网络功能得以充分利用，并且训练好的边缘提取网络充分结合了深层卷积网络提取边缘性特征的优点和传统算法提取细节特征的优点，使得边缘提取网络的提取结果更加精准；
其中在对bdcn边缘检测网络进行训练时，采用随机梯度下降算法不断优化损失函数，直至收敛。
可选地，步骤2中采用边缘数据集以及边缘标签集训练bdcn边缘检测网络时，损失函数lpre为：
其中s表示尺度，s＝1,2，…，s，s为正整数，α为目标函数中边缘标签的权重，β为fdog边缘标签的权重，pn表示将自然图像n输入至bdcn边缘检测网络后的输出图像，
在本实施例中α为目标函数中学习边缘检测标签的权重，β为学习fdog标签的权重，用来平衡边缘标签和细节标签所占的比重，直接影响网络最终学习到的特征，这里α＝0.9，β＝0.1,s表示尺度；
l函数为交叉熵损失函数，其定义为：
其中，
在本步骤中，利用第一样本集作为输入，fdog标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，最终获得了粗提取模型，其中采用第一样本集作为输入，fdog标签集以及第一线稿标签集作为参考输出的目的是使边缘提取网络能够学习得到具有彩绘文物风格特点的线稿特征pr，该特征包含了边缘及细节的信息。
在本实施例中，训练边缘提取网络时还是采用随机梯度下降方法，得到收敛的粗提取模型；类似的，此时的损失函数为：
此模型由彩绘文物数据训练得到，能够提取具有彩绘文物风格特点的信息，同时具备大量自然数据训练得到的强大的边缘检测网络性能，以提取到丰富的边缘和细节，并补充部分由于破损而断裂的线条。但由于文物背景的复杂性，传统算法fdog无法有效抑制病害，所以粗提取的线稿中含有一定病害造成的噪声。
步骤3、采集多幅彩绘文物图像，获得第二样本集；其中所述第二样本集中的每一幅彩绘文物图像与第一样本集中的彩绘文物图像均不相同；
获取第二样本集中每一幅彩绘文物图像的线稿图像，获得第二线稿标签集；
在本步骤中，采用与步骤1获得的彩绘文物图像不同的图像。
获取另外多组彩绘文物数据，每组包含一幅彩绘文物图像xr和一幅专家制作的彩绘文物线稿标签yr，作为粗提取网络的测试集。
步骤4、将所述步骤3获得的第二样本集输入至步骤2获得的粗提取模型中，获得粗线稿图像集；
在本步骤中，利用步骤2得到的模型，对步骤3得到的测试集的彩绘文物数据进行测试，得到多组粗提取线稿图像对，每组包含一幅粗提取线稿图
步骤5、将所述的粗线稿图像集作为输入，将所述的第二线稿标签集作为参考输出，训练卷积神经网络，获得细线稿提取模型；
在本步骤中，将步骤4输出的粗提取线稿图
在本实施例中，卷积神经网络是以u-net网络为基础，但与现有技术中的u-net网络不同的是，将其解码过程的各层特征上采样到原图大小构成不同尺度的特征图，再融合各个尺度特征图构成融合特征图的网络结构。
可选地，步骤5中的卷积神经网络包括依次设置的u-net网络、侧输出层以及融合输出层；
所述的侧输出层包括依次设置的第一卷积层、上采样层以及第一激活函数层；所述的融合输出层包括依次设置的第二卷积层以及第二激活函数层。
在本实施例中，u-net网络的多个上采样层分别与侧输出层连接，侧输出层中由第一卷积层与上采样层连接，上采样层与第一激活函数层连接。该上采样层又同时与u-net输出层通道拼接，拼接后与融合输出层连接，融合输出层中由第二卷积层与第二激活函数层连接。
如图3所示，u-net网络主要由最大池化(下采样)模块、反卷积(上采样)模块以及relu非线性激活函数组成。整个网络的过程具体如下：
最大池化模块进行下采样，如图3所示，每一个最大池化模块均包括两个卷积块以及一个最大池化层，每个卷积块包括依次连接的3*3卷积层、归一化层以及激活函数层；
在本实施例中，最大池化模块设置有四个，达到最底层时即第4次最大池化之后，然后再拼接有两个3*3的卷积块。
反卷积(上采样)模块进行上采样，每一个上采样模块均包括两个卷积块以及一个上采样层，每个卷积块包括依次连接的3*3卷积层、归一化层以及激活函数层；
在本实施例中，上采样模块对应的设置有四个。
在本实施例中，最后一个上采样模块后面依次连接有一个输出1*1卷积层以及一个激活函数层。
在本实施例中，如图3所示，第一卷积层分别对u-net网络中第二个单独的3*3卷积块的输出以及前三个上采样模块的输出进行1*1的卷积后，输出四个卷积后的特征，再利用第一上采样层对四个卷积后的特征进行上采样，输出四个上采样后的特征，将四个上采样后的特征输入至第一激活函数层中求得4个单通道损失值；u-net输出层中1*1卷积层后输入到激活函数层，也求得1个单通道损失值；计算此5个单通道损失以获得多尺度u-net的5个尺度的侧面输出；
另外将四个上采样后的特征与u-net网络中输出1*1卷积层的输出特征拼接，并同时输入至第二卷积层中进行1*1的卷积，得到一个融合特征，将这一个特征输入至第二激活函数层中，求得一个融合损失值，最终获得多尺度的融合输出，所述的融合输出即细提取线稿图。
步骤6、获得线稿提取模型，所述的线稿提取模型包括依次连接的步骤2中获得的粗提取模型以及步骤5中获得的细线稿提取模型。
可选地，步骤5中训练卷积神经网络时，采用随机梯度下降算法进行训练，其中损失函数lfine为：
其中ωside表示不同的尺度特征对应的损失函数中的比重，ωfuse表示融合特征在损失函数中的比重；s表示尺度，s＝1,2，…，s，s为正整数，
在本实施例中，单通道损失函数与融合损失函数均为交叉熵损失函数。
在本实施例中，s＝5，ωfuse＝1.1；
当s＝1时，ωside＝0.8；当s＝2时，ωside＝0.8；当s＝3时，ωside＝0.4；当s＝4时，ωside＝0.4；当s＝5时，ωside＝0.4。
本实施例中提供的彩绘文物线稿提取模型构建方法，首先还原线稿边缘细节的完整信息，补充受病害影响断裂的线条，对线稿进行粗提取。再在粗提取的基础上抑制病害，去除由病害引入的噪声，得到更为细致、干净的线稿。该两步充分配合，有效结合bdcn边缘检测网络和u-net网络各自的优点，使得提取的文物线稿更为全面和准确。本实施例提出新的加权损失函数，在bdcn边缘检测神经网络中引入传统fdog方法，将二者联合训练来进行从边缘检测任务到彩绘文物线稿提取任务的迁移学习，充分结合了深层卷积网络提取边缘性特征的优点和传统算法提取细节特征的优点，使得粗提取到的文物线稿信息更完整，甚至能够补充部分受病害影响断裂的线稿；提出了新的多尺度u-net网络进行线稿的细提取，将u-net网络解码过程的各层不同尺度的特征上采样到原图大小，并进行合理的特征融合，有效地抑制传统算法无法去除的病害噪声，并能够进一步细化并还原彩绘文物中的线稿。
实施例二
在本实施例中提供了一种层次化彩绘文物线稿提取方法，将待提取的彩绘文物图像输入至实施例一中的层次化彩绘文物线稿提取模型构建方法获得的线稿提取模型中，获得彩绘文物线稿图像。
在本实施例中采用两种类型的彩绘文物线稿图像来验证本发明提供的线稿提取方法的有效性；干净背景的彩绘文物图像，该彩绘文物图像的脱落、裂纹、污点等病害分布较少；复杂背景的彩绘文物图像，该彩绘文物图像受病害影响具有一定程度的裂纹、脱落和噪声。实验中采用的干净背景彩绘文物图像是临摹敦煌壁画图，复杂背景彩绘图像为唐章怀太子墓打马球图，以及唐韦贵妃墓备马图，图像大小分别为480×1264，180×336，640×640，800×736。
为了更好地评估该线稿提取方法的有效性，本发明给出两种实验类型，分别为：针对本发明算法的消融实验和与现有边缘检测算法的对比实验。其中消融实验主要验证了层次化提取过程的有效性，对比实验主要与现有的几种边缘检测算法进行比较，包括传统边缘检测算法canny、fdog、edge-boxes等，同时也与基于深度学习的边缘检测算法如hed、rcf、bdcn进行了对比实验。
实验中使用pytorch软件包训练网络，在第一步粗提取网络训练中，由于加载了边缘检测的预训练模型，在用自然图像对训练时，大约进行了9000次迭代；用文物图像数据训练时，大约进行了10500次迭代，批量大小设置为10；对于随机梯度下降算法，初始学习率为1e-6，设置权重衰减为0.0002，动量为0.9；第二步细提取网络训练中，大约进行了20000次迭代，批量大小设置为10；对于随机梯度下降算法，初始学习率为1e-4，设置权重衰减为0.0002，动量为0.9。
消融实验分析：
图4为消融实验分析中分两步对彩绘文物线稿提取的结果，图4(a)为测试使用的彩绘文物图；图4(b)为粗提取得到的彩绘文物线稿；图4(c)为最终细提取得到的彩绘文物线稿；图4(d)为专家绘制的彩绘文物线稿真实标签；通过视觉观察粗提取线稿图像和细提取线稿图像，可以看出经过粗提取网络提取的线稿包含了较为完整的细节和边缘信息，同时连接上了部分由于病害破损而断裂的线条，但无法有效抑制病害引入的噪声；经过细提取网络提取到的线稿去除了大部分的噪声，并进一步精细化了线稿。
图5为消融实验分析中用bdcn和u-net网络分别对彩绘文物线稿的提取结果，图5(a)为测试使用的彩绘文物图；图5(b)为采用彩绘文物数据对，仅对bdcn网络训练得到的线稿结果，图5(c)为采用彩绘文物数据对，仅对u-net网络训练得到的线稿结果，图5(d)为本发明方法层次化线稿提取的结果；通过对比可以看出，迁移了边缘检测模型的bdcn网络训练的结果对图像边缘信息的提取效果较好，但存在伪影和模糊的现象；u-net网络的训练结果没有像素模糊和伪影，但由于没有预训练的边缘检测模型，所以丢失信息严重。本发明的方法先利用bdcn网络可迁移的优点，结合fdog算法提取较为完整的细节边缘信息，再将此结果作为u-net先验知识进行训练，同时解决了bdcn伪影模糊的问题，也更好地利用了u-net进行精细线稿的提取，最终的提取结果不但在线稿完整性还是风格还原度都是优于前二者的。
与经典边缘检测算法对比实验分析：
图6是与现有经典的边缘检测算法结果的对比结果，图6(a)为基于流的高斯差分算法fdog对线稿的提取结果；图6(b)为edge-boxes边缘检测算法对线稿的提取结果；图6(c)为rcf网络对线稿的提取结果；图6(d)为bdcn网络对线稿提取的结果；图6(e)为本发明算法对线稿的提取结果；通过视觉观察可以发现，基于fdog算法的线稿提取包含较多细节，但裂纹、脱落等病害带来的噪声较明显；edge-boxes算法的线稿提取结果在噪声去除方面表现较fdog好一些，但非常不清晰，分辨率较低，细节不够完善；基于rcf和bdcn等边缘检测网络提取的结果在去噪方面和对轮廓的定位方面表现较好，但均存在严重丢失细节和线条较粗及伪影的现象；本发明的算法提取线稿的结果在噪声去除和细节表现方面均优于上述几种算法，同时克服了边缘检测网络提取的线条粗和伪影的问题，提取的线稿图能够较清晰的还原彩绘文物原本的艺术特征。
视觉评价对比可以对提取线稿结果由较直观的认识，同时也用客观评价指标对提取结果进行评估；本发明采用rmse、ssim、ap这三种客观评价指标对图像进行全面的评估；其中，rmse是均方根误差，用来衡量观测值同真值之间的偏差；ssim是结构相似性指标，通过对比亮度、对比度和结构这三个方面评价图像的结构相似度；ap是平均精度，同时衡量分类结果的准确度和完整性，是像素级分类任务的一种常用客观指标。
表1是本发明算法与几种经典边缘检测算法提取线稿结果的客观指标对比；第一部分是与经典的传统边缘检测算法的对比；第二部分是与近些年基于深度学习的边缘检测算法的对比，其中*表示采用彩绘文物数据对训练的结果；第三部分是线稿细提取网络用传统的u-net网络与用本发明的多尺度u-net网络的结果对比。可以看到，本发明的大多数指标均优于其他方法，其中，本发明的ap值远远高于其他方法，即本发明方法无论在线稿提取的完整性还是准确性上均较其他方法有很大的提升，同时rmse值和ssim值也普遍高于其他方法，说明本发明方法在与标签的结构相似度上更接近，误差也更小。
综合视觉评价与客观指标评价，本发明提出的算法能很好地提取彩绘文物的线稿，较完整的表达彩绘文物的艺术特征。
表1彩绘文物线稿提取结果的客观指标
实施例三
在本实施例中提供了一种层次化彩绘文物线稿提取模型构建装置，装置包括第一数据集构建模块、粗提取模型获得模块、第二数据集构建模块、粗线稿提取模块、细提取模型获得模块以及线稿提取模型获得模块；
第一数据集构建模块用于采集多幅彩绘文物图像，获得第一样本集；
采用fdog算法对第一样本集中每一幅彩绘文物图像的线稿图像进行边缘提取，获得fdog标签集；
获取第一样本集中每一幅彩绘文物图像的线稿图像，获得第一线稿标签集；
粗提取模型获得模块用于将第一样本集作为输入，将fdog标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，获得粗提取模型；
所述的边缘提取网络采用边缘数据集作为输入以及边缘标签集作为参考输出训练bdcn边缘检测网络后获得；
其中所述的边缘数据集包括多幅自然图像，所述的边缘标签集包括边缘数据集中每幅自然图像对应的边缘标签图像以及边缘数据集中每幅自然图像经过边缘提取后获得的fdog边缘标签图像；
第二数据集构建模块用于采集多幅彩绘文物图像，获得第二样本集；其中所述第二样本集中的每一幅彩绘文物图像与第一样本集中的彩绘文物图像均不相同；
获取第二样本集中每一幅彩绘文物图像的线稿图像，获得第二线稿标签集；
粗线稿提取模块用于将所述获得的第二样本集输入至粗提取模型中，获得粗线稿图像集；
细提取模型获得模块用于将粗线稿图像集作为输入，将第二线稿标签集作为参考输出，训练卷积神经网络，获得细线稿提取模型；
线稿提取模型获得模块用于获得线稿提取模型，线稿提取模型包括依次连接的粗提取模型以及细线稿提取模型。
可选地，细提取模型获得模块中的卷积神经网络包括依次设置的u-net网络、侧输出层以及融合输出层；
所述的侧输出层包括依次设置的第一卷积层、上采样层以及第一激活函数层；所述的融合输出层包括依次设置的第二卷积层以及第二激活函数层。
可选地，细提取模型获得模块中训练卷积神经网络时，采用随机梯度下降算法进行训练，其中损失函数lfine为：
其中ωside表示不同的尺度特征对应的损失函数中的比重，ωfuse表示融合特征在损失函数中的比重；s表示尺度，s＝1,2，…，s，s为正整数，
可选地，粗提取模型获得模块中采用边缘数据集以及边缘标签集训练bdcn边缘检测网络时，损失函数lpre为：
其中s表示尺度，s＝1,2，…，s，s为正整数，α为目标函数中边缘标签的权重，β为fdog边缘标签的权重，pn表示将自然图像n输入至bdcn边缘检测网络后的输出图像，
可选地，s＝5，ωfuse＝1.1；
当s＝1时，ωside＝0.8；当s＝2时，ωside＝0.8；当s＝3时，ωside＝0.4；当s＝4时，ωside＝0.4；当s＝5时，ωside＝0.4。
实施例四
在本实施例中提供了一种层次化彩绘文物线稿提取装置，用于将待提取的彩绘文物图像输入至实施例三中层次化彩绘文物线稿提取模型构建装置获得的线稿提取模型中，获得彩绘文物线稿图像。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
- 还没有人留言评论。精彩留言会获得点赞！