基于机器学习的文物碎片相似性识别及变换匹配方法

1.本发明涉及一种文物碎片相似性识别及变换匹配方法，尤其涉及一种基于机器学习的文物碎片相似性识别及变换匹配方法，属于计算机视觉技术领域。


背景技术：

2.在考古现场会有数量庞大的陶瓷碎片被挖掘出来，如果只依靠专家的纯手工进行相似性识别和匹配，那么效率将是非常低的。随着计算机视觉技术领域的发展，我们可以借助计算机来智能识别相似的陶瓷碎片并对其进行正确的旋转变换以备拼接工作的进行。目前，已有中外学者对碎片的拼接工作做了较多研究，姬周强在《一种新的二维碎片的轮廓匹配方法》中提出了使各点与相邻六点的位置关系来表示轮廓的二维碎片轮廓匹配算法。此方法在计算处理中非常简单,可以高效的提高碎片的轮廓的匹配速度,但是此算法不能处理当碎片发生旋转时的情况。杜建丽等在《基于b-样条表示的物体轮廓曲线匹配》中提出采用b-样条曲线，来逼近二维碎片的轮廓曲线并以此提取数据点,用数据点的曲率和数据点的挠率作为轮廓线的特征集进行匹配和拼合。leitao在《a multi-scale method for the reassembly of two dimensional fragmented objects》提出了一种基于多尺度的碎片拼接的方法,此方法中通过采用各离散点的曲率，来表示碎片轮廓线。但是在此方法中轮廓线离散点的选择仅仅只是简单的采用了不同采样的尺度,并没有很好地利用轮廓线本身固有的形状特征信息。在拼接工作中现有的大多数碎片拼接合成算法是会采用某些贪婪策略，例如最佳优先、生成树增长或者是它们的变体，如k.zhang and x.li在《a graph-based optimization algorithm for fragmented image reassembly》中所使用的方法，但是如果遇见判断不正确相似轮廓线并且该相似的轮廓线对具有较高的匹配分数，那么该轮廓线对很容易会被选来进行全局拼接并会占据其他正确的轮廓线对的位置，最终导致全局的拼接工作由于这种局部最小值而失败。


技术实现要素：

3.本发明的目的是提供一种基于机器学习的文物碎片相似性识别及变换匹配方法。
4.为解决上述技术问题，本发明采用的技术方案是：一种基于机器学习的文物碎片相似性识别及变换匹配方法，包括以下步骤：
5.步骤1：图像预处理：将考古陶瓷碎片进行二维采样得到m
·
n像素文物碎片图像，将文物碎片图像转换为二值文物碎片图像；
6.步骤2：提取轮廓线：提取轮廓线通过轮廓跟踪算法逐一提取二值文物碎片图像中的轮廓线，构建轮廓线集cl＝{cl1,cl2,...,cl
cj
,...,cl
lks
}，lks为提取的轮廓线的数目；
7.步骤3：特征点聚类：特征点聚类通过k-means聚类的方法逐一提取各轮廓线的特征点，构建各轮廓线的特征点集ki＝{k
i,1
,k
i,2
...k
i,j
...k
i,km
}；i表示当前特征点集所属的轮廓线，i取值范围大于等于1且不超过lks；各轮廓线的特征点集中特征点数量相同，均为km个；
8.步骤4：逐一提取相似轮廓线对，由以下具体步骤组成：
9.步骤4-1：逐一求取各轮廓线的特征点曲率，构建各轮廓线的特征点曲率集qi＝{q
i，1
,q
i,2
,...,q
i,j
,...,q
i,qmi
}，i表示当前特征点集所属的轮廓线，i取值范围大于等于1且不超过lks；轮廓线上每3个连续的特征点划分为一段特征段；qmi表示第i轮廓线的特征段数目，第i轮廓线的特征段第j特征段的曲率的计算方法为：
[0010][0011][0012]
m(j)为由第i轮廓线的特征段第j特征段的三个特征点横坐标拟合的第一参数方程，n(j)为由第i轮廓线的特征段第j特征段的三个特征点纵坐标拟合的第二参数方程，a1,a2,a3为横坐标方程的第一至第三系数，b1,b2,b3为纵坐标方程的第一至第三系数，m
′
(j),m
″
(j)为参数方程m(j)的一阶导数和二阶导数，n
′
(j),n
″
(j)为参数方程n(j)的一阶导数和二阶导数；
[0013]
步骤4-2：逐一计算每两条轮廓线的对应特征段的曲率的欧式距离，构建两条轮廓线的欧式距离集，第i1轮廓线和第i2轮廓线的欧式距离集中第i特征段的欧氏距离的计算方法为：
[0014][0015]
步骤4-3：逐一判断两条轮廓线cl
i1
,cl
i2
的特征段是否相似：如果两条轮廓线的特征段的欧氏距离小于预设的第一阈值，判定为相似特征段，第i1轮廓线和第i2轮廓线的相似特征段数加1；
[0016]
步骤4-4：逐一计算两条轮廓线cl
i1
,cl
i2
的相似性得分fs
i1,i2
：
[0017][0018]
式中xst
i1,i2
为第i1轮廓线和第i2轮廓线的相似特征段数；
[0019]
步骤4-5：判断两条轮廓线cl
i1
,cl
i2
是否相似：如果两条轮廓线cl
i1
,cl
i2
的相似性得分fs
i1,i2
大于预设的第二阈值，两条轮廓线cl
i1
,cl
i2
为相似轮廓线；
[0020]
步骤5：逐一计算两条相似轮廓线段cl
i1
,cl
i2
之间的旋转角度δ、移动距离并组成刚体变换矩阵；
[0021]
水平方向移动距离：
[0022]
垂直方向移动距离：
[0023]
刚体变换矩阵gt
i1,i2
：
[0024]
式中，(xg,yg),(xh,yh)为两条相似轮廓线cl
i1
,cl
i2
的选定特征点的坐标；δ为轮廓线cl
i1
,cl
i2
通过线性回归拟合出两条相交的直线的夹角；
[0025]
步骤6：自底向上循环拼接文物碎片，由以下具体步骤组成：
[0026]
步骤6-1：组建诱导循环集l0＝{l0,l1,...,l
lp
,l
lq
,...l
ln
}，ln大于等于1且小于lks：各轮廓线为结点，相似轮廓线之间建立边,连通的子图形成连通子图集合w＝{w1,...,w
wj
,...,w
zt
},zt为连通子图数量,逐一判断各连通子图中边所对应的相似轮廓线的刚体变换矩阵的乘积是否为单位矩阵，如果是，连通子图作为诱导循环l
lj
加入诱导循环集；
[0027]
步骤6-2：合并诱导循环：在诱导循环集l0中，逐一搜索是否存在可合并的诱导循环l
lp
和l
lq
，删除l
lp
和l
lq
之间的公共边，将l
lp
和l
lq
合并为诱导循环集合l1中的诱导循环，迭代执行该过程，得到诱导循环集l2，l3，..，l
ln
，诱导循环集l
ln
中没有可以合并的诱导循环；
[0028]
可合并的诱导循环l
lq
和l
lq
同时满足以下条件：
[0029]
条件1：诱导循环l
lp
和l
lq
具有公共边，且公共边的刚体变换矩阵gt
lp,lq
在诱导循环l
lp
和l
lq
中相等；
[0030]
条件2：诱导循环合并之后，新生成的诱导循环内所有边的刚体变换矩阵相乘为单位矩阵。
[0031]
进一步，所述步骤1由以下具体步骤组成：
[0032]
步骤1-1：将文物碎片图像转换成灰度图，计算文物碎片图像的平均灰度值μ：
[0033][0034]
式中，n(i)为像素值为i的像素数；y为像素值取值数目；步骤1-2：图像划分：逐一设定i为前景背景分割阈值t
x
，计算类间方差：
[0035]
g＝w1·
(μ
1-μ)2+w2·
(μ
2-μ)2[0036]
其中，w2为背景像素占图像的比例；μ1为前景像素的平均灰度，μ2为背景像素的平均灰度，前景像素的平均灰度μ1与背景像素的平均灰度μ2计算方法相同，前景像素的平均灰度μ1的计算方法为：
[0037][0038]
其中，w1为记前景像素占图像的比例，计算方法为：
[0039][0040]
其中，y1是像素值大于t
x
的像素的统计个数；
[0041]
步骤1-3：根据类间方差最大时的前景背景分割阈值将文物碎片图像的灰度图转化为二值文物碎片图像。
[0042]
采用上述技术方案所产生的有益效果在于：
[0043]
1、本发明通过最大类间方差的方法确定二值化阈值以此对陶瓷碎片图像进行的二值化处理和提取碎片图像轮廓线的技术可以有效地降低因拍摄问题产生的噪点。
[0044]
2、本发明基于聚类的轮廓线特征点提取则是一种计算准确且便捷的方法，准确地提取了轮廓线的特征点,然后用一种基于特征段的欧式距离作为匹配轮廓线的方法对陶瓷的碎片进行初步的匹配,有效地减少了轮廓线匹配所需的时间。
[0045]
3、本发明提出了一种新的计算相似轮廓线刚体变换的方法，通过线性回归分析得到相似轮廓线的拟合直线进行旋转、平移得到图像碎片的刚体变换矩阵以备拼接工作的进行。该方法有效地提高了相似轮廓线之间刚体变换计算的效率,同时具较高的正确率。
[0046]
4、本发明基于循环拼接的方法对陶瓷碎片图像进行全局拼接，加强了全局拼接工作中的闭环约束和剪除相似识别错误但是相似性得分高的碎片对，具有较高的鲁棒性。
附图说明
[0047]
图1是本发明模型的结构图。
[0048]
图2是诱导循环的示例。
[0049]
图3合并循环的示例。
[0050]
图4是本专利的原始碎片图。
[0051]
图5是拼接后的效果图。
具体实施方式
[0052]
以下实施例用于说明本发明。
[0053]
实施例1
[0054]
一种基于机器学习的文物碎片相似性识别及变换匹配方法，包括以下步骤：
[0055]
步骤1：图像预处理：将考古陶瓷碎片进行二维采样得到m
·
n像素文物碎片图像，将文物碎片图像转换为二值文物碎片图像；
[0056]
步骤1由以下具体步骤组成：
[0057]
步骤1-1：将文物碎片图像转换成灰度图，计算文物碎片图像的平均灰度值μ：
[0058][0059]
式中，n(i)为像素值为i的像素数；y为像素值取值数目；
[0060]
步骤1-2：图像划分：逐一设定i为前景背景分割阈值t
x
，计算类间方差：
[0061]
g＝w1·
(μ
1-μ)2+w2·
(μ
2-μ)2[0062]
其中，w2为背景像素占图像的比例；μ1为前景像素的平均灰度，μ2为背景像素的平均灰度，前景像素的平均灰度μ1与背景像素的平均灰度μ2计算方法相同，前景像素的平均灰度μ1的计算方法为：
[0063][0064]
其中，w1为记前景像素占图像的比例，计算方法为：
[0065][0066]
其中，y1是像素值大于t
x
的像素的统计个数；
[0067]
根据类间方差最大时的前景背景分割阈值将文物碎片图像的灰度图转化为二值文物碎片图像。
[0068]
步骤2：通过轮廓跟踪算法逐一提取二值文物碎片图像中的轮廓线，构建轮廓线集cl＝{cl1,cl2,...,cl
cj
,...,cl
lks
}，lks为提取的轮廓线的数目；
[0069]
步骤3：通过k-means聚类的方法逐一提取各轮廓线的特征点，构建各轮廓线的特征点集ki＝{k
i,1
,k
i,2
...k
i,j
...k
i,km
}；i表示当前特征点集所属的轮廓线，i取值范围大于等于1且不超过lks；各轮廓线的特点集中特征点数量相同，均为km个，具体操作步骤如下：
[0070]
步骤3-1：将该轮廓线上所有坐标点当做此次k-means聚类的数据集，先从数据集中随机选取k个样本作为簇中心，本实施例中选取15个簇中心：cz＝{cz1,cz2,...,cz
cj
,...,cz
15
}，计算数据集中所有数据与这k个“簇中心”的欧氏距离，对于每一个数据，将其划分到与其欧氏距离最近的“簇中心”所在的簇中，对于训练后形成的新的簇，通过均值法更新各个簇的新的“簇中心”，重复以上训练过程，直至不再产生新的“簇中心”或达到训练轮数，本实施例中每次k-means聚类，训练轮数上限为15轮，最终结果中的簇中心即为当前轮廓线的特征点集ki＝{k
i,1
,k
i,2
...k
i,j
...k
i,km
}；
[0071]
步骤4：逐一提取相似轮廓线对，由以下具体步骤组成：
[0072]
步骤4-1：逐一求取各轮廓线的特征点曲率，构建各轮廓线的特征点曲率集qi＝{q
i，1
,q
i,2
,...,q
i,j
,...,q
i,qmi
}，i表示当前特征点集所属的轮廓线，i取值范围大于等于1且不超过lks；轮廓线上每3个连续的特征点划分为一段特征段；qmi表示第i轮廓线的特征段数目，本实施例以3个连续的特征点组成一段特征段，每个轮廓线段可以划分出5个特征段，各轮廓线的特征点曲率集为qi＝{q
i，1
,q
i，2
......q
i，5
}。
[0073]
特征段中三个特征点坐标为：
[0074][0075]
和表示当前为第i个轮廓线段的第j个特征点的横纵坐标第i轮廓线的特征段第j特征段的曲率的计算方法为：
[0076][0077][0078]
m(j)为由第i轮廓线的特征段第j特征段的三个特征点横坐标拟合的第一参数方程，n(j)为由第i轮廓线的特征段第j特征段的三个特征点纵坐标拟合的第二参数方程，a1,a2,a3为横坐标方程的第一至第三系数，b1,b2,b3为纵坐标方程的第一至第三系数，m
′
(j),m
″
(j)为参数方程m(j)的一阶导数和二阶导数，n
′
(j),n
″
(j)为参
数方程n(j)的一阶导数和二阶导数；
[0079]
步骤4-2：逐一计算每两条轮廓线的对应特征段的曲率的欧式距离，构建两条轮廓线的欧式距离集，第i1轮廓线和第i2轮廓线的欧式距离集中第i特征段的欧氏距离的计算方法为：
[0080][0081]
步骤4-3：逐一判断两条轮廓线cl
i1
,cl
i2
的特征段是否相似：如果两条轮廓线的特征段的欧氏距离小于预设的第一阈值，判定为相似特征段，第i1轮廓线和第i2轮廓线的相似特征段数加1；本实施例中第一阈值为0.001；
[0082]
步骤4-4：逐一计算两条轮廓线cl
i1
,cl
i2
的相似性得分fs
i1,i2
：
[0083]
式中xst
i1,i2
为第i1轮廓线和第i2轮廓线的相似特征段数；
[0084]
步骤4-5：判断两条轮廓线cl
i1
,cl
i2
是否相似：如果两条轮廓线cl
i1
,cl
i2
的相似性得分fs
i1,i2
大于预设的第二阈值，两条轮廓线cl
i1
,cl
i2
为相似轮廓线；本实施例中第二阈值为0.6，即有3个以上的特征段相似，认为轮廓线段相似。
[0085]
步骤5：将两条轮廓线cl
i1
,cl
i2
上的特征点输入线性回归分析模型，通过线性回归分析模型拟合出的两条直线，逐一计算两条相似轮廓线cl
i1
,cl
i2
之间的旋转角度δ、移动距离并组成刚体变换矩阵：
[0086]
水平方向移动距离：
[0087]
垂直方向移动距离：
[0088]
刚体变换矩阵gt
i1,i2
：
[0089]
式中，(xg,yg),(xh,yh)在本实施例中为两条相似轮廓线cl
i1
,cl
i2
的中位数的坐标；δ为轮廓线cl
i1
,cl
i2
通过线性回归拟合出两条相交的直线的夹角；
[0090]
本实施例将两条相似的轮廓线段i,j的特征点集合ki＝{k
i，1
,k
i，2
......k
i，30
}、kj＝{k
j，1
,k
j，2
......k
j，30
}分别输入到线性回归分析模型中拟合出两条直线l1，l2，计算两条直线的交点为λ(x
λ
,y
λ
)，随机在两条直线l1，l2上选取各选取一个点α(x
α
,y
α
)，β(x
β
,y
β
)，通过α，λ，β三个点计算两条直线的旋转角度δ，选取两条轮廓线的中位数m(xm,ym),n(xn,yn)作为计算轮廓线移动距离的基准点，计算水平方向移动距离和垂直方向移动距离。将计算出的旋转角度、水平方向移动距离、垂直方向移动距离组成3x3刚体变换矩阵gt。
[0091]
步骤6：自底向上循环拼接文物碎片，由以下具体步骤组成：
[0092]
步骤6-1：组建诱导循环集l0＝{l0,l1,...,l
lp
,l
lq
,...l
ln
}，ln大于等于1且小于
lks：各轮廓线为结点，相似轮廓线之间建立边,连通的子图形成连通子图集合w＝{w1,...,w
wj
,...,w
zt
},zt为连通子图数量,逐一判断各连通子图中边所对应的相似轮廓线的刚体变换矩阵的乘积是否为单位矩阵，如果是，连通子图作为诱导循环l
lj
加入诱导循环集；
[0093]
步骤6-2：合并诱导循环：在诱导循环集l0中，逐一搜索是否存在可合并的诱导循环l
lp
和l
lq
，删除l
lp
和l
lq
之间的公共边，将l
lp
和l
lq
合并为诱导循环集合l1中的诱导循环，迭代执行该过程，得到诱导循环集l2，l3，..，l
ln
，诱导循环集l
ln
中没有可以合并的诱导循环；
[0094]
可合并的诱导循环l
lq
和l
lq
同时满足以下条件：
[0095]
条件1：诱导循环l
lp
和l
lq
具有公共边，且公共边的刚体变换矩阵gt
lp,lq
在诱导循环l
lp
和l
lq
中相等；
[0096]
条件2：诱导循环合并之后，新生成的诱导循环内所有边的刚体变换矩阵相乘为单位矩阵。本实施例将考古陶瓷碎片拍照进行二维采样，得到碎片图像，根据步骤3计算出的碎片之间的相似性以及步骤4计算出的相似碎片之间的刚体变换矩阵，通过循环拼接的方法尽可能多的拼接碎片，该算法经历了一个自底向上的合并阶段，然后是自顶向下的合并阶段。在具体步骤中定义了两个名词，诱导循环和合并循环；在诱导循环中，将碎片比作循环的中的结点，如果两个结点之间有相连的边则认为这两个结点所代表的碎片两两相似可以进行拼接，并且每一条边关联一个刚体变换矩阵gt
i,j
，gt
i,j
表示碎片i,j相似并且碎片j通过刚体变换矩阵gt
i,j
可以变换到与碎片i拼接的位置，如果3、4个两两相似的碎片的刚体变换矩阵相乘为单位矩阵，则该碎片集合可以组成诱导循环，诱导循环见图3。
[0097]
在步骤4-1中将相似的碎片先组成多个小的诱导循环，将诱导循环通过公共边与其他诱导循环合并拼接成合并循环，见图4，再将合并循环中的公共边删除形成更大的诱导循环，通过自底向上和自顶向下的方式不断循环此过程，最终生成完整图像。
[0098]
自底向上的合并从步骤5-1中生成的长度大概为3、4的小诱导循环开始。在这个步骤中找到的诱导循环的集合被表示为l0＝{l0，l1......ln}。，我们在l0内尝试搜索可以合并的诱导循环，可以进行合并的诱导循环具有以下条件：
[0099]
条件1：两个可以合并的诱导循环具有公共边，并且公共边上关联的刚体变换矩阵gt
i,j
在两个诱导环中相等。
[0100]
条件2：当两个诱导循环合并之后，生成新的诱导循环之后，循环内各个边关联的刚体变换矩阵gt满足公式(17)。
[0101]
当两个可以合并的循环都满足条件1和条件2时，我们可以将它们拼接成一个更大的诱导循环。这将生成有效的合成图片。如果两个可以拼接的循环违反了其中的任何一个条件，则丢弃拼接后的循环，有效地剪除相似性识别错误但相似性得分高的碎片对。
[0102]
我们合并来自l0的诱导循环，并将新合并的诱导循环添加到新的集合l1中。然后，我们迭代地重复该过程以得到l2，l3，..，ln，直到没有更多的循环可以被合并。随着兼容的循环的增多，在最后一个循环集合ln中，我们选择一个包含最多碎片的循环，并将其表示为l
*
。l
*
是迄今为止我们通过自底向上的合并过程得到的最大的重新组装的碎片的图像。
[0103]
如果所有碎片合并成一个大的循环，则l
*
给出最终的拼接图像，但l
*
可能不包含所有的碎片，即诱导循环。一些拼接方式正确的碎片如诱导循环可能因为其具有相对较弱的兼容性而无法被检测相似进行拼接，这些碎片，即循环可能需要通过单独的边连接缝合到主要碎片合成图上。因此，我们进一步执行自顶向下的合并来缝合这些遗留的碎片，即循
环。
[0104]
自顶向下合并从l
*
开始，首先检查l
n-1
步中的每个循环。如果发现一个循环与l
*
兼容，并且新发现的诱导循环拥有不在l
*
中的结点，那么我们将新发现的诱导循环合并到l
*
。我们通过迭代地将l
*
与来自l
n-1
的新的诱导循环合并以此来增加l
*
所包含的碎片，然后是l
n-2
，最后是l0。
[0105]
本发明将otus算法和机器学习相结合，解决了陶瓷文物碎片进行轮廓线提取时干扰轮廓线多及轮廓线匹配时特征点选取困难的问题。otus算法在双峰图像中自动根据其直方图计算一个阈值将图像二值化。聚类将轮廓特征点随机分为k个簇，取每一个聚类中数据值的均值作为该簇的中心。线性回归分析将离散点拟合成一条直线，并使得损失函数最小。通过线性回归分析可以计算出相似轮廓线之间的刚体变换矩阵，通过分层循环拼接(layered circular splicing,lcs)的方法来加强全局拼接工作中的闭环约束和剪除不正确但是得分高的轮廓线对，并且分层循环拼接相较于贪婪策略具有更高的鲁棒性。通过本发明可以将陶瓷碎片样本拼接成完整的图像。
[0106]
本发明将通过最大类间方差的方法进行图像二值化和机器学习相结合，解决了陶瓷文物碎片进行轮廓线提取时干扰轮廓线多及轮廓线匹配时特征点选取困难的问题。通过最大类间方差方法进行图像二值化是使用某一个阈值，将灰度图像根据灰度的大小，分成前景部分和背景部分两类，当这两类的类间方差最大的时候，得到的阈值就是最优的二值化阈值。聚类将轮廓特征点随机分为k个簇，取每一个聚类中数据值的均值作为该簇的中心。线性回归分析将离散点拟合成一条直线，并使得损失函数最小。通过线性回归分析可以计算出相似轮廓线之间的刚体变换矩阵，通过循环拼接的方法来加强全局拼接工作中的闭环约束和剪除不正确但是相似性得分高的轮廓线对，并且循环拼接相较于贪婪策略具有更高的鲁棒性。通过本发明可以将陶瓷碎片样本拼接成完整的图像。
[0107]
需要说明：目前，本发明的方法已经在小规模范围内开展了应用调研，调研结果表明用户满意度较高，为广泛应用奠定了基础，同时，申请人还进行了知识产权风险预警调研。