基于近红外线结构光的古筝琴弦定位模具视觉检测方法与流程

1.本发明涉及利用可见光检测材料技术领域，具体涉及一种基于近红外线结构光的古筝琴弦定位模具视觉检测方法。


背景技术：

2.市面上很多古筝琴弦定位模具（即筝码）的材质、形制等各不相同，筝码的开口对古筝的音色影响较大。细弦的码槽如果开口过大的话，当琴码发生偏移时会对古筝的音色产生影响；粗弦的码槽如果开口过小的话，当大力弹奏的时候会出现倒码的情况，影响弹奏效果。同时，筝码对于音的传导极其重要，不同的筝码，码脚参数也不一致，码脚表面如果不光滑、不均匀的情况时，将会导致码脚与面板不完全贴合，甚至出现筝码偏移的情况，影响音的传导。因此，古筝琴弦定位模具对于整个古筝的作用至关重要，对于琴弦定位模具的检测也是保证古筝弹奏效果的关键因素。
3.近红外光人眼不可见，但是却可以被物体吸收，作为获取信息的一种有效的载体，已经应用在许多行业，而目前检测筝码的方法为将制作完成的筝码在古筝中进行调试，人力消耗大，且需要经验丰富的人员进行调试，实现难度高，效率低下。


技术实现要素：

4.为了解决古筝琴弦定位模具检测效率低的问题，本发明提供一种基于近红外线结构光的古筝琴弦定位模具视觉检测方法，所采用的技术方案具体如下：本发明一个实施例提供了一种基于近红外线结构光的古筝琴弦定位模具视觉检测方法，该方法包括以下步骤：利用近红外线结构光传感器获取待检测古筝琴弦定位模具的三维结构数据和彩色纹理数据；基于所述三维结构数据获取待检测古筝琴弦定位模具的三维边缘数据点，均匀选取部分三维边缘数据点作为采样点，以采样点为球心，基于长度递进的半径构建八个同心球体，并利用过球心的水平平面和两个相互垂直的竖直平面将每个球体分割为八个子区域，得到每个采样点对应的64个空间子区域；由每个空间子区域内的三维边缘数据点的数量以及数据值构成对应采样点的边缘数据矩阵；获取与所述待检测古筝琴弦定位模具同尺寸的标准古筝琴弦定位模具的标准三维边缘数据点以及标准边缘数据矩阵，获取边缘数据矩阵和标准边缘数据矩阵之间的相似度矩阵，基于所述相似度矩阵将所有三维边缘数据点和标准三维边缘数据点进行匹配，获取成功匹配的点对数量、成功匹配的点对的相似度之和、未成功匹配的点对数量，组成待检测古筝琴弦定位模具的边缘特征指标；基于彩色纹理数据中每个数据点邻域区域的数据值种类构建多个种类二元组，根据每个种类二元组在对应邻域区域内出现的频率获取每个数据点邻域区域的纹路细节特征；获取标准古筝琴弦定位模具的标准纹路细节特征，通过比较纹路细节特征和标准纹路
细节特征获取待检测古筝琴弦定位模具的纹理特征指标；结合所述边缘特征指标和所述纹理特征指标获取待检测古筝琴弦定位模具的视觉检测指标，根据视觉检测指标的大小对待检测古筝琴弦定位模具进行视觉检测。
5.优选的，所述基于长度递进的半径构建八个同心球体，包括：对于每个采样点，以采样点为球心，以为半径构建第一球体，以为半径构建第二球体，以为半径构建第三球体，以为半径构建第四球体，以为半径构建第五球体，以为半径构建第六球体，以为半径构建第七球体，以r为半径构建第八球体。
6.优选的，所述每个采样点对应的64个空间子区域的获取方法为：以第一球体作为第一球体区域，以第一球体与第二球体之间的三维区域作为第二球体区域，以第二球体与第三球体之间的三维区域作为第三球体区域，以第三球体与第四球体之间的三维区域作为第四球体区域，以第四球体与第五球体之间的三维区域作为第五球体区域，以第五球体与第六球体之间的三维区域作为第六球体区域，以第六球体与第七球体之间的三维区域作为第七球体区域，以第七球体与第八球体之间的三维区域作为第八球体区域；将每个球体区域分割为八个空间子区域，得到球心对应的64个空间子区域。
7.优选的，所述边缘数据矩阵的获取方法为：统计每个空间子区域内的三维边缘数据点的数量，获取每个空间子区域内的所有三维边缘数据点的数据值的均值作为对应空间子区域的区域数据值，由三维边缘数据点的数量和区域数据值组成边缘二元组，按照空间子区域在球体区域内的顺序，所有边缘二元组组成所述边缘数据矩阵。
8.优选的，所述相似度矩阵的获取方法为：计算每个采样点的边缘数据矩阵分别与每个标准边缘数据矩阵之间的余弦相似度，所有余弦相似度组成所述相似度矩阵。
9.优选的，所述基于彩色纹理数据中每个数据点邻域区域的数据值种类构建多个种类二元组，包括：以每个数据点为中心构建预设尺寸的邻域区域，获取邻域区域内每个数据点的种类，将所有种类的数据点两两组合，构建种类二元组，所述种类二元组中的数据为对应数据点的数据值。
10.优选的，所述纹路细节特征的获取方法为：统计每个种类二元组在对应邻域区域内出现的频率，基于所述频率计算信息熵作为所述纹路细节特征。
11.优选的，所述纹理特征指标的获取方法为：由彩色纹理数据中所有数据点的纹路细节特征组成纹路向量，基于标准古筝琴弦定位模具的标准纹路细节特征获取对应的标准纹路向量，计算所述纹路向量和所述标准纹路向量之间的欧氏距离，以及纹路向量中所有纹路细节特征的平均纹路细节特征，所述欧氏距离和所述平均纹路细节特征组成所述纹理特征指标。
12.优选的，所述视觉检测指标的获取方法为：计算所述欧氏距离和所述平均纹路细节特征的和作为纹理特征值，计算成功匹配的点对数量、成功匹配的点对的相似度之和的乘积，根据所述纹理特征值、所述乘积和所述未成功匹配的点对数量获取所述视觉检测指标；所述纹理特征值和所述未成功匹配的点对数量与所述视觉检测指标呈负相关关系，所述乘积与所述视觉检测指标呈正相关关系。
13.优选的，所述根据视觉检测指标的大小对待检测古筝琴弦定位模具进行视觉检测，包括：将所述视觉检测指标归一化得到归一化结果，设置检测阈值，当所述归一化结果小于所述检测阈值时，待检测古筝琴弦定位模具不合格；否则合格。
14.本发明实施例至少具有如下有益效果：通过红外线结构光传感器获取待检测古筝琴弦定位模具的三维结构数据和彩色纹理数据，然后对三维结构数据进行处理提取待检测古筝琴弦定位模具的三维边缘数据点，进而获取边缘数据矩阵，用于表征待检测古筝琴弦定位模具的表面轮廓状况，精确提取琴弦定位模具三维边缘轮廓信息检测的边缘特征指标；同时，根据彩色纹理数据信息获取纹理特征指标，对待检测古筝琴弦定位模具的表面纹路、结构分布状况进行分析，提取琴弦定位模具表面纹路细节信息检测的特征指标，进一步提高视觉检测精度；最终，根据得到的边缘特征指标和纹理特征指标获取待检测古筝琴弦定位模具的视觉检测指标，实现对古筝琴弦定位模具的视觉自动检测。本发明能够利用近红外线结构光对古筝琴弦定位模具进行自动检测，提高检测效率，且环境光的变化对于红外光数据的影响极小，结合彩色纹理数据提高了检测精度。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
16.图1为本发明一个实施例提供的一种基于近红外线结构光的古筝琴弦定位模具视觉检测方法的步骤流程图。
具体实施方式
17.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于近红外线结构光的古筝琴弦定位模具视觉检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
18.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
19.下面结合附图具体的说明本发明所提供的一种基于近红外线结构光的古筝琴弦定位模具视觉检测方法的具体方案。
20.请参阅图1，其示出了本发明一个实施例提供的一种基于近红外线结构光的古筝琴弦定位模具视觉检测方法的步骤流程图，该方法包括以下步骤：步骤s001，利用近红外线结构光传感器获取待检测古筝琴弦定位模具的三维结构数据和彩色纹理数据。
21.通过近红外线结构光传感器采集古筝琴弦定位模具的结构数据，即三维结构数据，同时得到对应的彩色纹理数据，用于对古筝琴弦定位模具进行检测分析。
22.近红外线结构光传感器为双光谱设备，即既能采集三维结构数据又能采集彩色纹理数据。其中，彩色纹理数据为rgb图像数据。
23.步骤s002，基于三维结构数据获取待检测古筝琴弦定位模具的三维边缘数据点，均匀选取部分三维边缘数据点作为采样点，以采样点为球心，基于长度递进的半径构建八个同心球体，并利用过球心的水平平面和两个相互垂直的竖直平面将每个球体分割为八个子区域，得到每个采样点对应的64个空间子区域；由每个空间子区域内的三维边缘数据点的数量以及数据值构成对应采样点的边缘数据矩阵。
24.具体的步骤包括：采用三维边缘检测算法对琴弦定位模具三维数据进行三维边缘数据点的提取，三维边缘检测算法及检测过程为现有公知技术，三维边缘检测算法有很多：基于边缘检测算子（sobel算子、roberts算子）的三维边缘信息提取、3d-dfb边缘检测算法等，本发明实施例中采用基于sobel算子的三维边缘信息提取算法获取三维边缘数据点，用于对待检测琴弦定位模具的整体边缘状况进行检测。
25.得到待检测琴弦定位模具的三维边缘数据点后，基于每个三维边缘数据点进行分析，为提高系统检测速度，降低系统检测量，可以对三维边缘数据点进行采样选取，选取其中的部分三维边缘数据点进行分析，即每间隔n个三维边缘数据点进行一次数据点的采样，在本发明实施例中n为5，将选取的三维边缘数据点作为采样点，组成待检测琴弦定位模具整体边缘状况分析的主要数据点集合。
26.对于每个采样点，以采样点为球心，以为半径构建第一球体，以为半径构建第二球体，以为半径构建第三球体，以为半径构建第四球体，以为半径构建第五球体，以为半径构建第六球体，以为半径构建第七球体，以r为半径构建第八球体。八个球体为同心球体。由于古筝琴弦定位模具的尺寸大小不一，在进行古筝琴弦定位模具检测时根据实际情况设置半径，所选的半径要能尽可能的包含当前采样点的局部邻域信息，即保证以当前采样点为中心，以r为半径的第八球体所包含的数据点数量不低于设置的数据点数量阈值，数据点数量阈值根据实际情况设置，在本发明实施例中设置为20个，以便分析采样点局部范围内的轮廓状况，但是如果半径过大的话包含的信息过于复杂，容易出现误分析的情况，因此，作为一个实施方式，基于本发明实施例进行古筝琴弦定位模具检测时的尺寸，半径r的取值为15，其中，15为三维结构数据中15个数据点的长度。
27.以第一球体作为第一球体区域，以第一球体与第二球体之间的三维区域作为第二球体区域，以第二球体与第三球体之间的三维区域作为第三球体区域，以第三球体与第四
球体之间的三维区域作为第四球体区域，以第四球体与第五球体之间的三维区域作为第五球体区域，以第五球体与第六球体之间的三维区域作为第六球体区域，以第六球体与第七球体之间的三维区域作为第七球体区域，以第七球体与第八球体之间的三维区域作为第八球体区域；将每个球体区域利用过球心的水平平面和两个相互垂直的竖直平面分割为八个空间子区域，得到球心对应的64个空间子区域。
28.每个采样点均对应了64个空间子区域，用于对采样点的局部位置信息进行分析，准确表征数据点局部范围内的数据点分布状况，以便后续能够准确分析待检测琴弦定位模具与标准琴弦定位模具之间的相关程度。
29.在采样点得到对应的空间子区域后，构建边缘表征矩阵，用于表征该采样点局部范围内数据点分布状况。统计每个空间子区域内的三维边缘数据点的数量，获取每个空间子区域内的所有三维边缘数据点的数据值的均值作为对应空间子区域的区域数据值，由三维边缘数据点的数量和区域数据值组成边缘二元组，按照空间子区域在球体区域内的顺序，所有边缘二元组组成边缘数据矩阵。边缘表征矩阵具体为：其中，代表第c个采样点所对应的边缘表征矩阵，代表第一球体区域的第1个空间子区域内所包含的三维边缘数据点的数量，为第一球体区域的第1个子区域的区域数据值；代表第一球体区域的第8个空间子区域内所包含的三维边缘数据点的数量，为第一球体区域的第8个子区域的区域数据值；代表第八球体区域的第1个空间子区域内所包含的三维边缘数据点的数量，为第八球体区域的第1个子区域的区域数据值；代表第八球体区域的第8个空间子区域内所包含的三维边缘数据点的数量，为第八球体区域的第8个子区域的区域数据值。
30.获取每个采样点的边缘表征矩阵，用于对采样点的局部范围内的数据分布状况进行检测，其中c为待检测琴弦定位模具的采样点的总数。
31.步骤s003，获取与待检测古筝琴弦定位模具同尺寸的标准古筝琴弦定位模具的标准三维边缘数据点以及标准边缘数据矩阵，获取边缘数据矩阵和标准边缘数据矩阵之间的相似度矩阵，基于相似度矩阵将所有三维边缘数据点和标准三维边缘数据点进行匹配，获取成功匹配的点对数量、成功匹配的点对的相似度之和、未成功匹配的点对数量，组成待检测古筝琴弦定位模具的边缘特征指标。
32.获取与待检测古筝琴弦定位模具同尺寸的标准古筝琴弦定位模具，按照步骤s002中获取三维边缘数据点和边缘数据矩阵同样的方法获取标准古筝琴弦定位模具的标准三维边缘数据点以及标准边缘数据矩阵，其中u为标准琴弦定位模具的采样点的总数。
33.计算每个采样点的边缘数据矩阵分别与每个标准边缘数据矩阵之间的余弦相似度，所有余弦相似度组成相似度矩阵。
34.构建相似度矩阵，分析待检测琴弦定位模具与标准琴弦定位模具之间的边缘相似程度，用于对三维边缘数据点的局部轮廓信息的状况进行分析，相似度矩阵为：其中，表示待检测琴弦定位模具中第一个采样点的边缘数据矩阵与第一个标准边缘数据矩阵之间的余弦相似度；表示第一个边缘数据矩阵与第u个标准边缘数据矩阵之间的余弦相似度；表示第c个边缘数据矩阵与第一个标准边缘数据矩阵之间的余弦相似度；表示第c个边缘数据矩阵与第u个标准边缘数据矩阵之间的余弦相似度。
35.获取相似度矩阵后，通过匈牙利匹配算法基于相似度矩阵中的每个点对的相似度值对待检测琴弦定位模具与标准琴弦定位模具的三维边缘数据点之间进行点对匹配，匈牙利匹配算法满足：保证所有匹配点对之间的相似度值之和最大，匈牙利匹配算法获取最佳匹配点的过程为现有公知技术，本发明实施例不再赘述。
36.统计所有匹配成功的点对数量，获取所有匹配成功的点对之间的相似度值之和，并统计待检测琴弦定位模具中所有未匹配成功的点对数量，将这些特征值作为待检测琴弦定位模具三维边缘轮廓信息检测的特征指标，即待检测古筝琴弦定位模具的边缘特征指标，用于对待检测琴弦定位模具的三维边缘轮廓信息进行准确检测。
37.步骤s004，基于彩色纹理数据中每个数据点邻域区域的数据值种类构建多个种类二元组，根据每个种类二元组在对应邻域区域内出现的频率获取每个数据点邻域区域的纹路细节特征；获取标准古筝琴弦定位模具的标准纹路细节特征，通过比较纹路细节特征和标准纹路细节特征获取待检测古筝琴弦定位模具的纹理特征指标。
38.同时，本发明为提高古筝琴弦定位模具的视觉检测精度，实现对琴弦定位模具的精确分析，对待检测琴弦定位模具的物理特征进行分析，获取琴弦定位模具表面的纹理细节信息。基于所获取的彩色纹理数据对每个数据点纹理细节特征进行提取。
39.以每个数据点为中心构建预设尺寸的邻域区域，获取邻域区域内每个数据点的种类，将所有种类的数据点两两组合，构建种类二元组，种类二元组中的数据为对应数据点的数据值。
40.首先以所获取的彩色纹理数据中的每个数据点为中心，以数据点a为例，获取数据点a的k
×
k邻域范围，在本发明实施例中k的取值为9，即预设尺寸为9
×
9；然后，获取邻域范
围内每个数据点在彩色纹理数据中所对应的彩色纹理数据值，统计邻域范围内出现的彩色纹理数据值的种类数w，将w个种类的彩色纹理数据值进行两两组合，建立种类二元组，其中，；，表示邻域范围内第i种彩色纹理的数据值，表示邻域范围内第j种彩色纹理的数据值。
41.统计每个种类二元组在对应邻域区域内出现的频率，基于频率计算信息熵作为纹路细节特征。
42.基于每个种类二元组对数据点邻域范围内的纹理细节信息进行分析，构建纹路细节特征模型：其中，为数据点a的纹路细节特征，为二元组在邻域范围内在水平方向上出现的次数，为邻域范围内所有的二元组在水平方向上出现的总次数。
43.纹路细节特征用于表征数据点a邻域范围内的表面纹理分布状况，对琴弦定位模具的表面纹路以及结构信息进行检测分析。
44.由彩色纹理数据中所有数据点的纹路细节特征组成纹路向量，基于标准古筝琴弦定位模具的标准纹路细节特征获取对应的标准纹路向量，计算纹路向量和标准纹路向量之间的欧氏距离，以及纹路向量中所有纹路细节特征的平均纹路细节特征，欧氏距离和平均纹路细节特征组成纹理特征指标。
45.获取待检测琴弦定位模具中每个数据点的纹路细节特征，构成纹路向量：，其中，a为待检测琴弦定位模具彩色纹理数据中数据点的数量；同样的，以同样的方法获取标准琴弦定位模具所对应的各个数据点的纹路细节特征，得到对应的标准纹路向量：，b为标准琴弦定位模具彩色纹理数据中数据点的数量。
46.计算待检测琴弦定位模具纹路向量与标准纹路向量之间的欧式距离，同时获取待检测琴弦定位模具表面所有数据点纹路细节特征的均值作为平均纹路细节特征，纹路细节特征能够体现待检测琴弦定位模具表面综合纹理状况，平均纹路细节特征越大，说明表面综合纹理细节分布状况越杂乱，将欧式距离以及平均纹路细节特征均作为待检测琴弦定位模具表面纹路细节信息检测的纹理特征指标。
47.步骤s005，结合边缘特征指标和纹理特征指标获取待检测古筝琴弦定位模具的视觉检测指标，根据视觉检测指标的大小对待检测古筝琴弦定位模具进行视觉检测。
48.计算欧氏距离和平均纹路细节特征的和作为纹理特征值，计算成功匹配的点对数量、成功匹配的点对的相似度之和的乘积，根据纹理特征值、乘积和未成功匹配的点对数量获取视觉检测指标；纹理特征值和未成功匹配的点对数量与视觉检测指标呈负相关关系，乘积与视觉检测指标呈正相关关系。
49.基于所提取的各个特征指标，构建待检测琴弦定位模具检测模型，用于分析待检测琴弦定位模具外观轮廓及表面状况，检测模型具体为：其中，为待检测琴弦定位模具的视觉检测指标，表示纹理特征值，表示与自然常数e为底数，以纹理特征值为指数的指数函数。
50.视觉检测指标值越小，说明待检测琴弦定位模具外观检测质量越低，用于对古筝琴弦定位模具进行检测分析。
51.将视觉检测指标归一化得到归一化结果，设置检测阈值，当归一化结果小于检测阈值时，待检测古筝琴弦定位模具不合格；否则合格。
52.得到用于检测古筝定位模具的视觉检测指标后，为实现对定位模具的准确检测，基于视觉检测指标对古筝琴弦定位模具外观状况进行检测分析。对视觉检测指标进行归一化处理，保证函数值处于(0,1)，并设置检测阈值，当待检测琴弦定位模具视觉检测指标低于检测阈值时，该待检测琴弦定位模具在进行视觉检测时，存在外观不合格的问题，需要对其进行再次的加工处理，以保证古筝琴弦定位模具能够在琴弦定位过程中达到最佳效果。
53.作为一个示例，在本发明实施例中检测阈值设置为0.5，在其他实施例中可以根据实际情况进行设置。
54.为了说明本发明方法的检测准确性，选取300个测试样本利用传统模板匹配算法进行检测，同时选取300个测试样本利用本发明方法进行检测，检测结果如表1所示。
55.表1综上所述，本发明实施例利用近红外线结构光传感器获取待检测古筝琴弦定位模具的三维结构数据和彩色纹理数据；基于三维结构数据获取待检测古筝琴弦定位模具的三维边缘数据点，均匀选取部分三维边缘数据点作为采样点，以采样点为球心，基于长度递进的半径构建八个同心球体，并利用过球心的水平平面和两个相互垂直的竖直平面将每个球体分割为八个子区域，得到每个采样点对应的64个空间子区域；由每个空间子区域内的三维边缘数据点的数量以及数据值构成对应采样点的边缘数据矩阵；获取与待检测古筝琴弦定位模具同尺寸的标准古筝琴弦定位模具的标准三维边缘数据点以及标准边缘数据矩阵，获取边缘数据矩阵和标准边缘数据矩阵之间的相似度矩阵，基于相似度矩阵将所有三维边缘数据点和标准三维边缘数据点进行匹配，获取成功匹配的点对数量、成功匹配的点对的相似度之和、未成功匹配的点对数量，组成待检测古筝琴弦定位模具的边缘特征指标；基于彩色纹理数据中每个数据点邻域区域的数据值种类构建多个种类二元组，根据每个种类二
元组在对应邻域区域内出现的频率获取每个数据点邻域区域的纹路细节特征；获取标准古筝琴弦定位模具的标准纹路细节特征，通过比较纹路细节特征和标准纹路细节特征获取待检测古筝琴弦定位模具的纹理特征指标；结合边缘特征指标和纹理特征指标获取待检测古筝琴弦定位模具的视觉检测指标，根据视觉检测指标的大小对待检测古筝琴弦定位模具进行视觉检测。本发明实施例实现对古筝琴弦定位模具的视觉自动检测，能够对古筝琴弦定位模具进行自动检测，提高检测效率，结合彩色纹理数据提高了检测精度。
56.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
57.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
58.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围，均应包含在本技术的保护范围之内。