一种显微扫描平台运动坐标系与相机坐标系平行度调整方法与流程

1.本发明涉及医疗信息采集检测和临床医学技术领域，尤其涉及一种显微扫描平台运动坐标系与相机坐标系平行度调整方法。


背景技术：

2.随着科技发展，智能医疗的推进将带来巨大提升。检验人员将不再需要进行高强度、枯燥的手动镜检工作，定时审核信息化结果、辅助诊断即可完成所有工作。自动显微扫描平台相比传统显微镜有着更为便捷准确高效的特性，得到了各方面的广泛应用。而传统的显微镜镜检已经不再适用于待检样本数量大、镜检结果得出时间紧的情况，人工长时间镜检操作易导致视觉疲劳等情况影响了镜检结果，加之人工镜检的重复聚焦操作导致耗时耗力、效率低下，从而诞生了一种自动显微扫描仪。随着数字图像技术的快速发展，已经可以通过多种途径轻松捕捉、编辑和储存图像，自动显微扫描仪能够完成自动聚焦，使镜检更高效、更准确，大大降低了使用成本，缩短了镜检结果时间。
3.自动显微扫描仪主要受到其扫描平台安装精度的影响，安装精度的高低对扫描仪的工作性能、效率、准确性等起到关键作用，加之成像原理要求扫描平台的运动坐标系与相机坐标系的调整具有较高的平行度要求，因此对安装调试要求较高。
4.然而，目前没有测量其运动方向安装平行度的专用仪器和方法，仅靠粗略调平安装。如此，很难保障扫描平台运动过程中运动坐标系与相机坐标系的平行度精度要求，同时要求安装人员具备较高的技术水平。如图1 所示的情况，图中粗实线为标定玻片上的标定线，细实线为平行情况下的玻片视野，粗虚线为标定线在相机中实际采集所得(不平行)。此外，对实际采样的带有特制标定线的标定玻片，如图2所示，进行采集图像获得若干个视野图像，再对所采集的图像进行拼接。拼接方式主要有以下两种：几何拼接图像、图像识别拼接图像，如图3所示。对所采集到的图像直接几何拼接，不在乎图像中实际内容而导致最后拼接的图像和平行情况下的视野图像存在较大的差距；而图像识别拼接能够通过图像识别融合拼接方法得到图像内容和平行情况下视野图像内容一致，但是仍需要进行对拼接后的图像进行裁剪才能够能到完整的视野图像。
5.因此，在实际扫描过程中，由于安装精度等问题，往往所采集到的视野图像在拼接过程中都会出现图像内容不符、图像区域错位过大等问题，最终导致拼接图像失败、自动扫描采集工作无法继续开展或者拼接后的图像难以满足后续工作所需。


技术实现要素：

6.本发明针对上述技术问题，提出一种显微扫描平台运动坐标系与相机坐标系平行度调整方法，保持扫描平台运动坐标系基本平行于相机坐标系，即当扫描平台沿着x轴和y轴两个方向运动时保持运行方向与相机坐标系 x和y两个方向基本平行，从而在图像拼接时无论采用几何拼接还是图像识别融合拼接均可以较好地得到完整的坐标系平行情况下的视野图像。
7.为了实现上述目的，本发明提供如下技术方案：
8.本发明提供了一种显微扫描平台运动坐标系与相机坐标系平行度调整方法，包括以下步骤：
9.步骤一：放置标定玻片于扫描平台并确保采图清晰；
10.步骤二：设定坐标系：以相机坐标系作为参考坐标系且保持相机坐标系固定，设定沿玻片长边方向为x方向、短边方向为y方向、玻片左上角为原点o；
11.步骤三：采集包含标定线首视野图像并拟合方程：首先找到包含标定线的玻片首视野，在首视野下采集图像，对首视野图像中标定线进行加权最小二乘拟合后获取两端点坐标(x
′0，y
′0)和(x
′1，y
′1)，进而确定首视野下标定线的方程：y＝k1x+b1，k1为首视野标定线斜率，b1为首视野标定线截距；
12.步骤四：沿x方向采集视野并拟合各视野标定线方程：沿x方向进行采集多个视野，每一视野下的标定线经过直线拟合获取到两端点坐标，多个视野的标定线方程用其两端点坐标来表达；
13.步骤五：获取扫描平台待调整的角度和方向：对所有视野中的标定线斜率求取均值获取扫描平台待调整的角度θ以及调整的方向，当时，则对扫描平台顺时针调整角度θ；当时，对扫描平台逆时针调整角度为(180
°‑
θ)；
14.步骤六：依据拼接图像验证调整效果循环调整平台：重复上述步骤三和步骤四，将所有视野进行图像识别融合拼接，若所有视野的上下边缘不平齐或所有视野中的标定线斜率彼此不相等，则继续按步骤五进行调整；
15.步骤七：判定调整情况，两坐标系平行度是否满足要求，是则结束，否则重复步骤六，直到拼接后的所有视野图像上下边缘平齐，且所有视野中的标定线斜率相等、截距相等，调整过程中同样以所有视野中的标定线斜率均值作为调整角度的参考。
16.与现有技术相比，本发明的有益效果为：
17.本发明提出一种显微扫描平台运动坐标系与相机坐标系平行度调整方法，能够帮助仪器装配人员方便、直观地完成扫描平台运动坐标系与相机坐标系平行度的调整安装，降低技术人员的工作难度与强度的同时保证了效率和精度，使得扫描平台运动坐标系基本平行于相机坐标系，即当扫描平台沿着x轴和y轴两个方向运动时保持运行方向与相机坐标系x和y 两个方向基本平行，从而在图像拼接时拼接后的图像保持水平或垂直方向的边缘平齐以省却拼接后图像的边缘裁剪工作，避免拼接图像因边缘裁剪造成的视野内容物减少，解决显微扫描平台运动坐标系的安装平行度的问题，对维持自动显微扫描仪的稳定采图有重要意义，使得运动坐标系与相机坐标系的平行度调整满足精度要求，保证后期图像拼接的准确性和运动多视野采集图像的稳定性，在医疗病理类玻片显微视觉自动检测行业有着广泛的应用前景。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
19.图1为玻片视野相机坐标系与运动坐标系的平行度对应关系。
20.图2为带有特制标定线的标定玻片。
21.图3为基于图像方法的扫描平台调整示例图解。
22.图4为本发明实施例提供的相机坐标系与运动坐标系不平行时图像几何拼接与识别融合拼接对比图。
23.图5为本发明实施例提供的标定线加权最小二乘法拟合方法流程图。
24.图6为本发明实施例提供的相机坐标系下xy两方向实际视野图像识别融合拼接示意图。
25.图7为本发明实施例提供的显微扫描平台运动坐标系与相机坐标系平行度调整流程图。
具体实施方式
26.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.本发明提出一种显微扫描平台运动坐标系与相机坐标系平行度调整方法，该方法是建立在相机坐标系固定且为参考坐标系的基础上进行，可基于几何方法或图像识别方法来判定当前扫描平台的运动坐标系与相机坐标系的平行关系。
28.理想状态下的扫描平台运动坐标系与相机坐标系应近乎平行，此时扫描平台沿x方向或y方向步进运动所拍摄的不同视野图像经过图像拼接之后的图像边缘为平齐的，且图像内容与实际玻片标本是一致的。
29.本发明首先假定沿玻片长边方向为x方向、短边方向为y方向、玻片左上角为原点o，对带有特制标定线的标定玻片进行标定调整扫描平台使其运动坐标系和相机坐标系平行，其中标定线与其所在玻片的边缘相平行。标定玻片上的标定线在扫描平台运动坐标系下的斜率此时k＝0，方程可表示为：
30.y＝bo31.b0为标定线在扫描平台运动坐标系下的截距。
32.对标定玻片进行采集多个视野，视野个数由调整人员指定，一般以大于3个视野为宜。在采集的视野中优先找到包含标定线的第一个视野，并以此作为首视野，随后再沿x方向进行采集视野，如图4所示。
33.以首视野img1为例，所采集的视野图像包含标定线，通过图像识别直线拟合算法可对视野中的标定线进行直线拟合获取两端点在相机坐标系下的坐标表达(x
′0，y
′0)和(x
′1，y
′1)，根据两点式直线方程得到该视野下的标定线方程：
[0034][0035]
化简为得到：
[0036][0037]
k1为首视野标定线斜率，b1为首视野标定线截距。
[0038]
本发明中图像视野中标志线拟合采用加权最小二乘法拟合实现，首先利用sobel算法提取边缘轮廓，确定参与拟合的轮廓点数目，目的是提高拟合效率，根据选定的轮廓点数目从所有轮廓点集合中随机选取点进行近似拟合一条直线，然后计算原始轮廓上每一点到拟合直线的距离，再根据统计学中标准差方式和所设定的参数阈值确定异常距离范围，若某一点到拟合直线的距离在此异常距离范围内则将该点视为异常点并进行去除。假设有100个点参与拟合直线，其中有20个点是偏离直线的异常点，那么通过标准差的方式100个点对应100个统计值，按照距离直线远近从大到小排序后将异常点剔除。如果都参与拟合直线，拟合的直线和实际会有偏差，原因是其中混杂了异常值，所以为了确保拟合的准确度，该方法可以通过设定参数阈值控制要排除的异常点数量，值越小，参与拟合时出现的异常点越多，拟合的准确度越低。由于各轮廓点到拟合直线的距离数值分布近似服从正态分布，根据正态分布的3σ准则，参数阈值一般设定为1～3。为了有效提高拟合精度，还需要合理控制迭代次数，迭代次数默认选定为5 次。迭代次数越多，参与拟合的点越少，拟合的准确度越低；迭代次数越少，参与拟合的异常点越多，拟合的准确度也越低。标定线拟合方法流程如图5所示。
[0039]
同理，在每个视野当中均可以用相机坐标系下标定线拟合后的两端点坐标来表达当前视野中标定线的方程，即img 1～img n各个视野中的标定线方程可表示如下：
[0040][0041]
其中，k为视野中的标定线方程的斜率，b为视野中的标定线方程的截距。
[0042]
得到所有视野后，对全部视野中的标定线方程的斜率求取平均值，再以此平均值作为调整参考，从而达到降低采集图像或识别端点过程中如像素点、光源等因素所造成的误差。因此，斜率的平均值：
[0043][0044]
从而得到扫描平台需要调整的角度θ：
[0045][0046]
式中，θ∈[0，π)。当时，则对扫描平台顺时针调整角度θ；当时，对扫描平台逆时针调整角度为(180
°‑
θ)，如此即可实现对扫描平台运动坐标系x轴方向的调整，使得运动坐标系x轴与相机坐标系x轴的近似平行。
[0047]
待调整完毕后，再次对标定玻片进行采集多个视野，同时得到所有视野中的标定线方程，并对所有视野进行图像识别融合拼接，如图6所示。若此时所拼接的图像中各个视野图像的上下边缘没有达到平齐，则按上述步骤再次计算各视野标定线方程平均斜率得到待调整角度θ并完成扫描平台的调整。
[0048]
直到在每个视野中的标定线方程的斜率相等，截距也相等，即由每个视野所拼接成的图像中的标定线共线并且所有视野的上下边缘平齐。而实际标定线方程中斜率为0，调整扫描平台后再次完成采集，若此时所有视野中标定线的斜率和实际标定线斜率相等，即
[0049][0050]
则所有视野中的标定线与实际标定线相重合，标定线在相机坐标系的方程为：
[0051]
y＝b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0052]
但实际过程中，由误差所带来的影响无法完全消除，因此在调整过程中最后一次调整前所得到的待调整角度θ小于0.5
°
或θ满足应用场景的要求，亦可近似认为所有视野中的标定线与实际标定线相重合。
[0053]
在相机坐标系中实际标定线与x方向相平行，又根据标定线本身平行于玻片边缘，即得到在相机坐标系下玻片的长边、短边分别平行于相机坐标系的x、y方向。加之玻片本身处于其所在面的坐标系，即扫描平台的运动坐标系，由此得到相机坐标系的x、y方向和扫描平台运动坐标系的 x、y方向分别平行。简言之，标定线在两坐标系下的表示相似，且斜率相等，故两坐标系平行，即相机坐标系和扫描平台的运动坐标系的平行度满足调整要求。
[0054]
本发明通过上述分析过程提出一种显微扫描平台运动坐标系与相机坐标系平行度调整方法，对扫描平台进行调整使得运动坐标系与相机坐标系平行，便于扫描平台各个视野图像的稳定采集以及后续视野图像间的拼接显示，流程如图7所示，具体包括以下步骤：
[0055]
步骤一：放置标定玻片于扫描平台并确保采图清晰。将带有特制标定线的标定玻片放置在显微扫描平台上，通过自动聚焦找到玻片当前视野的焦平面图像，确保采集到的视野图像中标定线轮廓清晰可见。
[0056]
步骤二：设定坐标系。以相机坐标系作为参考坐标系且保持相机坐标系固定，设定沿玻片长边方向为x方向、短边方向为y方向、玻片左上角为原点o。
[0057]
步骤三：采集包含标定线首视野图像并拟合方程。首先找到包含标定线的玻片首视野，在首视野下采集图像，对视野图像中标定线进行加权最小二乘拟合后获取两端点坐标(x
′0，y
′0)和(x
′1，y
′1)，进而确定该视野下标定线的方程：y＝k1x+b1。
[0058]
步骤四：沿x方向采集视野并拟合各视野标定线方程。沿x方向进行采集多个视野，视野个数由调整人员制定，以大于3个视野为宜。每一视野下的标定线经过直线拟合获取到端点，其方程都可用其两端点坐标来表达。
[0059]
步骤五：获取扫描平台待调整的角度和方向。对所有视野中的标定线斜率求取均值获取扫描平台待调整的角度θ以及调整的方向，当时，则对扫描平台顺时针调整角度θ；当时，对扫描平台逆时针调整角度为(180
°‑
θ)，如此即可实现对扫描平台运动坐标系的调整使视野中标定线和实际标定线重合。
[0060]
步骤六：依据拼接图像验证调整效果循环调整平台。重复上述步骤三、步骤四，将所有视野进行图像识别融合拼接，若所有视野的上下边缘不平齐或所有视野中的标定线斜率彼此不相等，则继续按步骤五进行调整。
[0061]
步骤七：判定调整情况，两坐标系平行度满足要求。重复步骤六，直到拼接后的所有视野图像上下边缘平齐，且所有视野中的标定线斜率相等、截距相等，调整过程中同样以所有视野中的标定线斜率均值作为调整角度的参考。
[0062]
若最后一次调整过程中待调整角度θ小于0.5
°
或θ满足应用场景的指定要求，也可
以认为调整操作完成。此时所有视野下的标定线方程均为：y＝b，即视野中的标定线和实际标定线重合，而实际标定线与玻片边缘平行，即视野中的标定线平行于玻片边缘。根据扫描平台的运动坐标系的选取可知视野中标定线平行于扫描平台坐标系的x方向，而视野中标定线的确定是根据相机坐标系得到，由此得到扫描平台的运动坐标系x轴和相机坐标系 x轴平行。而两者均为笛卡尔坐标系，即x轴与y轴夹角为90
°
且遵守右手定则，故而可得相机坐标系和扫描平台的运动坐标系相平行，即相机坐标系和扫描平台的运动坐标系的平行度满足调整要求。
[0063]
本发明所述的一种显微扫描平台运动坐标系与相机坐标系平行度的调整方法，提出了一种对医学病理玻片显微自动扫描平台安装过程的运动坐标系和固定相机组成的相机坐标系对应坐标轴之间的平行度的调整方法，为显微自动扫描平台合理安装调整提供了新的思路，避免了平行度不达标导致扫描平台无法准确完成所采集视野图像的高效拼接的问题，可有效提高自动扫描过程处理效率，降低后期几何拼接或图像识别融合拼接的流程实现难度，在医疗病理类玻片显微视觉自动检测行业有着广泛应用前景。
[0064]
结果表明：该显微扫描平台运动坐标系与相机坐标系平行度的调整方法为后续实际应用玻片视野图像信息的采集需求时提供了参考安装方法的基础，图像稳定采集与拼接的难度得到简化，速率更为高效，可满足医学病理玻片样本显微视觉检测的快速采图拼接显示需求，基本可以满足多数医学病理玻片扫描平台的安装调整使用场景。
[0065]
以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特殊进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。