一种细胞图像跟踪智能算法的制作方法

本发明涉及光学成像系统与图像处理模式识别领域，涉及一种瞬时正交光学投影层析成像系统。

背景技术：

揭示生命的本质、关注人类健康是当代科技发展的主线。通过对生物样本进行成像来研究样本的结构特点和生理功能，可达到为医学临床诊断提供客观依据的目的。光学投影层析成像(Optical Projection Tomography，OPT)技术将CT技术和显微技术相结合，能对荧光和非荧光物质进行三维成像的新技术。OPT具有比核磁共振更高的分辨率，可达微米量级；具有比共焦显微成像更大的成像深度，能够对厚达十几毫米的样品进行成像，也可以利用彩色或荧光染料对样本进行组织特异性或基因特异性着色处理。OPT成像时，先采集样品不同断层在不同角度下的投影数据，再由计算机对这些数据运用Radon逆变换来重组图像。OPT在组织发育、基因表达、以及医疗诊断等方面的研究中具有重要价值。

了解生物系统不仅需要研究细胞的空间分布，还需要研究它们随时间的动态变化。研究细胞的动态即细胞的移动情况，这对研究疾病变化、癌症转移是极为重要的。组织中被迫坏地方会有炎症反应，免疫细胞会发生变化，这时白细胞会增多。细胞移动情况可以依据组织内的三维模型展开。在染病的模型中，研究活体生物体内细胞移动，这对生物医药机理研究具有重要的现实意义。

利用瞬时正交成像技术(在相互垂直的CCD同时采集两幅图像)来定位和跟踪细胞的运动。研究细胞检测与识别算法，提取细胞的多参量形态学特征。为生物组织研究和医药运行机理提供新的技术手段和思路。

技术实现要素：

有鉴于此，为了达到上述技术方案的效果，本发明提供一种解决或部分解决上述问题的一种细胞图像跟踪智能算法：

步骤一、图像采集：

斑马鱼胚胎放置在旋转台上开始旋转，在旋转的同时，通过瞬时正交的光学成像系统对斑马鱼胚胎中细胞对象进行图像采集；经过完整的图像采集后得到投影图像对，对投影图像对进行图像增强，图像去噪和图像分割，通过数学形态学平滑和尺寸筛选进行图像分割，得到多个中性粒细胞图像，通过跟踪多个中性粒细胞图像中的所有中性粒细胞的运动轨迹，设定分割多个中性粒细胞图像的面积小于一特定值；并用分水岭算法进行分割相互接触和重叠的情况；

采集多个中性粒细胞图像中都有记录着当前时刻所有中性粒细胞的坐标位置；采集多个中性粒细胞图像时相隔两帧图像拍摄时间间隔为一固定时间；

步骤二、跟踪算法：

分析多个中性粒细胞图像，并把分析出的对象中的其中一个中性粒细胞作为目标；

任意给定的时间点k经过一固定时间后的下一时间点为时间点k+1；时间点k+1经过一固定时间后的下一时间点为时间点k+2；

将时间点k时的目标与在时间点k+1时离得最近的目标联系起来，通过比较预测位置与实际位置的几何距离差值，判断是否列入目标的轨迹列表；

步骤三、细胞形态学特征、运动速度和方向的测量：

重构跟踪目标的轨迹后，计算以下特征：

目标的轨迹总的长度，为一个中性粒细胞总的移动距离；

目标的轨迹总位移，为一个中性粒细胞的起点和终点的距离；

目标的平均速度值和运动方向；

跟踪时间间隔；

根据目标判断运动方向：从目标在时间点k时，时间点k+1时，时间点k+2时的三个位置进行连线后，计算相邻两个位移增量的夹角余弦值，得到运动方向；

夹角余弦值若为1则运动方向方向值为1；称为单方向性运动方向；夹角余弦值若为0则运动方向方向值为0；称为完全无序性运动方向；

距离伤口近的目标会受到影响是具有单方向性运动方向，距离伤口远的目标不会受到影响就是完全无序性运动方向，用于判断目标是否会朝着斑马鱼胚胎的伤口移动；

步骤四、细胞检测与识别：

定义测量投影坐标系的X轴，Y轴，Z轴；Z轴是垂直坐标；X轴是横坐标从多个中性粒细胞图像的左边开始测量，Y轴是另一个横坐标，与Y轴正交；

投影图像以Z轴分成XZ轴上的投影图像和YZ轴上的投影图像；

在每个一固定时间时在XZ轴上的投影图像和YZ轴上的投影图像各采集一幅图像，以减少对斑马鱼胚胎进行三维跟踪时的光辐射，并在0到时间点k之间的时间段里得到k个投影图像对，通过图像分割和三角测量，目标在时间点k时的测定坐标为X_k，Y_k，Z_k，其中：X_k、Y_k、Z_k分别为目标在时间点k时在X轴上，Y轴上，Z轴上的测定坐标；X_k+1、Y_k+1分别为目标在时间点k+1时在X轴上，Y轴上的测定坐标值；

目标在时间点k时的预测坐标为P(x_k，y_k，z_k)，其中：P(x_k)、P(y_k)、P(z_k)分别为目标在时间点k时在X轴上，Y轴上，Z轴上的预测坐标值；

利用公式(1)进行坐标预测；

且P_k(z_k+1)＝Z_k+1 公式(1)

公式(1)中的P_k(z_k+1)＝Z_k+1中的P_k(z_k+1)为目标在时间点k+1时在Z轴上的预测坐标值；Z_k+1为目标在时间点k+1时在Z轴上的测定坐标值；P_k(z_k+1)＝Z_k+1表示目标在时间点k+1时在Z轴上的预测坐标值，与目标在时间点k+1时在Z轴上的测定坐标值相等；

公式(1)中的·为点乘符号

公式(1)中的θ是旋转采集时每个时间点k中任意相邻采集的图像帧的角度步长，X_AOR，Y_AOR是旋转轴在投影坐标系中的XY轴的坐标位置；

在XZ轴上的投影图像和YZ轴上的投影图像检测单个目标，采用大小可调、非线性高帽函数图像处理算法进行识别目标；

根据多个目标大小经验值分割判定单个目标的有效区域，拟合(拟合就是把平面上一系列的点，用一条光滑的曲线连接起来)计算出多个目标的几何中心，在XZ坐标系的坐标为(x，z)，在YZ坐标系的坐标为(y，z)；

在对k对投影图像对中的目标进行识别时，如果有相近的Z坐标值则认为是同一目标；在XZ坐标系和YZ坐标系中存在2个或以上目标有相近的Z坐标值，随着旋转台转动，如果是不同目标，接下来的图像中的Z坐标值的变化不满足设定的边界条件从而排除掉；

步骤五、重构来自测量投影坐标系的分割目标的运动轨迹：

在任意给定帧的每个目标与下一帧最近的目标联系起来；所有识别的目标在第k个时间点的检测的坐标X_k，Y_k，Z_k坐标列表变换到第k+1个时间点的坐标系统P(x_k+1，y_k+1，z_k+1)，P(_xk+1，y_k+1，z_k+1)与在第k+1个时间点检测的坐标X_k+1，Y_k+1，Z_k+1进行比较，目标的空间距离在某一个范围内时认为是同一个目标，每个目标只能加入一个轨迹；

P(x_k+1，y_k+1，z_k+1)是目标在是根据识别的目标在第k个时间点的坐标X_k，Y_k，Z_k在第k+1个时间点的预测坐标；

如果相应的目标在第k+1个时间点没有被识别，利用合适的变换将第k+2个时间点的预测坐标与第k+2个时间点的坐标进行比较；如果相应的目标仍然没有被识别，则目标的跟踪在第k个时间点终止。

附图说明

图1为细胞跟踪智能算法的技术路线图

图2为细胞跟踪智能算法的跟踪算法流程图

图3为正交光学投影层析成像系统的焦平面(显示了正交成像系统对于交叉位面在旋转轴的聚焦)(FP焦平面，旋转轴)

图4为细胞跟踪智能算法的另一种技术路线图

图5为正交光学投影层析成像系统的俯视图(显示了正交成像系统对于交叉位面在旋转轴的聚焦)(FP焦平面，旋转轴)

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，能实现同样功能的产品属于等同替换和改进，均包含在本发明的保护范围之内。具体方法如下：

实施例一：细胞跟踪智能算法的具体成果为：

(1)提出一种高精度瞬时正交光学投影断层成像技术，在样本尺寸和成像精度之间进行权衡，提高分辨率、成像效率和信噪比。

(2)搭建新型旋转式瞬时正交成像三维跟踪系统，对活体模式动物的免疫细胞(如：中性粒细胞)进行三维跟踪，努力提高时域精度。相对传统三维跟踪对样本做每个时间点的三维成像，本发明利用瞬时正交成像系统实现了对样本进行三维跟踪的最小光辐射(最小光漂白和光毒性)，对生物活体的伤害小，为生物、医学、医药研究提供了新的技术手段，具有重要的应用价值。

(3)应用双轴OPT(在正交投影角度)来实现三维时间延迟转基因斑马鱼胚胎中性粒细胞移动跟踪。研究细胞精细结构，探测细胞间的动态信息，是医学和药物研究领域急需解决的研究方向。

随着科学技术的进步，生物医学成像技术取得了快速发展。它是借助于某种能量与生物体的相互作用，提取生物体内组织或器官的形态、结构以及生理功能的信息，为生物组织研究和临床诊断提供了影像信息。涉及的范围很广，有X射线计算机断层扫描成像(X-ray CT)、核磁共振成像(MRI)、超声波成像(UI)、光学成像等。

利用光与生物组织的相互作用进行成像，一直备受青睐，因为光学成像具有对组织干扰小，灵敏度高，信息丰富(可多参数联合测量，这些参数包括结构、频谱、偏振、量子效应和寿命等)，可达亚细胞层次分辨率水平，适于离体或活体实时成像，便于与其他技术如超声结合使用，以及具备直接治疗的潜能等优点。光与组织的相互作用机制非常丰富，有反射、散射、吸收、荧光等，这些光学现象均可用于提取组织中的相关信息，从而产生基于它们的各种成像方法，使得光学方法成为生物组织成像里研究最为活跃、发展最为迅速的领域。

但是，由于生物组织的不均匀性，对光波有吸收和强散射，因此光波很难深入组织内部，更难以从生物组织中提取出清晰的图像。为了解决这个难题，近年来人们发展了一系列光学成像方法。例如：共聚焦/多光子光学成像技术、光学相干层析成像、光片显微仪、扫描激光光学断层扫描、光学投影层析成像(OPT)等。这些医用成像技术手段有各自的适用范围和各自的局限性，表1列出几种常用成像技术的优缺点。

当前进行能够对mm-cm量级生物对象进行三维光学成像的方法有：OPT、SLOT、LSM。LSM相对成像速度快，但成像的精度方向各异性，提取的图像信息容易模糊。OPT和SLOT，结构简单容易操作，成像精度各方向同性。但OPT是宽场成像方式，通过全场照明激发用CCD采集投影成像，采集速度更快。SLOT是通过单点激发和探测而成像。

生物医学三维成像为生物和医学研究提供了新的技术手段。研究活体内细胞的动态分布(三维跟踪)是生物医学成像领域一个非常有意义的课题，为探测疾病的变化和研究药物的作用机理提供了新的技术手段。目前为止，细胞三维跟踪已经利用显微镜实现，需要在每个时间点获取三维体积信息。共聚焦/多光子激光扫描显微提供了光学切片，这些光学切片有利于荧光标记细胞三维图像堆栈的获取。这个方法被用于基于高分辨率研究斑马鱼的有炎症小区域的中性粒细胞，比如：尾巴受伤的模型，大约100μm视场。然而，事实上大多数激光扫描显微镜在穿透深度和视场上受到限制，他们本质上展示出各项异性的分辨率，可以扩展到整个样本的介观成像，但需要高的激发功率和长的图像采集时间。我们可选择一些针对mm-cm量级生物组织的三维成像技术，这些技术得益于全场图像采集，包括光学投影层析成像(optical projection tomography)和光片显微技术(light sheet microscopy)。这些技术能够直接扩展到三维体积成像，例如：在每个时间点获取整个样本的体积。利用激光扫描显微成像中已经改进和实现的算法直接来实现三维时间延迟特征的跟踪。遗憾的是，体积成像需要获取每个时间点上针对LSM的满堆栈图像或者针对OPT的满序列投影。毫米量级实现细胞级分辨率需要超过100帧每体积。这限制了时间延迟分辨率，这些特征在这段体积获取时间移动了有效的距离。而且，在每个时间点获取几百个图像，结果是在整个时间过程中对样本的大量的光辐射，这也将导致光漂白或光毒性使得活体研究大打折扣。

综上所述，我们提出一个新的三维跟踪方法，延伸了角度复用OPT方法拟以相机帧速率来实现三维跟踪。拟在不同的投影角度同时获取图像，利用每个时间点三角测量，不用重构整个样本体积，仅估算三维特征的位置信息。这样，对单个图像的采集而不是整个体积采集，三维特征跟踪时间分辨率上等价于连续投影采集和每个时间点光辐射的延迟。这种采集系统能够提供各向同性的空间分辨率(与共聚焦/多光子激光扫描显微或传统光片显微技术的三维跟踪不同)。拟用改进的OPT采集方案，跟踪一个疾病模型(如：斑马鱼胚胎)的细胞移动是特别方便的。

实施例二：(1)提出一种瞬时正交成像技术进行体内稀疏分布的细胞三维跟踪，拟利用光学投影层析成像得到较高的时间延迟分辨率。与传统的三维跟踪技术需要对每个时间点作三维立体空间采集，本发明拟降低对样本的光辐射。

(2)利用角度复用OPT系统在不同投影角度同时采集两幅正交图像，拟采用高达相机帧率的时间去定位和跟踪特征目标。

(3)通过对细胞检测、识别和跟踪算法的发明，研究细胞精细结构和形态学特征，探测细胞间的动态信息，是医学和药物研究领域急需解决的研究方向。

主要有：(1)瞬时正交光学投影层析成像系统的搭建。

将样本放置在旋转台，调焦两个正交成像臂到旋转轴，选择合适的系统部件参数，激光器、CCD、电动控制快门、滤光片，光阑，透镜等，搭建双轴瞬时正交OPT成像系统。

(2)细胞检测与识别算法的发明。

对细胞进行图像增强，去噪和图像分割，研究针对细胞对象的检测与识别算法。利用高帽变换、分水岭算法等等。

(3)跟踪算法的发明。

将任意给定的时间点的每个目标与下一时间点最近的目标联系起来，通过比较预测位置与实际位置的几何距离差值，判断是否列入该细胞轨迹列表，定义的分段线性的细胞轨迹。

(4)细胞形态学特征、运动速度和方向的测量

重构跟踪细胞的轨迹后，可以估算一系列的特征：总的轨迹长度即相应细胞总的移动距离；沿不同轴的移动长度；移动的总位移即起点和终点的距离；不同的速度测量等。例如在一个跟踪特征的例子中，我们计算平均跟踪速度(总的跟踪时间长度除以跟踪时间间隔)和方向(两个连续增量的平均角度余弦)。完全无序的运动方向值应该为0，接近单方向性的方向值接近1。

实施例三：发明方案

细胞检测与识别：用正交荧光投影的原始数据(相互垂直的CCD系统获取一对图像)定义实验的坐标系统，X，Y，Z轴。Z是共同的垂直坐标，从投影图像的底部行开始测量，与旋转轴平行。X是横坐标从投影图像(其中一个相机成像)左边开始测量，Y是另一个正交相机成像的横坐标。经过完整的旋转投影采集后，有k对投影图像，通过图像分割和三角测量，我们可以确定(X，Y，Z)_k即荧光目标(如：细胞)在第k对图像的坐标。

理想的荧光特征，如表达绿色荧光蛋白的中性粒细胞在不同的时间点应该有不变的亮度。然而，事实上测量的荧光强度在不同的旋转角度受到光的收集效率(如：来自焦平面的不同位置)、激励的空间变化、激发光与自发荧光散射和吸收的的影响。除此以外，这些中性粒细胞群集在一起，在移动过程中很大程度上延伸和改变他们的形状，而且荧光蛋白表达水平也是变化的。因此，在xz、yz投影图像上检测单个细胞，在适当范围内的细胞大小和荧光强度下，选择合适的图像分割算法是很重要的。我们拟采用大小可调、非线性高帽函数图像处理算法在预计的尺寸范围内内识别目标，所有算法在Matlab环境下运行。将一组给定的像素和它周围区域像素的平均灰度比进行比较，利用局部大小选择阈值可以满足这些要求。初级和二级检测尺度相应的设为2个和8个像素。通过数学形态学平滑和尺寸筛选进行图像分割，可以设定分割目标的面积小于某一特定值。由于细胞的运动，细胞间还存在相互接触和重叠的情况，可是尝试用分水岭算法进行此类情况的分割。

图像分割后，每对投影图像中被识别细胞的(X，Z)(Y，Z)坐标认定为分割区域的几何中心。在投影图像对中，如果有相近的Z坐标被认为是同一细胞。权衡Z坐标相近的标准可以根据实验经验设定，比如：±3个像素。被识别细胞的Z坐标有两幅投影图像中Z坐标的平均值得到。为了下一步的深入分析，将每个细胞的数据信息存储下来。

细胞跟踪

定量分析的第一步就是重构来自测量投影坐标系的分割细胞的运动轨迹。可以在任意给定帧的每个目标与下一帧最近的目标联系起来。复杂的方法可以用位置、亮度、形状大小、方向、速度和其他细胞特征计算“相似度”。我们可以从较为简单的算法入手研究，先考虑几何距离特征。

目标在时间点k时的测定坐标为X_k，Y_k，Z_k，其中：X_k、Y_k、Z_k分别为目标在时间点k时在X轴上，Y轴上，Z轴上的测定坐标；X_k+1、Y_k+1分别为目标在时间点k+1时在X轴上，Y轴上的测定坐标值；

目标在时间点k时的预测坐标为P(x_k，y_k，z_k)，其中：P(x_k)、P(y_k)、P(z_k)分别为目标在时间点k时在x轴上，Y轴上，Z轴上的测定坐标值；

利用公式(1)进行坐标预测；

且P_k(z_k+1)＝Z_k+1 公式(1)

公式(1)中的P_k(z_k+1)＝Z_k+1中的P_k(z_k+1)为目标在时间点k+1时在Z轴上的预测坐标值；Z_k+1为目标在时间点k+1时在Z轴上的测定坐标值；P_k(z_k+1)＝Z_k+1表示目标在时间点k+1时在Z轴上的预测坐标值，与目标在时间点k+1时在Z轴上的测定坐标值相等；

公式(1)中的·为点乘符号

公式(1)中的θ是旋转采集时每个时间点k中任意相邻采集的图像帧的角度步长，X_AOR，Y_AOR是投影到瞬时正交的光学成像系统的焦平面的两个正交图像中的旋转轴的横向位置；

在任意给定帧的每个所述目标与下一帧最近的所述目标联系起来；所有识别的所述目标在第k个时间点的检测的坐标X_k，Y_k，Z_k坐标列表变换到第k+1个时间点的坐标系统P(x_k+1，y_k+1，z_k+1)，P(x_k+1，y_k+1，z_k+1)与在第k+1个时间点检测的坐标X_k+1，Y_k+1，Z_k+1进行比较，所述目标的空间距离在某一个范围内时认为是同一个所述目标，每个所述目标只能加入一个轨迹；

P(x_k+1，y_k+1，z_k+1)是目标在是根据识别的目标在第k个时间点的坐标X_k，Y_k，Z_k在第k+1个时间点的预测坐标；

如果相应的目标在第k+1个时间点没有被识别，利用合适的变换将第k+2个时间点的预测坐标与第k+2个时间点的坐标进行比较；如果相应的目标仍然没有被识别，则目标的跟踪在第k个时间点终止。

实施例四：首先利用图像增强算法、图像分割算法，依据实验经验(目标的大小范围)对目标进行识别，对多个目标进行标记编号，利用特征提取算法对目标的形态学特征进行提取，利用跟踪算法对目标运动轨迹进行三维重构，最后完成多目标的跟踪和获取目标的多参量信息。

跟踪算法，在初始的时间点k，定义初始的细胞集合，接下来的跟踪算法适用于第k个时间点，第k+1个时间点，以及细胞集合中的每一个细胞。对细胞集里的每个细胞，计算它在k+1个时间点的预测坐标。如果在预测位置的附近，发现一个邻近的识别细胞(空间距离小于某一特定值)，加入轨迹，算法继续下一次迭代。一个细胞只可能在一个轨迹中，只列入一次。如果在第m次迭代，列入轨迹没有成功，预测在m+2个时间点的细胞位置，因此需要两次连续的预测。只要两次没有成功，跟踪终断，开始建立下一个跟踪，直到第k个时间点的所有初始细胞跟踪结束。

跟踪算法流程图如图2所示。为了采集尽可能多的跟踪数据，算法连续的开始用第一，第二等帧作为最初始的帧。在下一步分析中，计算XY增量区分每帧测量坐标与预测坐标的差别。在样本坐标系表示增量，最后定义细胞轨迹。

实施例五：对光学投影层析成像系统(OPT)的设计和搭建有较好的研究基础，对生物样本图像处理与识别算法提出了详实可行的研究路线和方法。

实验室具有非常完备的实验条件：488nm激光器(200mw)、561nm激光器(200mw)、多个光谱仪、CCD、光电倍增管、探测器、电动位移台、控制器、功率计、示波器、荧光显微镜系统、工作站等；而且也搭建了初步的OPT成像系统，这为将来工作开展提供了坚实的物质基础，充分确保了发明的顺利完成。

(1)提出利用瞬时正交的OPT成像系统对荧光目标进行三维跟踪的新思路，实现了完整的活体模式动物内中性粒细胞运动轨迹的重构，为细胞运动的定量描述提供了一种新方法。

(2)提出基于高帽算法、分水岭算法等细胞检测与识别算法，对细胞形态学特征等多参量信息的提取，能对疾病发展、及药物作用下的细胞状态进行精确描述。

(3)提出复合角度投影成像方法，实现了由连续投影图像的延迟而不是整个体积采集时间决定的时间延迟分辨率，显著减少对生物活体的光辐射，为生物活体内的细胞研究提供了可行性方法。

通过本发明搭建一种细胞图像跟踪智能算法，能够对活体模式动物中的免疫细胞的运动进行三维跟踪并提取细胞的各种形态学特征，为研究疾病发展、生命活动及药物作用提供了新的技术方法，具有广泛的应用价值。

细胞跟踪智能算法的有益效果如下：通过本发明的开展，搭建瞬时正交的OPT成像系统，实现对斑马鱼胚胎内中性粒细胞的三维跟踪。采集速度达到相机帧速率、对生物样本光辐射小。将各种图像处理和识别算法用于斑马鱼胚胎内中性粒细胞的检测与识别，得到细胞的位置变化和形态学特征。为下一步数据分析奠定基础。分析中性粒细胞结构、形态学特征、运动轨迹与炎症和药物作用的相互关系，为研究疾病变化和药物机理奠定实验与理论基础。

以上所述仅为本发明之较佳实施例，并非用以限定本发明的权利要求保护范围。同时以上说明，对于相关技术领域的技术人员应可以理解及实施，因此其他基于本发明所揭示内容所完成的等同改变，均应包含在本权利要求书的涵盖范围内。