一种鞘流显微全厚度流道细胞清晰图像采集方法与流程

本发明涉及体外诊断细胞形态分析设备技术领域，尤其涉及一种鞘流显微全厚度流道细胞清晰图像采集方法。

背景技术：

随着社会经济的不断进步，人们生活水平及健康意识的不断提高，精准医疗呼声也日益增高，而细胞形态分析更是实现精准医疗不可或缺检测分析手段。在体液有形成分分析中，获得清晰的细胞图像是至关重要的环节，清晰细胞图像是后续进行识别、分析及诊断的重要依据。常规血细胞形态分析仪，采用静态显微技术，对当前静态细胞涂片进行对焦拍照，获取清晰的细胞图像较为容易。而当前新兴的结合鞘流技术的细胞形态分析仪，不管采用对称式柱状鞘流或扁平式平面鞘流方式，由于细胞的随机运动，即使在高速的鞘流速度下，也无法把所有的细胞挤压在高倍显微镜成像焦平面上，而对单个细胞对焦无法做到高速实时。

常规方法是通过增大景深，而增大景深方法有几种：1)换低倍物镜，增大像相机的像元尺寸，可以一定程度上增加景深，但是会牺牲光学放大倍数及分辨率；2)通过波前编码方式拓延景深，这种方法国外用的比较多，但是相位模版加工难度大，精度要求高，成本也很高，同时加工精度同样也会造成不同程度的像差，解码后得到的图像实际质量无法估计；3)单镜头二分光成像，这种方法，需要重新设计物镜，加工难度大，同时，分光图像融合算法要求高，融合景深也只是单筒成像景深的2倍左右。因此，在流式细胞有形成分分析仪中，如何获得细胞清晰图像是一个困扰研究及开发工作者的技术难题。

技术实现要素：

本发明的目的在于提供一种鞘流显微全厚度流道细胞清晰图像采集方法，以提高细胞采集的准确度和图像清晰度。

为实现上述目的，本发明提供了一种鞘流显微全厚度流道细胞清晰图像采集方法，包括：

获取并校验初始状态，清空缓存图像并监听启动采集指令；

接收所述启动采集指令，驱动物镜位移平台运动，并根据背光灯同步控制信号启动相机采集；

将基于约束关系采集到的图像数据存入数据缓存区，连续实时进行图像采集；

监听所述数据缓存区图像数据，读取缓存所述图像数据并进行预处理；

利用深度学习模型对预处理后的图像数据进行细胞跟踪、分割及归集；

利用图像清晰度算法对归集后的细胞图像数据进行筛选和打包上传，直至收到停止采集指令后返回等待采集状态。

其中，所述获取并校验初始状态，清空缓存图像并监听启动采集指令，包括：

上电复位后，获取物镜位移平台初始位置和相机及闪光灯状态，状态检测正常后，对物镜初始位置进行校验，清空缓存的图像数据，并实时监听启动采集指令。

其中，接收所述启动采集指令，驱动物镜位移平台运动，并根据背光灯同步控制信号启动相机采集，包括：

接收到所述启动采集指令后，控制图像采集控制卡驱动物镜位移平台按照设定的频率及行程做往复运动，同时输出背光灯同步控制信号，并启动相机采集图像。

其中，所述将基于约束关系采集到的图像数据存入数据缓存区，连续实时进行图像采集，包括：

根据成像区流道鞘流流速、成像区流道细胞层厚度、光学景深、相机ccd宽度、相机ccd像元尺寸宽度、相机采集帧率、抽样次数以及物镜位移平台之间的约束关系，并将基于所述约束关系采集到的图像数据进行数据帧接收，并将数据帧写入缓存区，直到采集结束，并返回至上电复位状态。

其中，监听所述数据缓存区图像数据，读取缓存所述图像数据并进行预处理，包括：

接收到所述启动采集指令后，进入连续图像处理状态，实时监测数据缓存区数据，若有图像数据未处理，则读取缓存的所述图像数据，并对所述图像数据进行滤波降噪和图像增强处理。

其中，所述利用深度学习模型对预处理后的图像数据进行细胞跟踪、分割及归集，包括：

利用卷积神经网络深度学习模型对预处理后图像中的同一细胞进行自动跟踪，并将跟踪的所有细胞图像进行分割提取，并自动归集，并在跟踪过程中，对输出结果进行坐标及位移二次约束校验。

其中，所述利用图像清晰度算法对归集后的细胞图像数据进行筛选和打包上传，直至收到停止采集指令后返回等待采集状态，包括：

将从所述卷积神经网络深度学习模型输出的细胞归集图像数据，利用图像清晰度算法筛选出每个归集中设定清晰度的细胞图像，并将筛选出的所有设定清晰度细胞图像打包上传给中央处理单元后，清除预处理后缓存的所有图像数据，直到接收到停止采集指令，退出连续图像数据处理状态，返回等待采集状态。

本发明的一种鞘流显微全厚度流道细胞清晰图像采集方法，上电复位后，获取并校验物镜位移平台初始位置和相机及闪光灯状态，并清空缓存的图像数据，同时监听启动采集指令，收到所述启动采集指令后，驱动物镜位移平台运动，并根据背光灯同步控制信号启动相机采集，将基于约束关系采集到的图像数据进行缓存，连续实时图像采集，实时监测缓存数据，读取缓存所述图像数据并进行预处理，利用卷积神经网络深度学习模型对同一细胞进行自动跟踪，并将跟踪的所有细胞图像进行分割提取，并自动归集，将根据图像清晰度算法对图像数据进行筛选并打包上传，清除预处理后缓存的所有图像数据，直至收到停止图像采集指令，退出连续图像采集处理返回空闲等待采集状态，提高细胞采集的准确度和图像清晰度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种鞘流显微全厚度流道细胞清晰图像采集方法的步骤示意图。

图2是本发明提供的一种鞘流显微全厚度细胞清晰图像提取的硬件原理框图。

图3是本发明提供的逻辑控制与图像采集流程图。

图4是本发明提供的图像数据分析及处理流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至图4，本发明提供一种鞘流显微全厚度流道细胞清晰图像采集方法，包括：

s101、获取并校验初始状态，清空缓存图像并监听启动采集指令。

具体的，上电复位后，获取并校验物镜位移平台初始位置和相机及闪光灯状态，如图3所示的处理流程包括逻辑控制与图像采集流程，若物镜位移平台初始位置或相机及闪光灯状态检验异常，则会发出报警信号，并重新进行校验，直至物镜位移平台初始位置和相机及闪光灯状态均检验正常，然后清空缓存的图像数据，系统进入空闲采集等待状态，当系统收到采集操作指令后，由中央处理单元发出启动采集指令，其中，如图2所提供的鞘流显微全厚度细胞清晰图像提取的硬件原理框图所示，物镜位移平台为位移平台与物镜机械结合体，带动显微物镜在光轴向上微小移动，位移精度为μm级，实现不同物距上细胞成像。位移驱动可选用压电陶瓷，或者音圈电机，压电陶瓷位移最高精度能实现纳米级，响应频率能到达上khz，一般应用于动态响应速度快，高放大倍率的显微对焦场合，但其成本也较昂贵，音圈电机位移精度基本在μm级，响应频率最高也能做到百hz，成本相对便宜些，本例采用压电陶瓷作为位移驱动，位移最大行程为80μm，背光灯主要用于生物显微明场成像照明，可以采用led或闪光灯，如采用led灯，需要选择短曝光时延的相机，采用闪光灯背光照明则对相机曝光时间无要求，本例采用闪光灯背光照明，相机可采用ccd/cmos相机，不计成本也可采用tdi相机，相机分辨率、像元尺寸、采集帧率、数据传输接口可根据项目实际应用来选择，本例实验采用相机参数为200w像素，分辨率大小为2048×1080，像元尺寸为5.5μm×5.5μm，340fps，cameralink接口。成像镜筒为标准的光学1x放大镜筒，长度为18.5cm。本发明解决荧光同步成像控制复杂度，以及因同步失效而造成细胞漏拍；降低图像采集硬件成本；提高成像系统的可靠性。

s102、接收所述启动采集指令，驱动物镜位移平台运动，并根据背光灯同步控制信号启动相机采集。

具体的，接收到所述中央处理单元下传的启动采集指令后，图像采集控制卡驱动物镜位移平台按照设定的频率及行程做往复运动，其中，为了保证物镜位移平台稳定平滑运动，其位移驱动信号采用正弦波控制，同时图像采集控制卡输出背光灯同步控制信号，并启动相机采集图像，所述图像采集控制卡采用fpga为主控芯片，方便以并行方式实现高速图像数据处理以及各单元模块的同步控制，由于鞘流器采用成像平面鞘流器，左侧分别注入样本及鞘液，鞘样流量比推荐采用10:1以上，鞘流器中间成像区流道内液体流速必须与整套成像系统相匹配，所拍摄图像不能存在运动拖影，且也要满足相机最高帧率抽样要求，同时，样本及鞘液进出样由液路辅助控制单元完成。

s103、将基于约束关系采集到的图像数据存入数据缓存区，连续实时进行图像采集。

具体的，根据成像区流道鞘流流速vo、成像区流道细胞层厚度h、光学景深dtot、相机ccd宽度w、相机ccd像元尺寸宽度w、相机采集帧率fs、抽样次数n以及物镜位移平台之间的约束关系，并将基于所述约束关系采集到的图像数据进行数据帧接收并写入缓存区，连续实时图像采集，直到采集结束，并返回至上电复位状态，物镜位移平台的最大位移、运行频率及抽样次数确保了每个细胞在流过成像视野区时，系统一定会拍到一张在焦平面范围内成像清晰的图像，并且，在图像采集过程中能够扫描流道细胞层所有细胞，不会存在细胞被漏拍的现象，保证了细胞统计绝对计数的准确性，并且在中低速鞘流下实现鞘流流道内全厚度细胞清晰图像采集，实现精准的细胞绝对计数。

其中，所述约束关系如下所示：

⑴、抽样次数n，且取整数倍：

⑵、成像区流道鞘流速度vo：

⑶、物镜位移平台最大位移行程s：

物镜位移平台最大位移行程s≥流道成像区细胞层厚度h

⑷、物镜位移平台往复运动频率f：

s104、监听所述数据缓存区图像数据，读取缓存所述图像数据并进行预处理。

具体的，如图4所示的图像数据分析及处理流程，图像采集控制卡收到中央处理单元下传的所述启动采集指令后，进入连续图像采集状态，其中数据处理逻辑流程实时监测缓存区数据，读取逻辑控制与图像采集流程写入缓存的所述图像数据，并对所述图像数据进行滤波降噪、图像增强等预处理，降低图像噪声干扰，增强图像质量。

s105、利用深度学习模型对预处理后的图像数据进行细胞跟踪、分割及归集。

具体的，基于深度学习细胞跟踪和分割是利用最前沿的卷积神经网络深度学习模型对同一细胞进行自动跟踪，并将跟踪的所有细胞图像进行分割提取，并自动归集。在跟踪过程中，对深度学习模块跟踪模型输出结果进行坐标及位移二次约束校验，以确保对细胞跟踪的准确性。

s106、利用图像清晰度算法对归集后的细胞图像数据进行筛选和打包上传，直至收到停止采集指令后返回等待采集状态。

具体的，将从所述卷积神经网络深度学习模型输出的细胞图像数据，利用图像清晰度算法对同一细胞归集图像数据进行自动对比计算，筛选出设定清晰度即最优清晰度的图像数据，并将所有细胞筛选出的最优清晰度图像打包上传给中央处理单元，清除已处理后缓存的所有图像数据，然后重复进入下一轮图像分析及处理流程，直至接收到停止图像采集指令，退出连续图像采集状态，然后重新等待接收下一次的启动采集指令，提高细胞采集的准确度和图像清晰度。

本发明的一种鞘流显微全厚度流道细胞清晰图像采集方法，上电复位后，获取并校验物镜位移平台初始位置和相机及闪光灯状态，并清空缓存的图像数据，系统监听启动采集操作指令，接收到所述启动采集指令，驱动物镜位移平台运动，并根据背光灯同步控制信号启动相机采集，进入连续图像采集处理状态，将基于约束关系采集到的图像数据进行缓存，连续实时图像采集，实时监测缓存区图像数据，读取缓存所述图像数据并进行预处理，利用卷积神经网络深度学习模型对同一细胞进行自动跟踪，并将跟踪的所有细胞图像进行分割提取，并自动归集，利用图像清晰度算法对细胞图像数据进行最优清晰度图像筛选和打包上传，清除预处理后缓存的所有图像数据，并重复进入下一轮细胞图像采集、分析及处理流程，直至收到停止图像采集指令，提高细胞采集的准确度和图像清晰度。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。