利用人工智能控制并操纵微流体中多相流的方法和装置与流程

droplet sorting)(j.
‑
c.baret etal.in“lab on a chip”,volume 9,2009,p.1850
‑
1858)，利用电场，其每秒能分拣大约2000个荧光激活液滴。至今，电驱动是最佳的选择，因为它是最可靠、最准确并且反应速度最快的，这对于高速分拣是非常必要的。
14.基于电驱动的传统液滴分拣系统的常见劣势是生物样品必须用荧光染料标记。标记的微粒需要耗时，染料不能与所有细胞类型兼容时，非常不可取，并且在活细胞成像过程中可能会影响细胞行为。在某些情况下，仅能用死细胞进行细胞荧光标记。
15.为了观察处于自然状态的样品，优选无标记的分拣系统。这是可实现的，基于大多数显微镜都配有照相机，但需要重新设计图像采集装置和先进的处理算法。早期尝试通过光电二极管检测培养在皮升液滴中的放线菌(e.zang et al.in“lab on a chip”,volume 13,2013,p.3707
‑
3713)。产生的信号被转换为一种来激发相机的ttl信号，其次激发帧幅抓捕器。通过一个a/d转换器(adc)，对捕获的帧与液滴中具有分类的内容物进行处理从而触发发生器进行分拣。这个系统的弊端是在100hz的分拣频率下，分拣的真阳性率仅70％。相比于fads系统这个比率是低的，由于其采用基于液滴的简单规则的分类方法。
16.另一个设计是用低速率的照相机来捕获液滴图像，使用多个模板匹配算法来检测液滴中封装的细胞或物体(m.girault et al.“scientific reports”,volume 7,2017,40072)。这个系统成功识别和辨别包含d.tertiolecta和p.tricornutum的液滴的准确率分别为91
±
4.5％和90
±
3.8％。然而处理速率仅为10hz。这表明必须开发更好的成像和处理系统才能与fads媲美。
17.从有效并高效的液滴角度看，虽然过去几年计算机视觉已经取得了巨大的进步，但实时微液滴分析仍然是一个挑战性的问题。首先，微液滴在微流体系统中移动非常快速。高通量照相机需要以每秒捕获数百或数千帧图像来追踪移动过程。这也给所需的图像处理和物体识别方法提出更高的要求。第二，在给定显微镜的聚焦设置或光源的亮度的情况下，照明被显著改变了。这需要图像处理方法来适应这样的状况。第三，检测靶标的大小，例如微粒或细胞，在移动过程中明显的改变，这使识别成为难题。
18.选的实施方案力求最小化上述液滴分选的缺点，或至少提供有用的商业选择。


技术实现要素：

19.根据本发明的内容第一方面，这里提供一种用于控制微液滴或气泡的系统，其包括：
20.一个微流体产生器，用于产生所述微液滴或气泡；
21.一个反馈感应器，用于感应生成的微液滴或气泡的一个或多个反馈参数；及
22.一个控制器，利用感应的反馈参数来控制该微流体产生器。
23.这种系统的优势为该控制器利用感应到的反馈参数来控制微流体装置，这比反复多次试验更有效。
24.这个反馈感应器可以包括一个预测器来预测可能未感应到或不可靠的参数，并且进一步使用这些预测的参数来控制微流体产生器。
25.该控制器可以用来自反馈感应器的训练数据构建一个模型，测试产生的液滴或气泡来确认这个模型的准确性。
26.所述控制器可以包含一个人工智能控制器，例如机械学习分类器。该控制器可以
包括一个压力驱动流量控制器或注射泵。优选的，该控制器被配置用于控制微流体装置，那样，微流体装置产生微液滴或气泡的单分散相乳剂。
27.该感应器可以包括一个光学系统。该光学系统可以获取一些信息，如所述微液滴或气泡流中气相、液相或固相的大小、性状和颜色。这些参数可以包括以下的任意一种或多种：液滴面积、直径、形状、频率、间隔距离和速度。
28.根据本发明的另一方面，本发明提供的一种控制微液滴或气泡的方法包括：
29.产生所述微液滴或气泡；
30.感应所生成的微液滴或气泡的一种或多种反馈参数；及
31.用感应到的反馈参数控制所述微流体产生器。
32.控制步骤可以包括一个训练阶段，这个阶段包含用来自反馈感应器的训练数据构建一个模型。该训练阶段可以包括在执行产生步骤时产生器的压力特性来确定训练区域。该训练区域在平流和稳定域过渡线之间。这个训练阶段可以包括以蛇形的方式探索训练边界。
33.该模型可以是回归模型。这个回归模型可以包括通过最小化训练数据的损失来确定最佳的回归参数。
34.控制的步骤可以进一步包括一个测试阶段，测试生成的液滴或气泡来确定模型的准确率。这个测试可以包括输入一个预期的液滴面积和形状到模型中。当输入的预期液滴面积和形状与生成的液滴比较时，准确性可能包含小于2.5％的误差。
35.根据本发明的另一方面，本发明提供了一种用于分拣微液滴或气泡的系统，该系统包括：
36.一个感应器，用来感应微液滴或气泡，或他们内含物的一个或多个参数；
37.一个分拣器，用来分拣所述微液滴或气泡；及
38.一个控制器，利用感应的参数来控制该分拣器。
39.优选的，该分拣器分拣液滴或气泡取决于它们是否包含微粒并且不需要液滴标记。避免了传统无标记液滴分拣技术的弊端，扩大了应用范围。分拣取决于感应到的参数涉及是否包含微粒、包含单个微粒、多个微粒或不同性质和类型的微粒的液滴。这些微粒可以是生物细胞如血细胞、癌症细胞、精子或卵。
40.该系统可以进一步包括一个用来产生微液滴或气泡的微流体产生器。该系统可以进一步包括用来间隔生成的液滴或气泡的间隔区(或间隔器)。产生器、间隔区和分拣器可以被整合到一起作为一个微流体装置。该微流体装置可以用平板印刷技术成型。
41.该感应器可以包括一个成像装置。该成像装置可以包括显微镜、用来捕捉由显微镜放大的图像帧幅的照相机，及从相机抓拍帧幅的帧幅抓捕器。
42.该控制器可以包括机器学习模型。该控制器可以包括压力控制器或注射泵。
43.分拣器可以根据以下的一种或多种进行操作：水动力学、流体力学，气动，电动，介电泳，磁和热原理。
44.根据本发明的另一个方面，本发明提供了一种分拣微液滴或气泡的方法，该方法包括：
45.感应微液滴、气泡或它们内含物的一种或多种参数；
46.分拣微液滴或气泡；及
47.利用感应到的参数控制所述分拣器。
48.优选的，感应包括使用计算机视觉，控制包括使用机器学习或分拣是实时的。
49.感应可以包括液滴图像帧幅的抓拍。该方法可以确定每一帧内包含一个液滴的目标区域。这个方法可以包括液滴追踪或液滴分类。所述液滴追踪可以利用霍夫(hough)变换或其他边界检测方法来检测液滴的圆形边界。所述液滴分类可以包括投票。
50.分拣可以包括接受包含单个微粒的液滴或气泡，拒绝流量中其他液滴或气泡。所述分拣可以通过电驱动启动。所述分拣可以包括与液滴产生与识别模块同步。所述分拣可以基于液滴类别确定其所包含的内容物。
51.所述控制可以包括机器学习，该机器学习涉及离线训练和利用离线训练的结果进行在线分拣。
52.所述方法可以进一步包括产生微液滴或气泡。所述控制可以包括分析液滴产生和分拣。该方法可以进一步包括在流量中间隔或分隔所生成的液滴或气泡。
53.在本发明的范围内，本文描述的任何特征可以与本文描述的任何一个或多个其他特征以任何组合进行组合。
附图说明
54.本发明的优选特征，实施例和变化可以从接下去的详细说明中看出，这些详细说明为本领域技术人员提供了足够的信息来执行本发明。这些详细说明不应被视为以任何方式限制上述发明内容的范围。详细说明将参考以下多个附图：
55.根据本发明的第一个实施例，图1a是一个控制微液滴系统的示意图。
56.图1b显示了图1a所述系统的训练和测试阶段的流程图。
57.图2显示了图1a所述系统中观察到的不同流动区的流程图。
58.图3显示了捕获训练数据程序的流程图。
59.图4a是3d图，显示了从训练数据获得的不同的p1和p2处液滴面积和形状，所述训练数据具有显示出系统的训练边界的a,b,c和d。
60.图4b是图4a相同数据的2d图，其中油压p1与液滴面积相对应。
61.图4c是图4a相同数据的2d图，其中水压p2与液滴面积相对应。
62.图5是图1a中系统的用户界面，显示了液滴实时分析。
63.图6显示了监测到的液滴面积与用户输入的想要的液滴面积的对比，其中进行两个独立的实验(a&b)，来比较单独训练与参数优化的结果。
64.根据本发明的第二个实施例，图7是一个分拣微液滴的系统的示意图。
65.图8a显示了图7所述系统的微流体装置的设计细节。
66.图8b显示了图8a所述微流体装置的微流体产生器的规模尺寸
67.图8c显示了图8a所述微流体装置的间隔区的规模尺寸。
68.图8d显示了图8a所述微流体装置的分拣器的规模尺寸。
69.图9显示了在捕获的视频帧中靶标区域(roi)的处理过程。
70.图10是在图9的roi内进行的液滴识别的流程图。
71.图11是一个图7所述系统的机器学习方法的流程图，包括离线训练和在线分拣。
72.图12是图7所述系统中用来产生液滴的水压相对于油压的流态图。
73.图13显示了在图7所述系统的分拣器的液滴分拣连接处观察到的隔离油压相对于液滴频率的图。
74.图14显示了不同液滴频率下实验分类、投票和分拣的准确性。
75.图15显示了不同投票选项的实验分类，投票和分拣的准确性。
具体实施方式
76.根据本发明的实施例，这里提供了一个图1所示的系统100，用于控制连续相流体中单分散相流体的微液滴。
77.该系统100包括用于产生微液滴104的微流体产生器102。反馈感应器106感应生成的微液滴104的反馈参数。反馈感应器106包括一个预测器107，该预测器107可以预测未感应到的或不可靠的参数。该系统100也包括一个控制器108，利用感应到的和预测的反馈参数控制微流体产生器102。优选的，该控制器108利用反馈参数自动实时控制微流体产生器102，这比试错法或者反复试验的方法更有效。该系统100的详细描述如下所述。
78.所述微流体产生器102是使用标准光刻和软光刻程序以聚二甲基硅氧烷(pdms,dow corning)制造的微流体聚焦装置。所述控制器108被配置用来控制微流体装置102，那样该微流体装置102产生微流体液滴104的单分散相乳液。
79.所述反馈感应器106包括一个光学系统，其获得微流体液滴104的流体流量中气相、液相或固相的大小、形状和颜色等信息。所述感应器106也包括一个分析器用来分析获得的信息以确定液滴参数。
80.为了更便于实时成像和数据转换来进行实时测量，这里提供了一台高性能照相机(cp90,optronis)和定制计算机。所述计算机配置了core i7 6850k中央处理器(cpu)，128gb随机存取存储器(ram)，直接内存访问(dma)控制器和帧抓捕器(vq8
‑
cxp6d,silicon software me5 ironman)。所述照相机配备了一个4兆像素的单色图像感应器，并以每秒500帧的速度在全分辨率(2304x 1720)下捕获图像。然后，通过coaxpress接口(cx
‑
304
‑1‑
304
‑
05，optronis)以近乎实时的方式从照相机传送捕获的图像。所述coaxpress接口是高速多重(4芯)同轴电缆，并直接连接到帧抓捕器。这些图像平均需要花费大约几皮秒的时间才能传输到帧抓捕器。帧抓捕器从照相机接收图像后，使用dma控制器将图像逐行传输到计算机ram。dma控制器将数据直接发送到主存储器，并绕过计算机cpu以加快存储器的存储。压力控制器108通过(ob1 mk3，elveflow)软件开发套件(sdk)与预测器107集成在一起。
81.使用跨平台开发工具qt(qt，qt项目)来使该预测器107执行。这里使用了几个库，包括犰狳库和opencv库，以及用于压力控制器108、图像采集器和照相机的应用程序编程界面(api)。为了程序的高效，使用了五个线程。这些线程分别负责以下任务：帧捕获和内存缓冲，液滴参数的计算，在图形界面上显示液滴参数和视频以及系统参数，保存计算的结果，以及与压力控制器108的互作。当想要的液滴大小通过图形界面输入到系统100中，回归该模型立即计算出相应的压力值，并将其传递给压力控制器108。压力控制器108设置特定的油和水压力值，这将立即改变液滴面积。该影响由测量液滴参数的线程捕获，该线程用于确定液滴是否已达到所需的大小。在视频中，汇聚仅需要几帧，并且可以在大约1
‑
2秒内达到，使预测器107可以执行近实时任务。
82.图1b显示了预测的框架结构。所述预测包括使用来自反馈感应器106的训练数据
来构建模型的训练阶段，以及用于测试生成的液滴来确定模型准确性的测试阶段112。
83.首先，所述系统100经历了训练阶段110，来收集构建预定模型所需的数据。在这个110阶段，也收集各种液滴参数的实时测量值，例如液滴间隔距离和面积，并用手动图像分析来验证(imagej,nih)。
84.构建所述模型后，然后测试该系统100来确定模型的准确性和可靠性。通过设置标准来验证该模型，即产生的液滴与相应设置值的偏离不能超过5％。在这个实施例中，对于模型的生成，焦点仅在液滴面积上(假设液滴是球形的)，因为在大多数应用中相应的液滴体积更为重要。然而，在其他实施例中，也可以将其他液滴参数(液滴直径，形状，频率，间隔距离和速度)编入所构建的模型中。
85.转到图2，启动训练以前，操作者手动确认适当的液滴产生方案来减少由于流量不稳定而停工的时间，当方案更改为平流或回流时会发生流量不稳定。事实是，这个步骤也可以自动化，进一步减少时间和成本。5个重复试验可以获得一个误差线。p1是油压，p2是水压。对于稳定界面(红线)和平行流态(黑线)的压力值是给定的，该值之间的可以观察到液滴产生的方案。红线以上可以观测到回流。对于模型的产生，训练需要不间断的液滴产生。图2中插图的比例尺代表100um。
86.然后用四个边界点a、b、c和d标记训练区域200的界限。选用的这些点靠近稳定界面和平流转变线以确保所用的训练区域200最大化，在训练阶段该区域也不会变化。这些点也在两条转变线的误差线以外来确保所述系统也始终保持稳定的液滴生产状态。
87.图3显示了获取所需训练数据的程序300。简短来说，起始压力值(p1和p2)最初在a点设置。然后该系统100测量产生的液滴面积来确定系统100的稳定性。当10个连续液滴面积在平均液滴面积的2％以内，那么系统达到稳定。稳定以后，所述系统以5毫巴的间隔以蛇形运动移至下一项压力值设置。当系统达到d点时，所述训练进程完成了。在每一个设定压力值的稳定时间一般为1～36秒，这取决于流量条件。
88.在当前实施例中，当p1为285毫巴(mbar)，p2为155毫巴(mbar)时，被观察达到最长稳定时间。在这个点两个液滴间的间隔距离约为544um。这意味着，使用当前的放大倍数和图像分辨率需要采集更多的帧来获得10个连续液滴图像。
89.总的来说，使用2600组不同的压力值，训练阶段收集并处理了约650000组数据。每一个压力值采集了约250组数据。用来产生液滴104的压力驱动流量控制器108包括一组注射泵。然而，考虑到获得稳定的时间可能会显著加长(一般约为几分钟)，可能不会使用注射泵。也测量了液滴104的间隔距离并用于模型构建。
90.图3中的方法300能使所述系统100在蛇形移动中查询不同压力值。在每一个压力值下，捕获的液滴面积用于后续的m
‑
svr模型的构建。最初训练压力值的特写图302显示蛇形移动区域304与训练区域200交叉。当压力值在训练边界时，所述方法300相应调整压力值并改变查询方向。
91.为了使系统100能预先确定固定的液滴面积所需的压力值，使用机器学习方法构建一个回归模型来描述相关变量之间的关系。这个方法被称为多变量支持向量回归(m
‑
svr)，其被用于多输入多输出(mimo)系统。通过基于初始训练数据构建的模型，这个机器学习技术能预测目标变量。其他机器学习技术也可以用于构建回归模型。
92.给定n个样本的训练数据集(x1，y1)，
…
，(x
n
,y
n
),其中x
i
＝(a
i
，s
i
)，i＝1，
…
，n，是
一个包含液滴面积a
i
和两个相邻液滴的间隔距离s
i
的向量，yi＝(p1，p2)包含油压p1和水压p2。模型构建的目的是定义y＝<w，x>+b，以便从训练数据中估算多维回归参数集。
93.w＝[w1，...，w
q
]
[0094]
b＝[b1，...，b
q
]
t
[0095]
由于模型采用两个输入变量并生成两个输出变量，即q＝2，因此w是一个2x2矩阵，而b是2x1向量。注意，随着q值的增加，该回归模型可以扩展到更多的输入和输出变量。
[0096]
为了获得光学回归参数，以下损失函数被最小化：
[0097][0098]
l(u
i
)是具有高斯核的标准化损失函数。上述等式中的第一项是控制学习模型复杂度的正则化项。c是用于平衡损失和复杂性的贡献。基于这些方程，生成多维超平面模型。通过求解方程中损失函数方程式的二次近似可以实现优化，从而使训练数据上的损失最小。
[0099]
结果
[0100]
在训练阶段，几个变量需要调整。包括两个输入之间的比率和m
‑
svr参数(例如损失函数中参数c与其他相关参数)。这些参数的调整基于液滴面积预测过程的反馈。设定一个想要的液滴面积值，通过学习回归模型预测的压力值将被用于产生液滴。然后自动计算出液滴的面积，并与想要的值进行比较。当一组模型参数产生误差值低于误差标准时，它们被选择用于最终系统。在参数调整步骤期间，遵循贪婪策略，即通过固定所有其他参数，个别调整参数。一旦达到最佳值，在调整下一个参数时固定该参数值。
[0101]
影响预测器107的性能的其他因素是核心程序的选择。在系统100中，使用非线性高斯函数。这是同时比较了线性核和非线性核包括多项式和高斯函数之后做出的选择。试验结果显示高斯函数是所有选项中的最好的一个。训练完m
‑
svr模型后，通过运用模型到不可见的测试样品，并在给定想要的液滴大小与固定的间隔距离的情况下，计算所需的油压和水压来进行预测。图4显示了3d图400，说明从训练数据中获得的不同点p1和p2的液滴面积。
[0102]
训练阶段平均需约20分钟，包括数据收集和参数调整的时间。给定一组收集的数据，模型构建需约10秒。在预测程序中，一旦设置想要的液滴大小，所述系统100自动预测最佳压力，该压力也可被输入压力控制器108。这个预测过程非常快速，任何时间上的瓶颈主要来自训练和参数调整阶段。然而，对于固定几何形状和固定流体设置的装置，这个阶段仅需要操作一次。此外，可以通过减少图2训练区域200中需要采集的数据点的数量，或在参数调整过程中放松偏差标准来减少训练时间。
[0103]
考虑到以上涉及的系统设置，进行了几个试验来计算所述预测的效果和效率。首先试验的目的是评估实时自动液滴参数测量步骤的准确性。这个步骤规定输入回归模型，包括液滴分隔距离和液滴面积。对10个不同液滴的系统测量值也与imagej的手测数据比较。对于每一个液滴，5次重复手动测量计算获得平均值和标准偏差。这个比较值也作为一个例证即人类测量可能出现不确定性或误差。所述结果概述在下表中。从表格可以看出自动液滴参数测量的结果已经接近人类操作者的结果。液滴间隔和面积的最大差异分别为
2.65％和1.67％。一方面，这确保了系统100的液滴参数评估的高度准确性。另一方面，这也清楚的说明了除非付出很大的努力来确保精度，否则人工手动测量每次会产生不同的值。这里强调自动测量可以对相同的液滴或图像产生客观的一致的结果。这种性能是非常需要的，并将在许多基于液滴的微流体用途上有用处。
[0104]
表格为人工测量与系统测量之间的比较。该人工测量使用imagej分析并重复5次。
[0105][0106]
在第二个试验中，该系统100的准确性是在预测的压力设定下基于预期的液滴大小与实际测量的液滴大小间的差异来计算的。为了这样做，如图5所示的用户输入面板500上输入范围为7.0x10
3 um2到11.0x10
3 um2的液滴面积值来测试该系统100。在不同时期运行两轮试验，但使用相同的装置102和操作步骤。在第一轮，参数调整遵照误差上限为5％的宽泛版本。第二轮，这个上限被减小为2.5％。为了最小化配置造成的差异，试验使用一个装置102进行。
[0107]
对于启动训练进程，用户在用户输入面板502手动设置通道1和2的压力值以确定四个点a、b、c和d。所述“初始化”按钮503是用于开始训练。产生模型后，然后用户能设置预期液滴面积。所述系统100确定最适宜的点，并在文本框旁边展示p1和p2值。底部面板504展示了系统分析结果的读数。
[0108]
第一轮和第二轮的结果分别如图6a和6b所示。这个结果表明想要的液滴面积和实际的液滴面积间的误差可以调整到非常低的水平来达到规定范围的液滴面积。值得注意的是，选择这个面积范围是因为其在训练数据获得的测量值之内(图3)。图6获得的误差是由多种因素引起的。首先，在压力控制器108内具有由压电调节器诱发的小的压力脉动。这些脉动转变为小的压力变化，其能导致可观测的差异。其次，由于仅液滴大小、分隔距离和压力之间的联系被建模，回归模型不是100％准确。由于长操作时间，其他因素如液滴速度和频率、装置稳定性和外形尺寸偏差也会影响参数间的关系。这些因素也被整合入模型。
[0109]
结论
[0110]
上文阐述了使用具有机器学习方法的系统100，来进行实时自动液滴分析和大小预测。在训练数据采集过程中，利用基于图像技术评估了液滴参数如液滴面积和间隔距离。所述系统100开发一种使用m
‑
svr机器学习技术的模型来回归分析这些参数的流体压力。
[0111]
然后所述模型被用于在用户输入期望的液滴面积上预测压力值。试验结果显示生成的液滴与用户输入的预期液滴面积的误差低于2.5％。这个系统100允许准确的液滴产生没有重复的人工调整。对于需要精确液滴大小的各种生物医学应用，这个系统也被证明是一种经济高效的解决方案。
[0112]
人工智能(al)控制器108，包含机器学习，提供了如监督、无监督、半监督和深度学习等学习方案，使用来自模型的可见的数据来预测不可见的数据。例如al控制器108能学习有效控件间的关系，然后构建一个模型来预测期望的液滴参数。主动的液滴产生的用处提供了附加的管理水平和操控液滴的自由度。例如，这些主动控制允许液滴按需形成。
[0113]
用于实时、无标记微液滴分拣的人工智能系统
[0114]
本发明的另一个实施例详细描述了下面关于一个智能液滴系统700用于实时分拣无标记的包含微粒的微液滴104。这个实施例，不具排他性，具有特别适用于lab
‑
on
‑
chip平台，生化和化学分析，生物化学测定，颗粒和材料分析，药物和化妆品，颗粒和细胞分选系统，细胞封装或材料合成。
[0115]
根据这个实施例，用于分拣微流体液滴104的该系统700包括一个光学感应器702来感应微流体液滴104的参数。所述感应器702包括整合了显微镜、照相机和帧抓捕器的成像装置703。高速成像和数据转换装置703能使微液滴104的视频序列在1000+的帧频下被捕获，然后转换为计算机系统的存储器中以进行进一步处理。
[0116]
微流体装置704包括一个分拣器706来分拣微流体液滴104。例如，含有单个微粒的有用的液滴104从其它无用的液滴中被分拣出来。微流体装置704进一步包括一个微流体产生器705，其通过控制器708控制产生微流体液滴104。所述微流体装置704进一步包括一个间隔区(或间隔器)709来间隔生成的液滴104.
[0117]
所述系统700进一步包括控制器708，该控制器708通过电力促动器711并使用感应到的参数来控制分拣器706。该分拣器706分拣液滴104依据它们是否包含微粒而且不需要液滴标记。避免了传统无标记液滴分拣技术的弊端，并扩大了应用的范围。控制器708包括分类器710和压力控制器712.
[0118]
所述微流体装置704是聚二甲基硅氧烷(pdms,dow corning)液滴分拣微流体装置。该装置704利用传统软光刻和光刻技术制成。这个pdms层由流体通道和电极通道组成，这些通道被等离子键粘合到载玻片(7101，sail品牌)上。然后在实验前用aquapel(ppg工业公司)进一步对流体通道进行疏水化处理。装置704包括三个关键模块705、709和706，它们定义了液滴的产生，隔离油连接点和分拣区域。
[0119]
使用流体聚焦模块，通过产生器705产生液滴104。具有5％(w/w)的krytox铵盐的hfe7500油(novec，sigma aldrich)作为表面活性剂，既用作连续相又用作隔离油，而含有5％wt的7微米聚合物珠(78462，sigma aldrich))的去离子水用作分散相。所有流体均使用压力控制器(ob1
‑
mk3，elveflow)进行驱动，流量压力范围为0至1000mbar。在装置的中间部分，由间隔区(或分离器)709提供的隔离油接合点将液滴104间隔开。相应地调节压力流以
防止生成的液滴104流入隔离油通道中。
[0120]
通过压力控制器712调整通过入口的流量压力控制液滴产生和液滴间隔。为了获得稳定生成的液滴104，通过高速照相机703捕获液滴104的图像。然后启动该系统来检测、追踪、计数液滴104并利用分类器710将它们分类为不包含、包含单个或多个微粒。接着通过促动器711的电驱动，单个微粒的液滴被分拣。图7的红色插图表示分拣区域的放大视图，其中单个微粒的液滴被引入分拣通道而其他液滴进入废弃通道。
[0121]
使用促动器711对液滴104进行分拣是通过直流电场进行的。电极通道用铟合金(indium corporation，美国)填充来产生直流电场。使用daq卡(国家仪器公司)产生电场，该卡在5v下以25000hz的频率发送方波到分拣电极，然后由高压放大器(623b trek)放大1000倍。整个分拣过程大约需要不到1毫秒。
[0122]
图像处理
[0123]
图8显示了微流体装置704的流体通道读取器的外形尺寸。该装置的总高度约为52μm。
[0124]
该装置704通过订制的计算机(intel i7 6850k cpu,128gb ram)，在配有高速照相机(cp90
‑4‑
m
‑
500,optronis)的倒置显微镜(nikon ti
‑
e,日本)下，用感应器702来观察。用10倍物镜放大倍率观察液滴(plan flour nikon)。在2304
*
452像素的分辨率以每秒1000帧捕获图像。捕获的图像通过coaxpress连接(cx
‑
304
‑1‑
sos os,optronis)从照相机传送到与计算机连接的帧抓捕器(vq8
‑
cxp6d,silicon software me5 ironman)。帧抓捕器从照相机捕获图像后，通过直接存储器访问(dma)控制器逐行传输图像到计算机ram。传输每张图像的过程花费约1ms，确保有足够的时间来图像处理。控制器708一旦完成图像处理和液滴分类，所述控制器计算机发生一个信号给daq，来控制液滴分拣行为。
[0125]
所述系统700包含关键的人工智能功能，使分类器710能自动实时处理液滴图像。利用计算机视觉库opencv以c++开发软件。所述软件包含一个框架，采用计算机视图、机器学习和多线程路径来处理捕获的视频序列。这个框架包括三个关键组分，即：液滴识别、液滴分拣和同步。
[0126]
转到图9，对于每一个捕获的视频帧，首先所述系统700通过提取目标区域(roi)902加工为二值化图像900，该目标区域定义了一个矩形窗口，仅包含通道边界内的液滴并去除噪音背景。为了确定roi窗口902的宽度，拐点位于通道内。为了评估roi902的顶部和底部边界位置，图像被投影在水平方向。然后提取投影柱状图的局部最大值作为通道边界的位置。还显示了液滴104的参数904。
[0127]
转到图10，在roi902内进行液滴识别1000，其包括两个任务：即液滴追踪1002和液滴分类1004。
[0128]
因为液滴104是圆形的，在液滴追踪1002过程中，该系统700利用弗霍夫(hough)变换来检测液滴的圆形边界。霍夫(hough)变换是计算机视觉中的一种特征提取。霍夫(hough)变换通过投票程序发现某种形状类别，这在形状的参数距离时已经完成。原则是将以下方程式拟合于从图像检测到的映射边界图：
[0129]
(x
‑
xo)2+(y
‑
yo)2＝r2[0130]
其中x和y是靶标圆上的坐标点，(xo,yo)是原点，r是圆半径。
[0131]
所述hough转换通过搜寻累加空间中局部最大值来找到所有可能的(xo,yo)。因为
以前能轻松的确定微液滴104的半径，如通过控制在微流体系统700中微液滴104的大小，实际上，所述系统700直接指定了半径，来减小运算成本。
[0132]
当每一个具有完整边界的液滴104进入roi902时，被指定了一个独特的追踪id(标识符)。由于以高帧频捕获图像，因此用一个阈值控制液滴104的速度，那样液滴104在相邻帧间的游动距离小于在两个相邻液滴104的距离。这允许计算两个相邻帧中液滴104间的距离，以追踪液滴的移动和游动速度。这又被用于评估液滴104何时将移动到分拣位置。
[0133]
随着液滴104的检测，下一个步骤是确定液滴是否包含微粒，包含一个微粒或多个微粒，那样它们能进行正确的分拣。为了达到这个目的，从图像900裁切出所述液滴区域902。裁切的液滴区域902被标准化为相同大小(50x50像素)的正方形图像块。然后每一个图块被转换为特征向量。输入这些向量形成分类器。对于特征提取，首先去除每一个液滴104的圆形边界，因为边界对于所有液滴都是普遍的，并没有包含有区别的信息。然后重新恢复图块里所有剩余的有连接的黑色像素。这些连接的像素对应于物体的存在，例如微粒、噪音和未完成的移动边界。所述系统700测量了每一个物体的面积、高度和宽度。该物体根据其面积被分拣。前10个物体的测量结果被串联形成30维特征向量。当液滴104中具有小于10个物体时，特征向量的其余条目被设置为零。那样能从液滴104的数量计算特征向量，形成线性支持向量机(svm)分类器的学习训练数据。然后所述训练模型用来预测新液滴的种类。要注意的是分类器的其他类型也可以训练完成预测任务。
[0134]
液滴分类1004是一种挑战任务，主要由于以下事实：当一个液滴104具有多个微粒时，微粒可能触碰液滴104的边界或相互触碰。对人类视觉来说有时候甚至把它们区分开都不是容易的事。液滴104移动的过程中微粒的位置可能改变，一个液滴104会出现在多个帧里。因此，基于每帧识别结果，系统700采用于分类器投票方案。每帧预测具有特别的液滴104类别，然后通过大多数投票跨帧来得出最终结果。这样的投票增加了液滴分类的准确性。
[0135]
分类
[0136]
一旦具有单个微粒的液滴104被确定，当液滴到达分拣器706的分拣位置时，所述系统700使用电泳力来拉动液滴104进入上游通道。成功分拣的关键在与系统同步。图像采集模块702以每秒1000帧的速度捕获图像。因此，这耗费1毫秒(ms)来产生一帧。液滴104到达分拣器706的分拣位置前，可以捕获相同液滴104的几个帧。实际帧的数量与液滴104的速度有关。这样的状况要求每一个帧在1ms内被处理。然而，处理时间标记将被延迟，滞后于抓捕帧的时间标记。随着时光流逝，延迟被积累，导致帧的损失甚至分拣系统706的失败。
[0137]
为了解决这个问题，这个实施例利用多线程技术采用一种框架来加速帧处理。该框架处理包括四个模块：捕获、处理、触发和控制。捕获模块是图像采集模块。处理模块是机器学习模块。触发和控制模块负责液滴分拣。这些线程采用多核cpu平行且独立运行，来增加处理速度。
[0138]
该系统700也包括液滴识别和分拣之间的一个缓冲时间，那样液滴104在进行分拣之前准备好继续与它的类型标记物一起移动。因为已经计算出了液滴104的速度，系统能预测什么时候它会到达分拣位置706。这允许系统700制作液滴104的队列。在这个队列中每一个液滴104具有三个属性：追踪id，类型标记和延迟时间。追踪id识别不同的液滴。类别标记指示液滴如何分拣。延迟时间控制什么时候触发电压。一旦完成分拣，液滴从队列中去除。
[0139]
一旦系统700检测微液滴104的圆形形状，根据它们图像的x轴坐标，检测到的圆按顺序被分拣。最早生成和最新生成的圆从帧的最右边排到帧的最左边，微液滴104的年龄用微液滴104的x轴坐标代替。分拣后，微液滴104按它们的年龄排列。根据手上的被分拣的x轴坐标，系统700能发现当前帧和以前的帧之间微液滴104的关系。这里我们假设液滴104的速度接近不变，如在移动中，一个新的微液滴104不能超越老的微液滴104。因此该系统700能利用这个假设来确定微液滴的追踪id。
[0140]
在控制线程中，该系统700使用daq来启动控制程序。daq进入持续时间。由于激活电极需要时间，实际执行时间约为1ms，比持续时间更长。允许触发的最长时间取决于两个相邻液滴104之间的距离和速度。在下一个液滴104到达分拣位置706时结束。否则两个液滴104受相同的触发行动的影响。这意味着对于触发长度存在上限。同时，触发长度的下限t
max
应该足够长，来拉动当前液滴104在给定的速度进入下游通道。以下的关系可以是如下的公式确定：
[0141]
d
min
(p
i
.p
i+1
)＝t
min
*v
i+1
,其中pi和p
i+1
是两个相邻的液滴，v
i+1
是p
i+1
的速度，t
min
是最小拉动时间，根据经验决定的。系统的分拣速度的限制是通过t
min
和图像采集所需的时间之和界定的。
[0142]
图11显示了系统700中的机器学习方法的实施，其包括两个阶段：离线训练1100和在线分拣1102。离线阶段1100是用标记的训练样品进行开发分类模型的训练。训练样品是从微流体装置704的视频序列检测到的液滴104，其包含不同数目的微粒。通常，推荐使用更多标记的训练样品，以实现更好的分类。
[0143]
这些标记的样品中，60％被用于最初的训练，剩余的40％被用于验证训练的分类模型。调整分类器710的参数，直到验证的准确率大于99％，系统700能可靠的用于在线阶段1102。很多机器学习方法用来开发分类器，如神经网络、决策树、bayesian分类器、增加或结合支持向量机。
[0144]
在线分拣阶段1102期间，训练模型被用来实时分类液滴104。为了接纳包含单个微粒的液滴104，开启一个电场，拉动液滴进入所需的分拣通道。对于未包含或包含多个微粒的液滴，电场保持关闭，让被拒绝的液滴104进入废弃通道。
[0145]
结果
[0146]
由于系统700需要时间来处理单个液滴104并激活分拣电场，产生的液滴104必须被分隔开。为了确定最佳的间隔距离，要考虑到一些参数如液滴大小、分拣频率和单个液滴间的距离。分两个阶段分析这个过程：即液滴产生和液滴分拣。
[0147]
图12显示了用于确定所产生液滴范围的流态图1200。最下面的蓝线1202给出了在转换为液滴产生(绿边插图1206)之前，稳定界面的压力值(蓝边插图1204)。红线1208描绘了平流起始(红边插图1210)的压力值。图12的比例尺代表100微米。黑方框点是用于随后研究隔离油影响的压力组合。
[0148]
在插图1212中重新绘制了这些压力值对应压力比p water/poil的图表，并且还给出了所生成的液滴大小的代表性图像。液滴面积在相同压力比下保持恒定。比例尺代表50um。
[0149]
当隔离油被导入时，压力控制器极限在900mbar，不使用低于400mbar的压力，因为没有液滴104产生。稳定界面和平流的值集中对抗相应的水压。绘制这些值获得如图12变绿
的区域所示的液滴产生区域1214。最大和最小的液滴大小也被测量出来，显示在图12的插图1212中。这确保在隔离油交接处没有液滴裂开，因为接合处将不会形成结块。一旦确定液滴产生区域1214，读取越过这个区域1214(图12中的黑色的点)的10个不同的点来确定液滴的频率和距离。
[0150]
液滴分拣频率通过系统反应时间和液滴104进入分拣区域706的比率决定的。系统处理和电场激活所需的时间大约分别为1ms(用计算机计时器测量)和1
±
0.5ms。增加额外3ms用于保持电场接通，拉动单个微粒液滴104进入右边通道。使用系统700中的多线程技术，系统处理才能与分拣平行运行。因此理论上分拣频率的最大值完全依赖激活电场和拉动的时间总和，约为286hz。分拣过程中液滴进入分拣电场区域的比率受分拣阶段前的隔离油喷射影响。采用100mbar至1000mbar的变化隔离油压，施加到10个选定的点。在某个点，隔离油压达到1000mbar前，停止隔离油压，因为水压不能在液
‑
油界面克服拉普拉斯(laplace)压力阈值来产生液滴。
[0151]
图13显示了在分拣器706的液滴分拣结合点观察到的隔离油压对液滴频率的关系图1300。不稳定的液滴运动区域显示为粉色，其中显示了液滴104进入隔离油通道或分拣通道。在蓝色区域1304内的点为稳定的液滴运动。该区域1304中的点对应液滴间隔形成插图1306中显示的曲线，该图显示了当大于最小间距1mm时，每个压力组合能被用于后续的液滴分拣试验。
[0152]
根据观察结果，检测到的不稳定的区域1302在图13中显示为粉色。在这个区域1302，由于低隔离油压或液滴太接近，液滴要么进入隔离油通道要么进入分拣通道。这个结果产生了假阳性和不一致的液滴间隔距离，使得液滴分拣的特征不可用。在蓝色区域1304，产生的液滴是单分散相，具有规律的液滴间隔。因此这些液滴适用于液滴分拣器706的液滴分拣。因为系统限制设置为286hz，亮蓝色区域1308显示了压力控制器712的设置。图13的插图1306突出了在亮蓝区域1308内不同数据点的液滴间隔。液滴间隔是同样关键的，因为液滴104需要相距最小的间隔距离。这防止分拣机器706在驱动时影响后续的液滴104，导致假阳性结果。这被包括在图13的插图1306中。因此这些限制，在插图1306中的亮蓝区域1308突出显示了适用于以下分拣试验的有用的点的列表。
[0153]
在第一个实验中，当液滴频率随着分类改变时，计算分类、投票和分拣的准确率。3个帧的结果被用于投票。液滴频率指每秒产生的液滴数量。在该实验中，1000fps每次运行10000帧，中间的1000帧被用于测试，因为他们是最稳定的帧。然后计算每个准确率的平均值和标准差。结果如图14所示。
[0154]
该系统700能以270hz的最大频率处理液滴104。在一些情况下，分类准确率不高。这主要是由于液滴104中的微粒触碰了液滴104的边界，使它很难被区分零/单个或单个/多个微粒。这个问题通过投票策略被很好的解决了，这提高了分类结果。最终分拣准确率与投票结果有关，但见证到性能下降。总的来说，投票准确率高于分类准确率，而分拣准确率位于分类和投票结果之间。在260hz频率中，该系统实现了98.85％准确率的最好结果。
[0155]
进行的第二个实验用于分析投票策略的作用。给出220hz的固定液滴频率，该系统700分别从3、5和7帧投票来检测。结果如图15所示。无论采用哪个投票选项，投票准确率高于分类准确率。这再次证明分类投票的有效性。在这个实验中，使用7帧进行投票产生了94.53％的准确率最好分拣结果。考虑到这个结果，该发明的系统已被证明非常强有力的，
使得单个微粒分拣应用高效。
[0156]
该实验自始至终都未在电场驱动过程中观察到液滴破裂，这说明施加的电场能力不影响液滴104。通过增加计算机处理速度或在系统700中集成现场可编程门阵列(fpga)，或使用对多重液滴库进行分类的神经网络，这些提高高频液滴分拣或高通量液滴分拣的最佳响应速度的一些改进，可以很容易的实现。直流电压也可由交流电压代替。fpga集成电路也可以被用来提供电能或驱动。
[0157]
结论
[0158]
该系统700提供了基于机器学习的实时液滴分拣。该系统700进一步提供了一种无标记、基于图像的方法，该方法利用计算机视图和机器学习来进行实时分析和分拣。液滴104被自动分拣，无需标记或使用干扰系统或下游试验的添加物。通过试验确定了液滴产生方针，这些试验显示了各种流量压力对液滴分拣频率的影响。其次，在线试验之前，已对分类器模型进行了离线训练和验证。在260hz下从1000帧的连续流中分拣液滴，达到98.85％的高准确率。这样有效地分拣液滴的能力对于未来的生物医学应用特别是单细胞分析具有很高的价值。
[0159]
本领域技术人员将理解，可以在不脱离本发明的范围的情况下做出许多实施例和变型。
[0160]
涉及微流体液滴104的优选的实施例也可应用于微气泡。
[0161]
优选实施例中的分拣器706使用电驱动。在其他实施例中，分拣器可以根据以下一种或多种进行操作：水动力学，气动，电动，介电泳，磁和热原理。
[0162]
根据法规，针对结构或方法特征已经用语言或多或少地的描述了本发明。应当理解，本发明不限于所示出或描述的特定特征，因为本文所述的方法包括使本发明生效的优选形式。
[0163]
在整个说明书中，对“一个实施例”或“一个实施例”的引用是指与该实施例有关的特定特征，结构或特性的描述，被包括在本发明的至少一个实施例中。因此，在整个说明书中各处出现的短语“在一个实施例中”或“在一实施例中”不一定都指同一实施例。此外，可以以任何合适的方式以一种或多种组合来组合特定特征，结构或特性。