用于处理具有传感器相关噪声的成像数据的技术的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请按照35U.S.C. § 119(e)要求于2013年3月15日提交的美国临时申请号 No. 61/786, 796的权益，本申请的内容在法律允许的最大范围内通过引用合并到本文中。
技术领域
[0003] 在本文中描述的技术总体上设及图像处理。一些实施方式设及对被传感器相关噪 声所污染的成像数据进行处理。
【背景技术】
[0004] 互补金属氧化物半导体（CM0巧相机将光信号（例如，可见光）转换成电信号，该 电信号可W被处理W形成图像或确定被成像区域的属性。CMOS相机通常包括像素传感器的 阵列（"像素"），每个像素传感器包括用于将光信号转换成电信号的光敏区域W及用于对 转换后的电信号进行放大和/或所转换的电信号提供给数据处理部件的读出结构。
[0005] CMOS相机可朗尋一些噪声引入与被成像区域对应的电信号。由CMOS相机引入的 一种类型的噪声是"读出噪声"。指代由相机的读出电路（例如，放大电路，模拟至数字转换 电路W及将像素的信号禪合至数据处理部件的电路）引入的噪声的读出噪声还可W被建 模为具有高斯概率分布的随机变量。读出噪声被认为是"像素相关的"，运是因为CMOS相机 的读出噪声的特性可W根据像素而变化。
[0006] 由CMOS相机引入的另一种类型的噪声是"光子散粒噪声"或"散粒噪声"。散粒噪 声由光子检测处理而产生，并且在当入射在像素的光敏区域上的光子的数目较小（例如， 在低光条件下）时散粒噪声可能是显著的，散粒噪声可W被建模为具有泊松分布的随机变 量。散粒噪声取决于入射光子的数目并且因而与输入信号相关联。
[0007] 一些定量成像技术（例如单分子定位技术（例如，基于定位的纳米显微技术和/ 或单粒子追踪））依赖于对单个分子的准确且精确的定位。仅作为一个示例，单分子开关纳 米显微（SMSN)技术用于通过随机地接通或关断单个分子来对单个分子进行定位（例如，W 约IOnm的量级的精度）。可W记录分子的闪烁子集的多个相机帖（例如，数百个、数千个或 者甚至数万个相机帖）W获得具有约25nm至40nm的分辨率的单个图像。运样的图像的时 间和空间分辨率受限于若干个因素，所述若干个因素包括每一帖由单个分子所发射的光子 的数目、相机的敏感度（例如，量子效率）W及相机的读出速度。
【发明内容】
[0008] 根据本公开内容的方面，提供了一种处理器实现的成像方法，所述成像方法包括： 获取由至少第一传感器元件和第二传感器元件获得的并且与被成像区域对应的成像数据； W及使用处理器来使参数化模型适合于所述成像数据。该参数化模型包括：由第一传感器 元件在由第一传感器元件获得的成像数据的第一部分中生成的噪声的第一传感器相关模 型；W及由第二传感器元件在由第二传感器元件获得的成像数据的第二部分中生成的噪声 的第二传感器相关模型。第一传感器相关噪声模型与第二传感器相关噪声模型至少部分不 同。
[0009] 在一些实施方式中，使参数化模型适合于成像数据包括：使用统计估算来使参数 化模型适合于成像数据。
[0010] 在一些实施方式中，成像方法还包括：确定第一传感器相关噪声模型和第二传感 器相关噪声模型中的每一个的一个或更多个相应参数的一个或更多个值；W及使用第一传 感器相关噪声模型和第二传感器相关噪声模型中的每一个的至少一个参数值来识别成像 数据的至少一个子集W进行进一步处理，其中，使用统计估算来使参数化模型适合于成像 数据包括：估算参数化模型的一个或更多个相应参数的一个或更多个值；W及利用相应的 所估算出的一个或更多个值来表征成像数据的至少一个子集与具有一个或更多个参数的 参数化模型之间的适合度。
[0011] 在一些实施方式中，使用统计估算来使参数化模型适合于成像数据包括：使用最 大似然估算（ML巧来使参数化模型适合于成像数据，W及，表征成像数据的至少一个子集 与参数化模型之间的适合度包括：使用第一噪声模型和第二噪声模型来确定对数似然比和 /或来确定克拉默-拉奥下限（CRLB)。
[0012] 在一些实施方式中，使用MLE来使参数化模型适合于成像数据包括：根据下述表 达式来估算一个或更多个相应参数0的一个或更多个值：
[0013] 資==射沒^腿f.....权哈===f识Oi)/CJi VOTi/gf]\ui(9)>bg, VOTu
[0014] 其中，Di是像素i的观测模拟至数字单元（ADU)计数，U1是像素i的期望光电子 的数目，gi是像素i的放大增益，O1是像素i的读出噪声的偏移量，var1是像素i的读出噪 声的方差，并且bg是像素i的期望背景ADU计数。
[0015] 在一些实施方式中，使用统计估算来使参数化模型适合于成像数据包括：将第一 传感器相关噪声模型与参数相关光子散粒噪声模型结合，W获取与第一传感器对应的成像 数据的第一部分中的传感器相关噪声和光子散粒噪声的估算值；W及将第二传感器相关噪 声模型与参数相关光子散粒噪声模型结合，W获取与第二传感器对应的成像数据的第二部 分中的传感器相关噪声和光子散粒噪声的估算值，其中，参数相关光子散粒噪声模型至少 部分地取决于参数化模型的一个或更多个估算出的参数值。
[0016] 在一些实施方式中，将第一传感器相关噪声模型与参数相关光子散粒噪声模型结 合包括：确定第一传感器相关噪声模型与参数相关光子散粒噪声模型的卷积。
[0017] 在一些实施方式中，将第一传感器相关噪声模型与参数相关光子散粒噪声模型结 合包括：对第一传感器相关噪声模型与参数相关光子散粒噪声模型的卷积进行解析性近 似。
[0018] 在一些实施方式中，对第一传感器相关噪声模型与参数相关光子散粒噪声模型的 卷积进行解析性近似包括：使用包括eIAX项的表达式来对像素i的ADU计数的概率分布 Pi(X)进行解析地近似。
[0019] 在一些实施方式中，像素i的ADU计数的概率分布通过下述表达式来给出：
[0020]
[0021] 其中，Di是像素i的观测ADU计数，Ui是像素i的期望光电子的数目，gi是像素i的放大增益，〇1是像素i的读出噪声的偏移量，var1是像素i的读出噪声的方差，W及 V(X) ^
[0022] 在一些实施方式中，使用第一传感器相关噪声模型和第二传感器相关噪声模型的 至少一个参数值来识别成像数据的至少一个子集W进行进一步处理包括：使用第一传感器 相关噪声模型的一个或更多个参数值来对由第一传感器获得的成像数据的第一部分中的 噪声进行滤波，并且使用第二传感器相关噪声模型的一个或更多个参数值来对由第二传感 器获得的成像数据的第二部分中的噪声进行滤波。
[0023] 在一些实施方式中，使用第一传感器相关噪声模型的一个或更多个参数值来对成 像数据的第一部分中的噪声进行滤波包括：使用通过下述表达式定义的滤波核对成像数据 的第一部分进行滤波：
[0024]
[00巧]其中，Di是像素i的观测ADU计数，g1是像素i的放大增益，O1是像素i的读出噪 声的偏移量，vari是像素i的读出噪声的方差，n是核尺寸，并且C"。是包括像素i的核区 域。 阳0%] 在一些实施方式中，估算参数化模型的一个或更多个相应参数的一个或更多个值 包括：估算一个或更多个相应分子和/或粒子的一个或更多个位置。
[0027] 在一些实施方式中，成像方法还包括：使用成像数据和一个或更多个相应参数的 一个或更多个估算出的值来执行分子定位，粒子追踪和/或超分辨率显微技术。
[0028] 在一些实施方式中，成像方法还包括：至少使用第一传感器元件和第二传感器元 件来获得成像数据，其中，至少使用第一传感器元件和第二传感器元件来获得成像数据包 括：使用至少第一像素和第二像素来获得成像数据，并且其中，第一像素和第二像素中的每 一个包括半导体的光敏区域和半导体的被配置成从像素中读出数据的部分。
[0029] 在一些实施方式中，使用至少第一像素和第二像素来获得成像数据包括：使用至 少第一CMOS像素和第二CMOS像素来获得成像数据。
[0030] 在一些实施方式中，使用至少第一像素和第二像素来获得成像数据包括：使用至 少第一sCMOS像素和第二sCMOS像素来获得成像数据。
[0031] 在一些实施方式中，成像方法还包括：确定第一传感器相关噪声模型和第二传感 器相关噪声模型中的每一个的一个或更多个相应参数的一个或更多个值，其中，第一传感 器相关噪声模型的一个或更多个像素值与第二传感器相关噪声模型的一个或更多个像素 值至少部分不同。
[0032] 在一些实施方式中，第一传感器相关噪声模型和第二传感器相关噪声模型中的每 一个包括高斯概率分布函数，并且确定第一传感器相关噪声模型和第二传感器相关噪声模 型中的每一个的一个或更多个参数值包括：确定由第一传感器元件生成的噪声的偏移量、 由第一传感器元件生成的噪声的方差和/或第一传感器元件的增益，作为第一传感器相关 噪声模型的高斯概率分布函数的一个或更多个参数值；W及确定由第二传感器元件生成的 噪声的偏移量、由第二传感器元件生成的噪声的方差和/或第二传感器元件的增益，作为 第二传感器相关噪声模型的高斯概率分布函数的一个或更多个参数值。
[0033] 根据本公开内容的方面，提供了一种成像装置，该成像装置包括：一个或更多个处 理电路；W及存储处理器可执行指令的至少一个计算机可读存储介质，当所述处理器可执 行指令由一个或更多个处理电路来执行时，使成像装置执行方法。该方法包括：获取由至少 第一传感器元件和第二传感器元件获得的并且与被成像区域的对应的成像数据；W及使参 数化模型适合于成像数据。该参数化模型包括：由第一传感器元件在由第一传感器元件获 得的成像数据的第一部分中生成的噪声的第一传感器相关模型；W及由第二传感器元件在 由第二传感器元件获得的成像数据的第二部分中生成的噪声的第二传感器相关模型，第一 传感器相关噪声模型与第二传感器相关噪声模型至少部分不同。
[0034] 在一些实施方式中，使参数化模型适合于成像数据包括：使用统计估算来使参数 化模型适合于成像数据。
[0035] 在一些实施方式中，该方法还包括：确定第一传感器相关噪声模型和第二传感器 相关噪声模型中的每一个的一个或更多个相应参数的一个或更多个值；W及使用第一传感 器相关噪声模型和第二传感器相关噪声模型中的每一个的至少一个参数值来识别成像数 据的至少一个子集W进行进一步处理，其中，使用统计估算来使参数化模型适合于成像数 据包括：估算参数化模型的一个或更多个相应参数的一个或更多个值；W及利用相应的所 估算出的一个或更多个值来表征成像数据的至少一个子集与具有一个或更多个参数的参 数化模型之间的适合度。
[0036] 在一些实施方式中，方法还包括：确定第一传感器相关噪声模型和第二传感器相 关噪声模型中的每一个的一个或更多个相应参数的一个或更多个值，并且第一传感器相关 噪声模型的一个或更多个参数值与第二传感器相关噪声模型的一个或更多个参数值至少 部分不同。
[0037] 在一些实施方式中，第一传感器相关噪声模型和第二传感器相关噪声模型中的每 一个包括高斯概率分布函数，并且确定第一传感器相关噪声模型和第二传感器相关噪声模 型中的每一个的一个或更多个参数值包括：确定由第一传感器元件生成的噪声的偏移量、 由第一传感器元件生成的噪声的方差和/或第一传感器元件的增益，作为第一传感器相关 噪声模型的高斯概率分布函数的一个或更多个参数值；W及确定由第二传感器元件