压缩z-堆叠显微镜图像的方法和装置制造方法
【专利摘要】一种压缩Z-堆叠显微镜图像的方法和装置，包含压缩图像的原始Z-堆叠的全焦点图像和深度图表示，计算作为根据全焦点图像和深度图所生成的模拟Z-堆叠和原始Z-堆叠之间的差别的预测残差，以及将预测残差与压缩的全焦点图像和深度图连接，以产生最终压缩文件。
【专利说明】压缩Z-堆叠显微镜图像的方法和装置
【技术领域】
[0001]本发明的实施例总体上涉及数字显微镜，并且更具体地涉及压缩Z-堆叠数字显微镜图像的方法和装置。
【背景技术】
[0002]数字显微镜在不同的深度处对标本进行成像，以创建一系列数字图像。每个图像表示特定焦深处的一部分标本。因此，在特定深度，仅仅聚焦整个标本的一小部分。该一系列数字图像沿着与深度对应的Z轴方向堆叠(被称为Z-堆叠(Z-Stack) )。Z-堆叠中的每个图像聚焦在所捕获标本的不同深度处。数字显微镜的光学器件使用非常狭小的视场深度，小到不能通过单个图片捕获所聚焦的整个标本。因此，Z-堆叠中的所有图像是同一个标本的，但每个图像具有不同的焦点。
[0003]Z-堆叠通常是具有高分辨率的大尺寸数据集，其对Z-堆叠的存储或传输提出了高带宽要求。例如，在多个应用中，图像的数量是15、30或者50，每一个具有大约100000像素乘100000像素的空间分辨率，其对Z-堆叠的存储或传输提出了高带宽要求。
[0004]根据某些压缩Z-堆叠的常规方法，单独地压缩Z-堆叠中的各数字图像。尽管易于实现，但这种压缩Z-堆叠的方法产生大的数据文件。由于数据文件的大尺寸，所以在通过带宽受约束(或者带宽受限)的通道查看Z-堆叠时具有延迟。在该领域还使用视频压缩技术，然而由于Z-堆叠图像的逐帧表示，视频压缩延迟了数据的查看。
[0005]因此，需要用于压缩显微镜图像的Z-堆叠的方法和装置。
【发明内容】
[0006]一种压缩Z-堆叠显微镜图像的装置和/或方法，在至少一个附图中得到充分展示和/或结合至少一个附图得到充分描述，并在权利要求中得到更加完整地描述。
[0007]本公开的各种优点、方面和创新特征，及其示例性实施例的细节，将从下面的描述和附图中得到更充分的理解。
【专利附图】
【附图说明】
[0008]为了可以详细地理解本发明的上述特征，可参考实施例(部分实施例如附图中所示)来为上文所简单概述的本发明提供更加具体的描述。然而，应注意到，附图仅仅例示了本发明的典型实施例，因而不应当被认为对本发明的范围进行了限定，因为本发明可允许其它同等有效的实施例。
[0009]图1描述了根据本发明示例性实施例的使用数字显微镜处理显微镜中的图像的装置的框图；
[0010]图2描述了根据本发明示例性实施例的Z-堆叠示例；
[0011]图3描述了根据本发明示例性实施例的图2中数字图像的五个单独片段；
[0012]图4描述了图2和图3中所示的快照的全焦点图像(all-focus image)和深度图(depth-map)的示例；
[0013]图5是根据本发明示例性实施例的压缩Z-堆叠显微镜图像的方法500的流程图；
[0014]图6描述了根据本发明示例性实施例的Z-堆叠(顶部)中的三幅图像，以及模拟Z-堆叠中对应的三幅图像；
[0015]图7描述了根据本发明示例性实施例的Z-堆叠的编码器和解码器的结构；
[0016]图8描述了根据本发明示例性实施例的渐进压缩的Z-堆叠的布局的示意图；
[0017]图9描述了根据本发明示例性实施例的展示在查看全焦点图像中的延迟的时序图；以及
[0018]图10描述了根据本发明示例性实施例的在缺少完整下载的Z-堆叠的情况下Z-堆叠针对查看的可用性。
【具体实施方式】
[0019]本申请所公开的是一种压缩显微镜Z-堆叠图像的装置和/或方法，在至少一个附图中得到充分展示和/或结合至少一个附图得到充分描述，并在权利要求中得到更加完整地描述。根据本发明的一个实施例，根据诸如JPEG、JPEG-LS和JPEG2000 (尽管很多其它可能的方法可以同样工作)的本领域技术人员所已知的方法压缩标本的全焦点图像和深度
图。如共同转让并且相关的待审未决的美国专利申请_ (于_提交，代理
编号#201003832 (“3832”))所描述的那样，根据Z-堆叠模拟视场的深度来产生模拟Z-堆叠。从原始Z-堆叠中减去近似/模拟Z-堆叠以获得预测残差(prediction residual),并且接着与全焦点图像类似地压缩预测残差。将压缩的预测残差与全焦点图像和深度图串联(concatenate)成一个文件，以产生最终压缩结果。
[0020]图1描述了根据本发明示例性实施例的使用数字显微镜102压缩Z-堆叠显微镜图像的装置100的框图。
[0021]数字显微镜102在不同深度处捕获标本的数字图像，以创建一系列图像。数字显微镜102在不同深度处对标本进行成像，以创建该一系列数字图像。出于例示的目的，通过以下表达式A:1 (X，y, ζ)来表示该一系列数字图像,其中(X，y)是x=0至X-1以及y=0至Y-1的空间索引(spatial index), ζ是z=0至Z-1的深度索引[表达式Α]。
[0022]在特定实施例中，数字显微镜102耦接计算设备104。在其他实施例中，通过显微镜102创建一堆图像并且例如经由记忆棒、光盘、网络连接等将图像传输到计算设备104。
[0023]计算设备104包含中央处理器(或者CPU) 106、配套电路(support circuit) 108、存储器110和I/O设备112。CPU106可以包含一个或多个有助于数据处理和存储的可商业获得的微处理器或者微控制器。各种配套电路108有助于CPU106的运行并且包括一个或多个时钟电路、电源、缓存、输入/输出电路等等。存储器110包含只读存储器(ROM)、随机访问存储器(RAM)、磁盘驱动存储、光存储、可移除存储和/或类似物中的至少一个。
[0024]存储器110包含操作系统(OS) 114和图像处理模块116。图像处理模块116有助于使用数字显微镜102所捕获的标本的一系列图像的压缩和渐进传输。图像处理模块116包含视场深度(DOF)模拟模块118、全焦点图像生成器120、深度图生成器122和编解码器(或者编码器解码器模块)124。
[0025]DOF模拟模块118模拟使用数字显微镜102所捕获的标本的一系列图像。DOF模拟模块118通过向全焦点图像的每个像素应用点扩散函数(PSF)操作并且根据深度图所决定的每个像素的深度向每个像素应用模糊函数，来生成该一系列图像的低带宽近似(approximation)。具体地,DOF模拟模块118通过向全焦点图像应用取决于深度的失焦模糊(out-of-focus blur)来对该一系列图像进行近似,从而在浏览中通过该一系列图像给予用户对标本深度的感知，以在没有实际存储Z-堆叠中的完整的一系列图像的情况下通过图像的Z-堆叠来模拟滚动功能。
[0026]全焦点图像生成器120根据本发明的原理生成全焦点图像。深度图生成器122生成深度图。编解码器124基于来自所近似的一系列图像的预测来应用残差编码，从而促进压缩。
[0027]如在此使用的那样，术语“全焦点图像”是指从三维渐渐变为二维时标本的一系列图像的Z-堆叠的减小，从而结果包含所聚焦的整个标本，S卩，消除了失焦信息。如共同转让
的美国专利申请_ (于_提交，代理编号#201003513.01 (“3513”)，其全部
内容在此通过引用而被并入)所描述的那样，通过根据特定量度对每个图像进行加权并且因此组合所加权的图像来形成全焦点图像。
[0028]全焦点图像是在没有失焦模糊的情况下每个焦深处聚焦的Z-堆叠中的图像的各个部分的合成。通过以下表达式B =100(Xj)[表达式B]来表示全焦点图像。为了确定全焦点图像，深度图生成器120生成在每个像素处的深度，以指示Z-堆叠的哪幅图像具有该像素处的最佳焦点，其中每个像素的深度形成深度图。通过以下表达式C:d(x, y)[表达式C]来表示深度图。
[0029]图2描述了通过数字显微镜102生成的示例性Z-堆叠200。Z-堆叠中的每个图像聚焦在标本的不同深度处。数字显微镜102在不同的焦深处捕获标本的数字图像，以创建一系列图像。因此，焦深沿着标本的深度递增，以在至少一个数字图像中捕获所聚焦的整个标本。沿着与深度对应的Z维度堆叠该一系列数字图像。
[0030]图3描述了根据本发明示例性实施例的图2中所示的Z-堆叠200的五幅单独图像。图3例示了图像300、302、304、306和308，每幅处于不同的Z深度。例如，当数字显微镜的用户初始查看标本的幻灯片时，图像302出现。如果用户希望将焦点调整为不同的Z深度，则图像304出现，依此类推，形成图2中所示的Z-堆叠200。
[0031]在某些应用中，Z-堆叠中存在大量的图像，例如15、30或者50。这对于Z-堆叠的存储和传输提出了高带宽要求。图4显示了根据本发明的某些实施例的用于产生深度图的示例性处理结果。原始数据集(即，Z-堆叠)包含例如50幅图像，图2和图3中显示了其中的几幅。在图4中，图像400是全焦点图像，而图像402是在每个像素处计算的深度图，以指示Z-堆叠中的哪幅图像具有该像素处的最佳焦点。深度图使得DOF模拟模块118能够确定针对标本图像的特定像素或者区域显示哪个Z-堆叠图像。
[0032]在特定实施例中，全焦点图像是原始Z-堆叠数据的合适替换。然而，在很多方案中，用户需要基于失焦和取决于深度的模糊来理解Z-堆叠数据。而Z-堆叠的存储和传输仍然是个问题。Z-堆叠数据的大尺寸常常占用了存储系统中过多的磁盘空间，并且提出了带宽限制。Z-堆叠数据的大尺寸和带宽限制导致了 Z-堆叠数据查看中明显的和令人反感的延迟。
[0033]图5是根据本发明示例性实施例的压缩Z-堆叠显微镜图像的方法500的流程图。[0034]方法500是由CPU106执行的图像处理模块116的示例性实现。图像处理模块116包含DOF模拟模块118、全焦点生成器120、深度图生成器122和编解码器(或者编码器解码器模块)124。
[0035]方法500开始于步骤502并且前进到步骤504。在步骤504，方法500压缩使用显微镜102所捕获的Z-堆叠中图像的全焦点图像和深度图。根据相关的、共同待审未决的3515申请，基于Z-堆叠图像生成全焦点图像和深度图。
[0036]接下来，方法前进到步骤506，其中编解码器124计算预测残差。通过从原始Z-堆叠图像中减去Z-堆叠的模拟来计算预测残差。如上所述，在3832申请中描述了 Z-堆叠的模拟或者近似。在从原始Z-堆叠中减去模拟Z-堆叠之后，剩下了预测残差。根据一个示例性实施例，以逐个像素差别为基础执行该减法。
[0037]在步骤508，图像处理模块116将所压缩的全焦点图像、深度图和预测残差组合为最终压缩结果。最终压缩结果包含一旦将该结果传输到远程计算机系统或类似物时重建原始Z-堆叠所需的数据。方法500结束于步骤510。
[0038]图6描述了 Z-堆叠中的三幅图像，和模拟Z-堆叠中对应的三幅图像。如图6所示，快照矩阵的第一行包含来自原始Z-堆叠的多幅图像，并且第二行显示了使用3832申请中用于模拟显微镜中的DOF的方法的对应模拟图像。通过DOF模拟模块118实现模拟DOF的方法。模拟DOF的方法包含使用由深度图生成器122生成的深度图和由全焦点图像生成器120生成的全焦点图像对显微镜102所捕获的一系列图像进行近似。
[0039]如图6所示，原始Z-堆叠和模拟图像在视觉上相似。左列和右列是数据集的两端，并且显示了大量的失焦模糊。在右列中，存在一个处于焦点中的小圆形物体。在中间列中，存在多个处于焦点中的区域和失焦的其它区域。在所有的情况中，针对聚焦区域和所模糊的失焦区域，模拟Z-堆叠提供了与原始Z-堆叠的良好匹配。从图6中显而易见的是，模拟和原始Z-堆叠之间的相似性提供了压缩和传输显微镜图像的基础。
[0040]根据压缩图像和图像系列的常用方法，创建近似原始数据(S卩，图像系列)的有效预测。在从原始数据中减去预测之后，差别(或者预测残差)具有较低的熵(entropy)并且以较少的位对该差别进行压缩。在涉及使用低带宽全焦点图像和深度图来近似Z-堆叠的特定情形中，近似Z-堆叠和原始Z-堆叠之间的残差具有比原始Z-堆叠更低的熵，因而由更少的位来表示。在特定其他情形中，在以后台处理的方式将预测残差的数据传输到远程客户端的同时，由于近似Z-堆叠的即时可用性和可访问性，在远程客户端上的Z-堆叠查看中出现延迟减小的感知。
[0041]图7显示了 Z-堆叠的编码器700和解码器702的结构。在特定实施例中，通过改进图像的DOF的方法(即，视场的扩展深度(EDOF) 706)来分析由表达式A:1 (x，y, ζ)[表达式Α]所表示的输入Z-堆叠704，以产生全焦点图像和深度图。基于本发明的原理，改进DOF的方法包含组合从不同焦距所捕获的图像系列来形成单个全焦点图像。
[0042]在特定实施例中，本发明的一个方面是如3832申请中所述的DOF模拟的使用。模拟显微镜成像中的DOF的方法包含使用深度图和全焦点图像对由显微镜所捕获的一系列图像进行近似。DOF模拟模块118将全焦点图像和对应的深度图作为输入并且产生具有模拟视场深度的图像，其对原始Z-堆叠的外观进行近似而减小所传输的数据文件的大小。DOF模拟模块118的输出(即，模拟Z-堆叠)被用作使用编码器对Z-堆叠进行编码的预测。模拟Z-堆叠用以作为原始Z-堆叠的低带宽近似，其可以被用来渐进地传输Z-堆叠，从而最小化所能察觉到的用户延迟。
[0043]组合从不同焦距所捕获的一系列图像来形成单个全焦点图像的步骤包含计算每个像素处的聚焦量度、基于聚焦量度查找全焦点像素的多个候选值以及根据聚焦度量将候选值组合在一块以确定最终全焦点图像。组合每个像素的聚焦度量以形成深度图。
[0044]在块708，根据本领域技术人员通常所知的方法(例如，JPEG、JPEG-LS和JPEG2000，尽管很多其它可能的方法可以同样工作)压缩全焦点图像和深度图。为了用作预测，在块710解压缩由表达式D和E =100 (X，y)[表达式D]和d(x，y)[表达式E]所表示的全焦点图像和深度图的压缩版本。如图7中所示，通过表达式F和G (x，y)[表达式F]和d’ (x, y)表达式G表示全焦点图像和深度图的解压缩版本。此处和其它地方的撇符号(’)指示由作为上标的撇符号所标记的数量可以因为有损压缩而不同于原始数量。如图7中所示，在块712 (“模拟Z-堆叠”)产生由表达式H:i'Ζ(χ, y)[表达式H]所表示的模拟Z-堆叠。
[0045]Z-堆叠的模拟通过DOF模拟模块118来执行。在块714处从输入Z-堆叠704中减去模拟Z-堆叠714来形成由表达式1:r (x, y, ζ)[表达式I]所表示的预测残差。接下来，在块716对预测残差进行压缩并且在块718将预测残差与压缩的全焦点图像和深度图(由表达式D和E来表示)进行组合来形成Z-堆叠的最终压缩表示。根据示例性实施例，压缩方法(其中)包括 JPEG、JPEG2000、无损 JPEG (JPEG-LS)、H.264、MPEG-4、MPEG-2 和诸如基于3-D SPIHT小波编码的3-D图像编码方法。为了解码所压缩的Z-堆叠，首先在块720分割I的(x, y)和d(x，y)的压缩版本，并且在块722和724对其进行解压缩以产生1、(x，y)和d’ (x, y)(其由模拟块725用来形成Z-堆叠近似I’Z(x，y))。在块726将该近似与所解压缩的Z-堆叠残差r’(X，y, ζ)相加来形成最终解码的Z-堆叠I’ (x, y, z)728。
[0046]尽管图7中未明确显示，但附加信息是执行Z-堆叠的模拟所必需的。特别是，编码器必需指示描述取决于深度的失焦模糊强度有多大的参数，并且在压缩的比特流中存储这些参数。这些参数由EDOF块706来确定。
[0047]如图6中所示，模拟Z-堆叠提供原始Z-堆叠的视觉上相似的近似。在特定实施例中，模拟Z-堆叠数据有效地用于原始Z-堆叠的渐进表示。渐进表示的使用是公知的，诸如因特网上的渐进式图形文件(PGF)、渐进式JPEG图像:在使用中，作为图像逐行出现的替代，整幅图像的近似快速出现以给予查看者整幅图像的快速概览；接下来，因为下载了文件的剩余部分，所以近似的质量得到改进。其效果是给予查看者更快记载时间的印象，即使下载图像所需的整体时间可能与逐行表示所需的时间相同。Z-堆叠的渐进编码以相同的方式操作。
[0048]图8显示了渐进压缩的Z-堆叠的高级布局的表示800。如图8中所示，对Z-堆叠进行近似所需的表示(由表达式D和E:1 ? (X，y)[表达式D]和d(x, y)[表达式E]所表示的全焦点图像和深度图的压缩版本)实质上需要比全Z-堆叠所需的更少的比特。表示800包含用于存储元数据和与存储其中的文件信息相关的数据的标头802、存储压缩的全焦点图像和深度图的部分804以及存储压缩的预测残差的部分806。
[0049]在特定实施例中，数字显微镜中的图像通常非常大，因而其压缩版本使用诸如基于分层和/或基于分片的表不的方法。在基于分层和/或基于分片的表不中，高级布局与图8中表示的区别在于整个表示被分割为多个部分，以容纳特殊表示。然而，基本模式遵循图8中的模式:Z-堆叠近似需要少量的比特，以及Z-堆叠数据的剩余部分需要更大数目的比特。标头802包含解码器用来理解数据所需的辅助信息，诸如格式、字段长度、用来存储文件的格式的指示、维度、Z-堆叠的图像数目、诸如颜色空间指示的颜色信息、或者与更多的一般光谱特性相关的信息、用来表示每个颜色样本的比特数目、执行EDOF模拟所需的参数(即，此前在[0047]段中所述的那些)和像素宽高比。
[0050]在特定实施例中，在考虑到Z-堆叠的查看者所发起的事件的计时时，图8中表示800的重要性是显而易见的。在一般情形下，查看者与源数据分隔很远，并且查看者依赖于所期望的Z-堆叠的网络传输。由于带宽约束，存在于文件传输相关联的延迟。
[0051]图9示出通过时序图显示了查看全焦点图像中的延迟。在发起查看Z-堆叠的请求之后，因为全焦点图像较低的带宽要求，用户只需等待较短的时间来查看全焦点图像。必须注意到，全焦点图像的压缩表示I’ =O(Xj)小于Z-堆叠的表示。在时间t=0，当查看者请求查看Z-堆叠时，在传输全焦点图像到查看者的同时出现短的网络延时。最终在时间tQ传递完Z-堆叠。
[0052]在很多情况下，全焦点图像是查看者所请求的全部，其中不需要传输所压缩的Z-堆叠的其它部分。然而，在其它情况下，查看者选择浏览实际Z-堆叠而不是全焦点图像；在此情况下，查看者期望在没有较长延迟的情况下沿着Z维度快速滚动。以下在图10中显示了时序。
[0053]图10显示了在缺少完整下载的Z-堆叠的情况下Z-堆叠的可用性。其因为低带宽的Z-堆叠近似而成为可能，图像在不需要传输附加比特的情况下被快速近似。在浏览近似的Z-堆叠时，图像处理模块116在后台下载完整Z-堆叠。在特定情形下，如果用户决定在单幅图像上进行分析，则图像处理模块116需要较短的延迟来完成针对图像的所需图像数据的下载。
[0054]在特定实施例中,在由表达式J[表达式J]所表示的时间,用户开始滚动或者浏览Z-堆叠。由于压缩的渐进性质，用户能够及时地看到近似的Z-堆叠。快速可用性是因为DOF模拟模块118的计算高效性，其在不需要任何附加信息的传输的情况下提供近似的Z-堆叠。用户在浏览Z-堆叠时虚拟地感知到没有延迟。在用户浏览的同时，图像处理模块116在后台开始下载Z-堆叠的解压缩的完整表示。一旦Z-堆叠的解压缩表示的完整图像可用，其被用于显示给查看者以进行浏览。在特定情形下，查看者选择特定图像以用于详细分析，如果在后台完整地下载了包含该特定图像的Z-堆叠的解压缩表示，则其可用于查看。在其它特定情形下，在查看中存在完成包含特定图像的Z-堆叠的解压缩表示的下载所需时间的额外延迟，在该时间期间，用户可以访问该特定图像的解压缩近似全焦点图像。
[0055]已经出于解释的目的而参考特定实施例描述了上述说明书。然而，上述示出的讨论不旨在穷举或将本发明限制为所公开的精确形式。鉴于上面的教导，许多修改和改变都是可行的。选择并且描述这些实施例是为了最好地解释本发明的原理及其实际应用，从而使得本领域技术人员能够最好地利用本发明和具有适合于所构想的特定用途的各种修改的各种实施例。
[0056]尽管上文涉及本发明的实施例，但在不偏离本发明的基本范围的情况下，可以设计出本发明的其它和进一步的实施例，本发明的范围由所附权利要求书确定。
【权利要求】
1.一种压缩Z-堆叠显微镜图像的方法，包含: 压缩图像的原始Z-堆叠的全焦点图像和深度图的表示； 计算作为根据所述全焦点图像和所述深度图所生成的模拟Z-堆叠和所述原始Z-堆叠之间的差别的预测残差；以及 将所述预测残差与所压缩的全焦点图像和深度图连接，以产生最终压缩文件。
2.如权利要求1所述的方法，进一步包含解码所述原始Z-堆叠的压缩表示。
3.如权利要求2所述的方法，其中所述解码进一步包含获取所述压缩的全焦点图像和对应的深度图，并且解压缩所压缩的全焦点图像和对应的深度图，以产生所解压缩的全焦点图像和对应的深度图。
4.如权利要求1所述的方法，其中使用JPEG、JPEG-LS和JPEG2000中的一种来执行所述压缩步骤。
5.如权利要求3所述的方法，进一步包含使用所解压缩的全焦点图像和对应的深度图来模拟Z-堆叠，以生成所述原始Z-堆叠的近似。
6.如权利要求5所述的方法，进一步包含将所述模拟Z-堆叠与所述预测残差相加来形成最终Z-堆叠。
7.如权利要求1所述的方法，进一步包含将用来形成所述模拟Z-堆叠的信息传输给远程客户端。
8.如权利要求7所述的方法，进一步包含在用户在所述远程客户端上查看所述模拟Z-堆叠的同时，作为后台处理来传输所述预测残差。`
9.如权利要求1所述的方法，其中使用包含模糊强度和所述模拟Z-堆叠中的图像的每个像素处的深度之间的相关性的参数来形成所述模拟Z-堆叠。
10.如权利要求9所述的方法，进一步包含在所述最终压缩文件中存储所述参数。
11.一种压缩Z-堆叠显微镜图像的装置，包含: 数字显微镜，用于在不同焦深处捕捉标本的一系列图像以形成原始Z-堆叠；以及 图像处理模块，用于对压缩所述Z-堆叠进行管理，包含: 视场深度(DOF)模拟模块，用于基于所述原始Z-堆叠生成模拟Z-堆叠； 全焦点图像生成器，用于生成所述原始Z-堆叠的全焦点图像； 深度图生成器，用于生成与所述全焦点图像对应的深度图；以及 编解码器，用于压缩所述原始Z-堆叠、计算作为所述模拟Z-堆叠和所述原始Z-堆叠之间的差别的预测残差，以及将所述预测残差与所压缩的全焦点图像和所述深度图连接来产生最终压缩文件。
12.如权利要求11所述的装置，其中所述编解码器进一步解码所述原始Z-堆叠的压缩表不。
13.如权利要求12所述的装置，其中所述编解码器进一步获取所述压缩的全焦点图像和对应的深度图，并且解压缩所压缩的全焦点图像和对应的深度图来产生所解压缩的全焦点图像和对应的深度图。
14.如权利要求11所述的装置，其中使用JPEG、JPEG-LS和JPEG2000中的一种来执行所述压缩处理。
15.如权利要求13所述的装置，其中所述编解码器进一步使用所述解压缩的全焦点图像和对应的深度图来模拟Z-堆叠，以生成所述原始Z-堆叠的近似。
16.如权利要求15所述的装置，其中所述编解码器进一步将所述模拟Z-堆叠与所述预测残差相加来形成最终Z-堆叠。
17.如权利要求11所述的装置，其中所述图像处理模块进一步将用来形成所述模拟Z-堆叠的信息传输给远程客户端。
18.如权利要求17所述的装置，其中所述图像处理模块进一步在用户在所述远程客户端上查看所述模拟Z-堆叠的同时，作为后台处理来传输所述预测残差。
19.如权利要求11所述的装置，其中所述DOF模拟模块进一步使用包含模糊强度和所述模拟Z-堆叠中的图像的每个像素处的深度之间的相关性的参数来模拟所述Z-堆叠。
20.如权利要求19所述的装置，其中所述DOF模拟模块进一步在所述最终压缩文件中存储所述参数。·
【文档编号】H04N19/587GK103581686SQ201310280579
【公开日】2014年2月12日 申请日期:2013年7月5日 优先权日:2012年7月19日
【发明者】刘明昌, M·罗伯尔森 申请人:索尼公司