本公开涉及图像输出装置、图像发送装置以及图像接收装置等。
背景技术:
以往,为了观察生物体组织等中的微构造而使用了光学显微镜。光学显微镜利用透过观察对象后的光或者反射后的光。观察者观察利用透镜放大后的像。还已知有对由显微镜的透镜放大后的像进行拍摄而在显示器上进行显示的数码显微镜。通过利用数码显微镜,能够实现多人同时观察、远程的观察等。
近年来,利用CIS(Contact Image Sensing;接触式图像感测)方式观察微构造的技术受到注目。在基于CIS方式的情况下,观察对象与图像传感器的拍摄面接近地配置。作为图像传感器,一般使用大量光电转换部在拍摄面内排列成行以及列状的二维图像传感器。光电转换部典型地是形成在半导体层或者半导体基板的光电二极管,接受入射光而生成电荷。
由图像传感器获取的图像是由大量像素规定的。各像素由包含1个光电转换部的单位区域来划分。因此,二维图像传感器的分辨能力(分辨率)通常依赖于拍摄面上的光电转换部的排列间距(pitch)。在本说明书中,有时将由光电转换部的排列间距决定的分辨能力称为图像传感器的“固有分辨能力”。由于各个光电转换部的排列间距短至可见光的波长左右,因此,难以进一步提高固有分辨能力。
已提出了实现超过图像传感器的固有分辨能力的分辨能力(即,高分辨率)的技术。专利文献1公开了以下技术:使用使被拍摄对象的成像位置移动而得的多个图像来形成该被拍摄对象的图像(即,高分辨率的图像)。
现有技术文献
专利文献1:日本特开昭62-137037号公报
技术实现要素:
但是,存在如下问题:高分辨率的图像的数据量大,该图像的发送接收或者保存等处理负担重。
本公开的非限定性地例示的一个方式是:能够减轻高分辨率图像的发送接收或者保存等处理的负担的图像输出装置、图像发送装置以及图像接收装置。本公开的一个方式的附加性的好处以及有利点根据本说明书以及附图来明确。该好处和/或有利点可以通过本说明书以及附图中公开的各种方式以及特征来单独地提供,不是为了得到其一个以上的好处和/或有利点而都是必需的。
本公开的一个方式所涉及的图像输出装置,具备:至少一个处理器;和保持命令的非暂时性记录介质,所述命令使所述至少一个处理器执行:获取第一分辨率图像,所述第一分辨率图像是基于数码显微镜的拍摄而得到的被拍摄对象的图像;获取第二分辨率图像,所述第二分辨率图像是分辨率比所述第一分辨率图像高的、基于所述数码显微镜的拍摄而得到的所述被拍摄对象的图像;受理针对显示装置所显示的所述第一分辨率图像的放大率;判定基于所受理的所述放大率的评价值是否比预定值高;在判定为所述评价值比所述预定值高的情况下,向外部装置发送所述第二分辨率图像,在判定为所述评价值不比所述预定值高的情况下,不向所述外部装置发送所述第二分辨率图像。
此外,这些总括性或者具体的方式既可以通过系统、方法、集成电路、计算机程序或者计算机可读的记录介质实现,也可以通过系统、方法、集成电路、计算机程序或者记录介质的任意的组合来实现。计算机可读的记录介质例如包含CD-ROM(Compact Disc-Read Only Memory)等非易失性的记录介质。
根据本公开,能够减轻高分辨率图像的发送接收或者保存等处理的负担。
附图说明
图1是示出包含实施方式1中的图像输出装置的图像处理系统的一例的构成图。
图2是示出实施方式1中的由显示装置显示的显示画面的一例的图。
图3是示出实施方式1中的图像输出装置的处理工作的一例的流程图。
图4是示出实施方式1中的图像输出装置的处理工作的其它例的流程图。
图5是示出包含实施方式1的变形例的图像输出装置的图像处理系统的一例的构成图。
图6是示出包含实施方式2中的图像输出装置的图像处理系统的一例的构成图。
图7是示出实施方式2中的图像发送装置以及图像接收装置的处理工作的流程图。
图8是示出包含实施方式2的变形例1的图像输出装置的图像处理系统的一例的构成图。
图9是示出实施方式2的变形例1的图像发送装置以及图像接收装置的处理工作的流程图。
图10是示出包含实施方式2的变形例2的图像输出装置的图像处理系统的一例的构成图。
图11是示出包含实施方式2的变形例2的图像发送装置以及图像接收装置的处理工作的流程图。
图12是示出包含实施方式3中的图像输出装置的图像处理系统的一例的构成图。
图13是示出包含实施方式3中的变形例1的图像输出装置的图像处理系统的一例的构成图。
图14是示出包含实施方式3中的变形例2的图像输出装置的图像处理系统的其它例的构成图。
图15A是示意性地示出被拍摄对象2的一部分的俯视图。
图15B是提取并示意性地加以示出与图15A所示的区域的拍摄相关的光电二极管的俯视图。
图16A是示意性地示出透过被拍摄对象2而入射至光电二极管4p的光线的方向的剖视图。
图16B是示意性地示出透过被拍摄对象2而入射至光电二极管4p的光线的方向的剖视图。
图16C是示意性地示出由6个光电二极管4p获取的6个像素Pa的图。
图17A是示意性地示出使光线从与图16A以及图16B所示的照射方向不同的照射方向入射的状态的剖视图。
图17B是示意性地示出使光线从与图16A以及图16B所示的照射方向不同的照射方向入射的状态的剖视图。
图17C是示意性地示出在图17A以及图17B所示的照射方向下获取的6个像素Pb的图。
图18A是示意性地示出使光线从与图16A以及图16B所示的照射方向以及图17A以及图17B所示的照射方向不同的照射方向入射的状态的剖视图。
图18B是示意性地示出使光线从与图16A以及图16B所示的照射方向以及图17A以及图17B所示的照射方向不同的照射方向入射的状态的剖视图。
图18C是示意性地示出在图18A以及图18B所示的照射方向下获取的6个像素Pc的图。
图19A是示意性地示出使光线从与图16A以及图16B所示的照射方向、图17A以及图17B所示的照射方向、以及图18A以及图18B所示的照射方向不同的照射方向入射的状态的剖视图。
图19B是示意性地示出在图19A所示的照射方向下获取的6个像素Pd的图。
图20是示出由4张子图像Sa、Sb、Sc以及Sd合成的高分辨能力图像HR的图。
图21是示意性地示出调整为通过了被拍摄对象2的相邻的2个区域的光线分别入射至不同的光电二极管的照射方向的剖视图。
图22A是示意性地示出模块的截面构造的一例的图。
图22B是示出从图像传感器4侧观察图22A所示的模块10时的外观的一例的俯视图。
图23是用于说明模块的制作方法的一例的图。
图24A是示出获取子图像时的照射角度的例子的剖视图。
图24B是示出以不同于图24A所示的照射角度的照射角度照射被拍摄对象的方法的例子的剖视图。
图25是示出本公开的实施方式的图像获取装置的构成的一例的概略图。
图26A是示出图像获取装置100a的例示性外观的立体图。
图26B是示出在图26A所示的图像获取装置100a中关闭了盖部120的状态的立体图。
图26C是示意性地示出插座(socket)130相对于图像获取装置100a的载物台32的装填方法的一例的图。
图27A是示意性地示出改变照射方向的方法的一例的图。
图27B是示意性地示出使载物台32相对于基准面倾斜角度θ时的、入射至被拍摄对象的光线的方向的变化的图。
图28是示出CCD图像传感器的截面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
图29A是示出背面照射型CMOS图像传感器的截面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
图29B是示出背面照射型CMOS图像传感器的截面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
图30是示出光电转换膜层叠型图像传感器的截面构造和被拍摄对象的相对的透射率Td的分布的例子的图。
标号说明
100S、100Sa、200S、200Sa、200Sb图像处理系统;1001、1001a、2001、2001a图像输出装置;1100、1100a、1100b图像发送装置;1101图像获取部;1102高分辨率图像获取部;1103第二输出部;1200、1200a、1200b图像接收装置;1201放大受理部;1202判定部;1203显示用输出部;1204、1204a发送部;1205第一输出部;1206评价值存储部;1500数码显微镜;1501显示装置;1502、1503记录介质
具体实施方式
(成为本发明的基础的见解)
本发明人关于“背景技术”一栏中记载的高分辨率化的技术,发现了存在以下的问题。
在使用了显微镜的病理检查中,根据成为观察对象的各个检体(也称为病理检体)的病状,使用的透镜的倍率也不同。例如在癌的检查中,首先,利用10倍的对物透镜进行观察。对于不存在怀疑是癌的可能性高的区域的检体,仅通过10倍的对物透镜的观察就使观察结束,但是如果存在怀疑是癌的可能性高的区域,则将物镜切换为40倍的透镜来进行检查。这样,与检体对应地改变透镜的放大率。由于在进行检查前无法确定是否需要高的放大率,因此,以从高放大率到低放大率的事先决定的各放大率进行检体的拍摄。
在利用数码显微镜对检体的图像进行拍摄的情况下,该图像的分辨率越高,则拍摄时间以及图像大小(size)越增大。如果由数码显微镜得到的相当于对物10倍的图像的大小为100M字节,则相当于对物40倍的图像的大小为1.6G字节。
另外,必须进行检查的病理检体的数量增加,而另一方面,病理医师的增加却赶不上病理检体的数量的增加。因此,今后,设想为远程发送作为由数码显微镜得到的图像的病理图像,由位于远程地的病理医师进行病理诊断的情况会不断增加。另外,伴随医疗整体的发达化,难以由一名病理医师进行所有的脏器或者症状的诊断。因此,会需要进行远程诊断,即将现场的病理医师难以诊断的检体的图像发送给位于远程地的具有专业知识的病理医师来进行诊断。但是,存在高分辨率的病理图像的发送需要花费时间这一问题。
为了解决这样的问题,本发明的一个方式的图像输出装置具备:图像获取部,获取第一分辨率图像,所述第一分辨率图像是基于数码显微镜的拍摄而得到的被拍摄对象的图像;高分辨率图像获取部,获取第二分辨率图像,所述第二分辨率图像是分辨率比所述第一分辨率图像高的、基于所述数码显微镜的拍摄而得到的所述被拍摄对象的图像;放大受理部,受理针对显示装置所显示的所述第一分辨率图像的放大率;判定部,判定基于由所述放大受理部受理的所述放大率的评价值是否比预定值高;以及发送部,在由所述判定部判定为所述评价值比所述预定值高的情况下,向外部装置发送所述第二分辨率图像,在由所述判定部判定为所述评价值不比所述预定值高的情况下,不向所述外部装置发送所述第二分辨率图像。
由此,仅在评价值高的情况下发送第二分辨率图像。也即是,能够仅对于有充分的诊断必要的检体(被拍摄对象),将该检体的图像以高分辨率例如向远程地发送。因此,能够抑制为了发送例如以短时间就能够诊断的那种重要度低的检体的高分辨率图像,而延迟发送具有充分的诊断必要的检体的高分辨率图像。另外,由于不进行评价值低的检体的高分辨率图像的发送,因此,能够减轻高分辨率图像的处理的负担。
另外,所述发送部也可以在由所述判定部判定为所述评价值不比所述预定值高的情况下,向所述外部装置发送所述第一分辨率图像。
由此,例如位于远程地的病理医师也能够使用发送来的低分辨率图像即第一分辨率图像来进行检体的诊断。
另外,所述图像输出装置还可以具备第一输出部,该第一输出部在由所述判定部判定为所述评价值比所述预定值高的情况下,将所述第二分辨率图像输出并保存至记录介质,在由所述判定部判定为所述评价值不比所述预定值高的情况下,不将所述第二分辨率图像向所述记录介质输出。
高分辨率图像(第二分辨率图像)的图像大小大,在病理检查中,用于检查的检体的图像以10年为单位进行保存。另外,从人体获取检体的技术不断提高的现今,拍摄的检体的数量今后应该也会不断地上升。因此,利用数码显微镜拍摄到的图像、特别是高分辨率图像的保存成为重要的问题。
于是,在本发明的一个方式中,仅在评价值高的情况下保存第二分辨率图像。也即是,能够仅对有充分的诊断必要的检体(被拍摄对象),以高分辨率保存该检体的图像。因此,能够抑制为保存例如以短时间能够诊断那样的重要度低的检体的高分辨率图像,而会限制记录介质的空闲容量。另外,由于不进行评价值低的检体的高分辨率图像的保存,因此,能够减轻高分辨率图像的处理的负担。
另外,例如,所述判定部将由所述放大受理部受理的1个或者多个所述放大率中的、最大的放大率作为所述评价值来导出。或者,也可以是作为比阈值高的放大率的高放大率被所述放大受理部受理的次数越多、或者,所述被拍摄对象的图像以所述高放大率被所述显示装置显示的时间越长,则所述判定部导出越高的所述评价值。或者,也可以是以比阈值高的所述放大率被所述显示装置显示的所述被拍摄对象的面积越大,则所述判定部算出越高的所述评价值。
由此,能够根据被拍摄对象的图像的用途而导出适当的评价值,能够仅发送最合适的高分辨率图像(第二分辨率图像)。
另外,本发明的其它方式的图像输出装置是具有图像发送装置和经由通信线路与所述图像发送装置连接的图像接收装置的图像输出装置,所述图像发送装置具备:图像获取部,获取第一分辨率图像,所述第一分辨率图像是基于数码显微镜的拍摄而得到的被拍摄对象的图像;高分辨率图像获取部,获取第二分辨率图像,所述第二分辨率图像是分辨率比所述第一分辨率图像高的、基于所述数码显微镜的拍摄而得到的所述被拍摄对象的图像;判定部,判定通过由所述图像接收装置通知的评价值关联信息表示的评价值是否比预定值高;以及发送部,在由所述判定部判定为所述评价值比所述预定值高的情况下,向所述图像接收装置发送所述第二分辨率图像,在由所述判定部判定为所述评价值不比所述预定值高的情况下,向所述图像接收装置发送所述第一分辨率图像,所述图像接收装置具备:放大受理部,受理针对显示装置所显示的所述第一分辨率图像的放大率;和显示用输出部,从所述图像发送装置获取所述第一分辨率图像或者所述第二分辨率图像,使所述显示装置显示基于由所述放大受理部受理的所述放大率放大后的所述第一分辨率图像或者所述第二分辨率图像,所述显示用输出部还向所述图像发送装置发送基于由所述放大受理部受理的所述放大率的所述评价值关联信息。
或者,本发明的其它方式的图像输出装置是具有图像发送装置和经由通信线路与所述图像发送装置连接的图像接收装置的图像输出装置,所述图像发送装置具备:图像获取部,获取第一分辨率图像,所述第一分辨率图像是基于数码显微镜的拍摄而得到的被拍摄对象的图像;高分辨率图像获取部,获取第二分辨率图像,所述第二分辨率图像是分辨率比所述第一分辨率图像高的、基于所述数码显微镜的拍摄而得到的所述被拍摄对象的图像;以及发送部,向所述图像接收装置发送所述第一分辨率图像或者所述第二分辨率图像,所述图像接收装置具备:放大受理部,受理针对显示装置所显示的所述第一分辨率图像的放大率;显示用输出部,从所述图像发送装置获取所述第一分辨率图像或者所述第二分辨率图像,使所述显示装置显示基于由所述放大受理部受理的所述放大率放大后的所述第一分辨率图像或者所述第二分辨率图像;以及判定部,判定基于由所述放大受理部受理的所述放大率的评价值是否比预定值高,并将判定结果通知给所述图像发送装置,所述发送部在为表示所述评价值比所述预定值高的所述判定结果的情况下,将所述第二分辨率图像发送至所述图像接收装置,在为表示所述评价值不比所述预定值高的所述判定结果的情况下,将所述第一分辨率图像发送至所述图像接收装置。此外,评价值关联信息是包含由放大受理部受理的放大率、放大率被受理的次数、显示被拍摄对象的图像的时间、或者显示的被拍摄对象的面积等的信息。
由此,即便例如在放置作为被拍摄对象的检体的地点没有病理医师,位于远程地的病理医师也能够利用图像接收装置获取从设置于该地点的图像发送装置发送的检体的图像,来进行基于该图像的检体的诊断。此时,不需要的高分辨率图像不向图像接收装置发送,因此,能够减轻高分辨率图像的处理的负担。
另外,所述图像发送装置还可以具备第二输出部,在由所述判定部判定为所述评价值不比所述预定值高的情况下,所述第二输出部将所述第二分辨率图像输出并保存至记录介质。
由此,即便在由于评价值低而高分辨率图像(第二分辨率图像)未向远程地的病理医师发送的情况下,该高分辨率图像也被保存。因此,在该病理医师认为高分辨率图像必要的情况下,能够迅速地将该高分辨率图像从记录介质读出并发送至病理医师。
另外,关于所述图像输出装置,所述第一分辨率图像是第一第一分辨率图像,所述命令使所述至少一个处理器执行:获取第二第一分辨率图像,所述第二第一分辨率图像是基于所述数码显微镜的拍摄而得到的所述被拍摄对象的图像,所述第二分辨率图像基于所述第一第一分辨率图像和所述第二第一分辨率图像而生成,所述数码显微镜发出与所述被拍摄对象呈第1角度的第1光和与所述被拍摄对象呈第2角度的第2光,在发出所述第1光之后发出所述第2光,所述数码显微镜基于第1多个像素值生成所述第一第一分辨率图像,基于第2多个像素值生成所述第二第一分辨率图像,所述第二分辨率图像的像素值的数量比所述第1多个像素值的数量多,并且,所述第二分辨率图像的像素值的数量比所述第2多个像素值的数量多,所述被拍摄对象包含第1部分以及与所述第1部分相邻的第2部分,多个光电转换部基于所述第1光通过所述被拍摄对象而得到的第1转换光,输出包含第1像素值的所述第1多个像素值,基于所述第2光通过所述被拍摄对象而得到的第2转换光,输出包含第2像素值的所述第2多个像素值,所述多个光电转换部包含第1光电转换部和与所述第1光电转换部相邻的第2光电转换部,所述第1光电转换部基于所述第1光中的一部分通过所述第1部分而得到的、所述第1转换光的一部分,输出所述第1像素值,所述第2光电转换部基于所述第2光中的一部分通过所述第2部分而得到的、所述第2转换光的一部分,输出所述第2像素值。
此外,本发明的一个方式的图像输出装置、图像发送装置以及图像接收装置的各个也可以构成为具备至少1个处理器和保持命令的非暂时性记录介质。该情况下,上述的各装置所具备的各构成要素通过利用该至少1个处理器执行该记录介质所保持的命令来实现。
以下,参照附图对实施方式具体地进行说明。
此外,以下要说明的实施方式都是总括性或者表示具体的例子的实施方式。在以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等只是一例,并非意在限定本发明。另外,以下的实施方式中的构成要素中的、未记载于表示最上位概念的独立权利要求的构成要素,作为任意的构成要素而被说明。
(实施方式1)
图1是示出包含实施方式1的图像输出装置的图像处理系统的一例的构成图。
图像处理系统100S包括:数码显微镜1500、图像输出装置1001以及显示装置1501。
数码显微镜1500是下述的图像获取装置,将病理检体作为被拍摄对象来进行拍摄。在此,在本说明书中,“数码显微镜”是将病理组织供检载片标本的至少一部分数字图像化的装置。例如,数码显微镜是用接触式图像感测(CIS:Contact Image Sensing)方式拍摄所述标本的下述的图像获取装置、或者虚拟载片扫描仪(virtual slide scanner)等。在此,用CIS方式进行拍摄的图像获取装置是如下装置:在图像传感器上直接配置被拍摄对象来进行拍摄,由此获取作为被拍摄对象的图像的第一分辨率图像以及第二分辨率图像。具体而言,所述图像获取装置从多个不同的照射方向向被拍摄对象照射光而对该被拍摄对象进行拍摄,由此生成多个第一分辨率图像。另外,所述图像获取装置将这些多个第一分辨率图像的各像素进行再配置,由此生成分辨率比各第一分辨率图像高的第二分辨率图像。另外,关于数码显微镜1500,可以取代下述的图像获取装置,而使用生成多个分辨率的放大图像的虚拟载片扫描仪等数码显微镜。虚拟载片扫描仪是透过显微镜来拍摄检体的装置。重复进行挪动载片相对于显微镜的相对位置的操作和进行拍摄的操作,将得到的多个图像拼合而生成大范围的检体的图像。在虚拟载片扫描仪中,通过变换安装于显微镜的物镜,来选择要获取的图像的分辨率。当使用低倍率的物镜时,分辨率变低,但拍摄于1张图像中的检体的范围变大,因此,拍摄部位少,拍摄时间变短。关于图像获取装置,在实施方式4中详细地进行说明。
显示装置1501是向操作者(例如病理医师)显示基于数码显微镜的拍摄而得到的图像的装置,例如,是液晶显示器或者投影机等。
图像输出装置1001获取通过数码显微镜1500的拍摄而得到的图像,并使显示装置1501显示该图像。另外,图像输出装置1001经由通信线路,向例如由远程的病理医师操作的装置发送该图像。
该图像输出装置1001具备:图像获取部1101、高分辨率图像获取部1102、放大受理部1201、判定部1202、显示用输出部1203、发送部1204。
图像获取部1101获取第一分辨率图像,第一分辨率图像是基于数码显微镜1500的拍摄而得到的被拍摄对象的图像。此外,基于数码显微镜1500的拍摄而得到的被拍摄对象的图像可以是通过该拍摄直接地得到的图像,也可以是通过对直接地得到的图像进行处理而得到的图像。在此,图像获取部1101将通过数码显微镜1500中的例如接触图像传感器的拍摄而得到的子图像作为第一分辨率图像来获取。此外,将第一分辨率图像的分辨率称为第一分辨率。
高分辨率图像获取部1102获取第二分辨率图像,第二分辨率图像是与第一分辨率图像相比分辨率高的图像(高分辨率图像),是基于数码显微镜1500的拍摄而得到的被拍摄对象的图像。高分辨率图像获取部1102可以通过从多个子图像生成第二分辨率图像来获取该第二分辨率图像,也可以从数码显微镜1500获取第二分辨率图像。此外,将第二分辨率图像的分辨率称为第二分辨率。在此,第一分辨率的像素间距为0.9μm,第二分辨率的像素间距为0.3μm。另外,当将第一分辨率的像素间距相对于第二分辨率的像素间距的比作为分辨率比时,分辨率比为3。
放大受理部1201受理针对显示装置1501所显示的第一分辨率图像的放大率。具体而言,放大受理部1201经由例如键盘的操作而将放大率K作为数值来获取。另外,放大受理部1201例如也可以将具有滚轮的鼠标的旋转数作为放大率的变化值而使用,来对放大率K进行更新。
显示用输出部1203向显示装置1501输出基于由放大受理部1201受理的放大率放大后的第一分辨率图像或者第二分辨率图像。由此,放大后的第一分辨率图像或者第二分辨率图像显示在显示装置1501上。此外,本实施方式中的图像输出装置1001具备显示用输出部1203,但也可以不具备该显示用输出部1203。
判定部1202判定基于由放大受理部1201受理的放大率的评价值是否比预定值高。在此,预定值可以是由例如病理医师或者操作者任意地设定的值,也可以是预先确定的值。具体而言,在评价值作为由放大受理部1201受理的1个或者多个放大率中的、最大的放大率而被导出的情况下,预定值例如也可以是与分辨率比(也即是,上述的例子的情况下为3)相等的值。
此外,预定值是比1大的值。但是,若使预定值为低的值,则下述的输出会频繁地进行。为了避免这样的情况,预定值也可以是尽量高的值。下述的输出是由发送部1204执行的发送、或者由第一输出部1205执行的输出。于是,也可以构成为根据通信线路的粗细和/或线路的拥挤状况来切换预定值。例如,在使用线路细的手机的线路的情况下,使预定值为高的值10,在使用线路粗的光线路的情况下,使预定值为低的值3。另外,在线路拥挤的情况下,使预定值为高的值10,在线路空闲的情况下,使预定值为低的值3。另外,也可以构成为根据保存所使用的存储器(例如,下述的图8以及图12~图14中的任意一个记录介质1502)的大小,来切换预定值。例如,可以在该存储器为大容量HDD(Hard Disk Drive:硬盘驱动器)的情况下,使预定值为3,在该存储器为小容量的SSD(Solid State Drive:固态硬盘)的情况下,使预定值为10。
发送部1204在由判定部1202判定为评价值比预定值高的情况下,发送第二分辨率图像。另一方面,发送部1204在由判定部1202判定为评价值不比预定值高的情况下,不发送第二分辨率图像。此时,也即是,在由判定部1202判定为评价值不高的情况下,发送部1204发送第一分辨率图像。第一分辨率图像或者第二分辨率图像经由通信线路,被发送至例如被远程的病理医师操作的装置。
图2是示出由显示装置1501显示的显示画面的一例的图。
显示装置1501显示包含结束键602、俯瞰图像显示部603、观察结果输入栏604、读取键605以及放大图像显示部606的显示画面601。
当选择结束键602时,显示装置1501向图像输出装置1001发送通知应结束图像的显示的信号。在俯瞰图像显示部603显示第一分辨率图像或者第二分辨率图像的整体。在观察结果输入栏604写入例如病理医师的观察结果。当选择读取键605时,显示装置1501向图像输出装置1001发送例如结束第一分辨率图像的显示、指示第二分辨率图像的读取的信号。在放大图像显示部606,第一分辨率图像或者第二分辨率图像被放大地显示。
图3是示出图像输出装置1001的处理工作的一例的流程图。
首先,图像输出装置1001的图像获取部1101从数码显微镜1500获取第一分辨率图像(步骤S11)。然后,放大受理部1201根据操作者对例如键盘等的操作而受理图像的放大率(步骤S12)。然后,显示用输出部1203以所受理的放大率对第一分辨率图像进行放大而向显示装置1501输出。通过该输出,显示用输出部1203使被放大为所受理的放大率的第一分辨率图像显示在显示装置1501上(步骤S13)。
接着,显示用输出部1203基于通过结束键602或者读取键605被选择而从显示装置1501输出的信号,判定是否应结束第一分辨率图像的显示(步骤S14)。在此,当判定为不应结束显示时(步骤S14:否),放大受理部1201进一步受理新的放大率。也即是,观察显示装置1501所显示的图像的操作者根据检体改变放大率而进行观察。
另一方面,当判定为应结束显示时(步骤S14:是),判定部1202导出基于由放大受理部1201受理的放大率的评价值,判定该评价值是否比预定值高(步骤S15)。
评价值例如是在步骤S12中受理的1个或者多个放大率中的、最后受理的放大率(最后放大率)或者最大的放大率(最大放大率)。也即是,判定部1202将最后放大率或者最大放大率作为评价值导出。或者,判定部1202也可以基于其它的要件来导出评价值。例如,其它要件是通过步骤S12受理放大率的次数(受理次数)、显示装置1501显示图像的时间(显示时间)以及显示装置1501所显示的图像的面积(显示面积)中的至少一方。
另外,判定部1202也可以对最大放大率、受理次数、显示时间以及显示面积的各个乘以系数,并将它们进行累计,由此导出评价值。
在此,当判定为评价值不比预定值高时(步骤S15:否),发送部1204经由通信线路发送第一分辨率图像,而不发送第二分辨率图像(步骤S16)。另一方面,当判定为评价值比预定值高时(步骤S15:是),高分辨率图像获取部1102获取第二分辨率图像(步骤S17)。进而,发送部1204将由该高分辨率图像获取部1102获取的第二分辨率图像经由通信线路进行发送(步骤S18)。
在图3的流程图中,以所受理的放大率放大而被显示的图像仅是第一分辨率图像,但如图4的流程图所示,第二分辨率图像也可以以该放大率放大而进行显示。
图4是示出图像输出装置1001的处理工作的其它例子的流程图。
首先,图像输出装置1001的图像获取部1101从数码显微镜1500获取第一分辨率图像(步骤S21)。并且,显示用输出部1203将该第一分辨率图像向显示装置1501输出,由此,使显示装置1501显示该第一分辨率图像(步骤S22)。
接着,放大受理部1201根据操作者对例如键盘等的操作而受理图像的放大率(步骤S23)。判定部1202导出基于由放大受理部1201受理的放大率的评价值,判定该评价值是否比预定值高(步骤S24)。
在此,当判定为评价值不比预定值高时(步骤S24:否),显示用输出部1203将第一分辨率图像放大为在步骤S23中受理的放大率而向显示装置1501输出。根据该输出,显示用输出部1203使显示装置1501显示被放大后的第一分辨率图像(步骤S25)。此时,不发送第二分辨率图像。另外,显示用输出部1203基于通过结束键602或者读取键605被选择而从显示装置1501输出的信号,判定是否应结束第一分辨率图像的显示(步骤S26)。在此,当判定为应结束显示时(步骤S26:是),图像输出装置1001结束处理。另一方面,在判定为不应结束显示时(步骤S26:否),图像输出装置1001反复执行从步骤S23开始的处理。
另外,在步骤S24中,当判定为评价值比预定值高时(步骤S24:是),判定部1202判别该判定是否是对检体的首次判定(步骤S27)。在此,当判别为是首次时(步骤S27:是),高分辨率图像获取部1102获取第二分辨率图像(步骤S28)。进而,发送部1204经由通信线路发送由高分辨率图像获取部1102获取的该第二分辨率图像(步骤S29)。
在步骤S29中发送第二分辨率图像后、或者在步骤S27中判别为不是首次时(步骤S27:否),显示用输出部1203将第二分辨率图像放大为在步骤S23中受理的放大率而向显示装置1501进行输出。通过该输出,显示装置1501使显示装置1501显示被放大后的第二分辨率图像(步骤S30)。此时,也可以不以在步骤S23受理的放大率对第二分辨率图像进行放大,而以用分辨率比去除该放大率而得到的值进行放大。例如,在所受理的放大率为3、分辨率比为3的情况下,第二分辨率图像被放大为1倍。
接着,显示用输出部1203基于通过结束键602被选择而从显示装置1501输出的信号,判定是否应结束第二分辨率图像的显示(步骤S31)。在此,当判定为应结束显示时(步骤S31:是),图像输出装置1001结束处理。另一方面,当判定为不应结束显示时(步骤S31:否),图像输出装置1001反复执行从步骤S23开始的处理。
(效果)
这样,在本实施方式中,仅在评价值高的情况下发送第二分辨率图像。也即是,能够仅对有充分的诊断必要的检体(被拍摄对象),以高分辨率将该检体的图像例如向远程地进行发送。因此,例如能够抑制为了发送以短时间就能够进行诊断那样的重要度低的检体的高分辨率图像,而使得具有充分的诊断必要的检体的高分辨率图像的发送延迟。另外,由于不进行评价值低的检体的高分辨率图像的发送,因此,能够减轻高分辨率图像的处理的负担。
具体而言,考虑本实施方式中的图像输出装置1001在仅有经验少的病理医师、或者仅有外科的地方医院中被使用。在该情况下,能够利用发送部1204将难以进行诊断的检体的第二分辨率图像向有经验丰富的病理医师的远程地进行发送。首先,低分辨率的第一分辨率图像被发送至病理医师。然后,能够当得到了高评价值时,也即是,仅在需要对检体进行更详细的诊断时,发送高分辨率的第二分辨率图像。在设第一分辨率图像为100M字节(=800M比特)、第二分辨率图像为1.6G字节、通信速度为50Mbps的情况下,第一分辨率图像能够以16秒进行发送,但是高分辨率图像的发送需要耗费256秒。若以高分辨率发送所有的图像,则相当耗费时间。但是,在因健康诊断等进行的生物体检查中,大多以低分辨率的图像就能够判定无异常,因此,通过仅针对有必要的检体发送高分辨率图像,能够使诊断高效化。另外,图像输出装置1001能够利用于如下情况:在病理医师仅有一人的小医院,选择将重要的图像发送至位于远程地的病理医师而进行复核时的发送图像。
(评价值的详细内容)
在此,对上述的评价值详细地进行说明。
如上所述,判定部1202可以基于受理次数、显示时间以及显示面积中的至少一方来导出评价值。
基于这些受理次数、显示时间或者显示面积的评价值在判定是否在诊断中不是必须但要以高倍率进行检体观察、是否在诊断中是必要的而要以高倍率进行检体观察时是有效的。也即是,在通常的利用显微镜的诊断中,由于更换透镜费时费力,因此,如果在进行低倍率的观察的阶段中可以得知检体是正常的,则不进行高倍率的观察。此外,在检体是否正常的判断中,在检体中无肿瘤、或者未残留有诊断上为必要的检查项目的情况下,判断为检体是正常的。另一方面,利用如本实施方式的数码显微镜1500这样的电子显微镜获取到的图像的高倍率的放大能够仅通过鼠标或者键盘的简单的操作来进行。因此,在数码显微镜1500中,针对仅进行了基于通常的显微镜的低倍率的观察的检体,进行高倍率下的观察的情况极多。
这是认为,病理医师、医师或者检查技师等诊断者观察以高倍率放大后的图像,由此用以确认检体的拍摄是否恰当地被进行。另外,认为是由于诊断者的如下要求:对于正常的检体也想将该检体中包含的小的区域作为以高倍率放大后的像来观察。
以对于这样的诊断不必要的高倍率进行观察的受理次数、显示时间、或者显示面积等参数根据诊断者的喜好或者经验而不同。但是,这些参数的数值与以诊断所必须的高倍率下的观察的参数相比极小。因此,在本实施方式中,通过使用基于受理次数、显示时间或者显示面积的评价值,能够判定高倍率下的观察是否为诊断所必要的。为了有效地灵活应用有限的通信带宽,在以这样的诊断中不必要的高倍率进行观察时,也可以不发送高分辨率图像。
另外,当基于受理次数、显示时间以及显示面积中的至少一方导出评价值而发送高分辨率图像时,发送部1204也可以对该高分辨率图像附加标记。也即是,发送部1204向高分辨率图像附加表示该评价值所使用的参数(受理次数、显示时间以及显示面积中的至少一方)的种类和该评价值的标记,并发送该带有标记的高分辨率图像。由此,接收该高分辨率图像的图像接收装置能够从多个高分辨率图像中,提取附加了表示作为参数的种类而使用了例如受理次数的标记的高分辨率图像。另外,如果所提取的高分辨率图像为多个,则图像接收装置可以基于这些标记所表示的评价值,将这些高分辨率图像按评价值的升序或者降序进行排列。由此,诊断者能够容易地选择应进行观察的高分辨率图像。
(评价值的详细内容:受理次数)
具体而言,受理次数是由放大受理部1201受理比阈值高的放大率即高放大率的次数。该阈值例如是上述的分辨率比(具体而言为3)。该受理次数越多,则判定部1202导出越高的评价值。例如,评价值也可以是受理次数本身。在该情况下,判定部1202判定作为该评价值的受理次数是否比1次(预定值=1)多。也即是,如果受理次数为1次,则被放大为高放大率的第一分辨率图像的显示不是诊断所必要的显示的可能性高。换言之,通过比高放大率低的放大率的第一分辨率图像判断为检体为正常的可能性高。相反地,如果受理次数为2次以上,则被放大为高放大率的第一分辨率图像的显示为诊断所必要的显示的可能性高。也即是,检体是否正常的判断值得怀疑的可能性高。因此,这样,判定受理次数是否比1次多,当判定为多时,进行高分辨率图像的发送,由此,能够有效地灵活运用有限的通信带宽。
或者,判定部1202也可以判定作为该评价值的受理次数是否比2次(预定值=2)多。具体而言,在诊断恶性肿瘤的情况下,为了确认肿瘤的样态以及尺寸而大多进行3次以上的诊断。例如,大多进行肿瘤的中心、左端、以及右端的各自的诊断。因此,通过如上述那样将预定值设为“2”,能够仅发送怀疑是恶性肿瘤的可能性高的检体的高分辨率图像。
这样,在评价值基于受理次数来导出的情况下,无论高倍率下的检体观察是只进行1次、还是只进行2次以下,都能够抑制高分辨率图像被发送。即,能够抑制:因进行了对于诊断不必要的高倍率下的检体观察,而发送了高分辨率图像。
(评价值的详细内容:显示时间)
具体而言,显示时间是被拍摄对象的图像以高放大率被显示装置1501所显示的时间。该显示时间越长则,判定部1202导出越高的评价值。例如,评价值也可以是被拍摄对象的图像以上述的分辨率比(具体而言为3)以上的高放大率被显示装置1501显示的显示时间。该情况下,判定部1202判定作为该评价值的显示时间是否比例如10秒(预定值=10秒)长。也即是,如果该显示时间为10秒以下,则被放大为高放大率的图像的显示是诊断所不必要的显示的可能性高。由此,能够抑制:因进行了诊断所不必要的高倍率下的检体观察,而发送了高分辨率图像。
另外,恶性肿瘤的诊断所需要花费的时间根据诊断者或者观察的部位不同而存在差异。因此,可以根据诊断者、观察的部位、或者检体的获取作成方法,来改变该预定值(在上述的例子中为10秒)。例如,对于用通常的方法作成的检体,将该预定值设为10秒,对于手术中迅速诊断用的以短时间作成的检体,可以将该预定值设为30秒。
另外,在上述的例子中,使预定值为10秒或者30秒,但也可以将正常的检体的观察所需要花费的平均的显示时间的m倍(m为比1大的实数)的时间等作为预定值。
另外,判定部1202也可以针对所受理的各个放大率(也即是,3以上的高放大率),在该放大率下的显示时间上乘以权重,将各个带权重的显示时间的总和作为评价值来导出。放大率越高,则其权重为越大的值。具体而言,判定部1202将放大率本身作为权重来处理,利用评价值=Σ[放大率(k)×显示时间(k)],导出评价值。此外,放大率(k)是第k个受理的3以上的放大率,显示时间(k)是以第k个放大率放大后的第一分辨率图像所显示的显示时间。也即是,在分辨率比以上的放大率受理了n次的情况下,评价值作为k为1~n的放大率(k)×显示时间(k)的总和而被导出。例如,所受理的放大率Q和此时的显示时间T(秒)为(Q,T)=(3,7)、(4,6)、(5,5)、以及(6,4)。在这样的情况下,判定部1202通过评价值=(3×7)+(4×6)+(5×5)+(6×4),而导出评价值。此外,在评价值的算出中,也可以取代放大率(k),而使用“放大率(k)-分辨率比(具体而言为3)+1”。在该情况下,判定部1202通过评价值=(1×7)+(2×6)+(3×5)+(4×4),而导出评价值。如果利用这种评价值,则观察时间越长或者观察时的放大率(倍率)越高,则导出越高的评价值。另外,在该情况下,判定部1202也可以判定评价值是否超过例如30(预定值=30)。
此外,判定部1202计算了各放大率下的显示时间后,导出评价值,但也可以随时更新观察时的评价值。也即是,判定部1202可以每经过一定时间,就获取观察时的放大率,将该获取到的放大率和一定时间的乘积结果加在刚刚之前导出的评价值上,由此对该评价值进行更新。由此,每经过一定时间,就导出新的评价值。
另外,判定部1202取代对显示时间乘以放大率,也可以对显示时间乘以相对于放大率单调增加的值。相对于放大率单调增加的值是通过函数得到的值,例如,是放大率的对数。也即是,判定部1202通过评价值=Σ[log放大率(k)×显示时间(k)],导出评价值。
另外,判定部1202取代通过上述那样的总和来导出评价值,也可以将以显示时间对放大率或者放大率的对数进行积分而得的值作为评价值来导出。
(评价值的详细内容:显示面积)
具体而言,显示面积是以该高放大率显示于显示装置1501的被拍摄对象的面积。例如,判定部1202使用边缘检测来确定一个帧中映现出被拍摄对象的区域,算出该确定出的区域的面积来作为被拍摄对象的图像的面积。另外,在利用边缘检测在一个帧中检测到多个区域的情况下,判定部1202也可以将该多个区域中的、例如包含使用者用鼠标指示的位置(坐标)的区域的面积作为被拍摄对象的图像的面积。在此,若该显示的图像被移开,则显示面积会展宽新显示的图像的面积。也即是,在包含使用者用鼠标指示的位置(即,坐标)的区域连续的情况下(即,无边缘的情况下),当使用者移开图像时,与该区域连续的新的区域出现。于是,判定部1202可以将该新出现的区域、并且是与包含使用者用鼠标指示的位置的区域连续的区域的面积加在被拍摄对象的图像的面积上。此外,作为显示面积的被拍摄对象的面积是通过用实际的放大率去除上述那样算出的被拍摄对象的图像的面积而得到的值(商)。该显示面积越大,则判定部1202导出越高的评价值。
例如,评价值是以分辨率比(具体而言为3)以上的高放大率显示的被拍摄对象的显示面积。在该情况下,判定部1202判定作为该评价值的显示面积是否比10,000μm2大。当分辨率比为3时,如果设与相邻的2个像素对应的检体的位置的间隔为1/3μm(=0.333μm),则由1个像素拍摄到的检体的面积成为1/9μm2,与10,000μm2对应的检体的尺寸成为10,000μm2/(1/9μm2)=9×104像素。即,判定部1202判定是否比9×104像素(预定值=9×104像素)大。也即是,如果该显示面积为9×104像素以下,则被放大为高放大率的第一分辨率图像的显示不是诊断所需要的显示的可能性高。由此,能够抑制因以诊断所不必要的高倍率进行检体观察而会发送高分辨率图像。
另外,在上述的例子中,设预定值为10,000μm2(即,9×104像素),但也可以将正常的检体的观察所需要的平均的显示面积的m倍(m为比1大的实数)的面积等作为预定值。
另外,判定部1202也可以按各个所受理的放大率(也即是,3以上的高放大率),在该放大率下的显示面积上乘以权重,将各个带有权重的显示面积的总和作为评价值而导出。放大率越高,该权重为越大的值。具体而言,判定部1202将放大率的平方作为权重处理,判定部1202通过评价值=Σ[放大率(k)^2×显示面积(k)]而导出评价值。此外,放大率(k)与上述同样,是第k个受理的3以上的放大率,显示面积(k)是以第k个放大率放大后的被拍摄对象的显示面积。此外,A^B表示A的B次幂的计算。也即是,在分辨率比以上的放大率受理了n次的情况下,评价值作为k为1~n的放大率(k)^2×显示面积(k)的总和而导出。例如,设放大率Q和此时的显示面积S(1×104像素)为(Q,S)=(3,2)、(4,0.5)、(5,1.5)、(6,1)。在这样的情况下,判定部1202通过评价值=[(3^2)×2×104]+[(4^2)×0.5×104]+[(5^2)×1.5×104]+[(6^2)×1×104],导出评价值。此外,在评价值的算出中,取代放大率(k)的平方,也可以使用“放大率(k)-分辨率比(具体而言3)+1”的平方作为权重。在该情况下,判定部1202通过评价值=[(1^2)×2×104]+[(2^2)×0.5×104]+[(3^2)×1.5×104]+[(4^2)×1×104]而导出评价值。如果使用这样的评价值,则观察的被拍摄对象的面积越大、或观察时的放大率(倍率)越高,则导出越高的评价值。另外,在该情况下,判定部1202也可以判定评价值是否超过例如8.1×105(预定值=8.1×105)。
此外,权重是放大率越高则为越大的值即可,只要是可算出那样的值的函数,就不限于放大率的平方,也可以使用任意的函数。例如,判定部1202可以通过评价值=Σ[放大率(k)^3×显示面积(k)]来导出评价值。
另外,判定部1202可以取代上述那样的通过总和来导出评价值,而将以显示面积对放大率的幂乘进行积分而得的值作为评价值来导出。
(变形例)
在此,对实施方式1中的图像输出装置的变形例进行说明。本变形例的图像输出装置在评价值高的情况下,发送并且保存第二分辨率图像。
图5是示出包含本变形例的图像输出装置的图像处理系统的一例的构成图。
本变形例的图像处理系统100Sa包括:数码显微镜1500、图像输出装置1001a、显示装置1501以及记录介质1502。
记录介质1502保持从图像输出装置1001a输出的图像。该记录介质1502由例如硬盘、BD(Blu-ray(注册商标)Disc)、DVD、SD卡(注册商标)、RAM(Random Access Memory:随机访问存储器)或者高速缓存等存储装置来实现。
图像输出装置1001a除了具备上述实施方式1的图像输出装置1001所具备的各构成要素之外,还具备第一输出部1205。
第一输出部1205在由判定部1202判定为评价值比预定值高的情况下,将第二分辨率图像输出并保存至记录介质1502。另一方面,第一输出部1205在由判定部1202判定为评价值不比预定值高的情况下,不向记录介质1502输出第二分辨率图像。
换言之,第一输出部1205将从发送部1204发送的图像向记录介质1502输出,由此,将该图像保存于记录介质1502。也即是,第一输出部1205将在图3的步骤S16、S18或者图4的步骤S29中发送的第一分辨率图像或者第二分辨率图像保存于记录介质1502。
(效果)
在这样的本变形例的图像输出装置1001a中,能够针对需要以高分辨率进行诊断的检体,自动地保存高分辨率图像(第二分辨率图像)。也可以考虑设置选择是否保存高分辨率图像的按键,但是,考虑到病理医师有时会在一小时中进行60个检体以上的诊断,会忘记按键操作。但是,如果使用本变形例的图像输出装置1001a,则能够防止忘记操作,能够可靠地保存重要的高分辨率图像。
另外,如果使用本变形例的图像输出装置1001a,则能够对以高分辨率图像进行诊断的检体保存以及发送该高分辨率图像,能够对以低分辨率图像(第一分辨率图像)进行诊断的检体保存以及发送该低分辨率图像。由此,通过使被保存以及发送的图像的大小为与检体相对应的大小,能够削减所保存的图像的大小、所发送(移送)的图像的大小以及移送时间。
(实施方式2)
本实施方式中的图像输出装置由相互经由通信线路连接的图像发送装置和图像接收装置构成。此外,对于本实施方式中的装置及其构成要素中的、与实施方式1相同的装置及其构成要素,标注与实施方式1相同的标号,并省略它们的详细说明。
图6是示出包含实施方式2中的图像输出装置的图像处理系统的一例的构成图。
图像处理系统200S包括:数码显微镜1500、图像输出装置2001、显示装置1501、记录介质1502以及记录介质1503。
记录介质1502保持从图像输出装置2001的图像接收装置1200输出的图像。
记录介质1503保持从图像输出装置2001的图像发送装置1100输出的图像。该记录介质1503与记录介质1502同样,由例如硬盘、BD(Blu-ray(注册商标)Disc)、DVD、SD卡(注册商标)、RAM或者高速缓存等存储装置实现。
图像输出装置2001具备经由通信线路相互连接的图像发送装置1100以及图像接收装置1200。此外,图像输出装置2001作为整体,具有与实施方式1的图像输出装置1001同样的功能。另外,例如,包含数码显微镜1500、图像发送装置1100以及记录介质1503的组配置于无病理医师的医院等设施。包含图像接收装置1200、显示装置1501以及记录介质1502的组例如配置于远离该医院的、有病理医师的设施。
图像发送装置1100具备:图像获取部1101、高分辨率图像获取部1102、发送部1204以及第二输出部1103。
第二输出部1103将由高分辨率图像获取部1102获取的第二分辨率图像输出至记录介质1503,由此将该第二分辨率图像保存于记录介质1503。也即是,该第二输出部1103在由判定部1202判定为评价值不比预定值高的情况下,将第二分辨率图像输出并保存至记录介质1503。
图像接收装置1200具备:放大受理部1201、判定部1202、显示用输出部1203以及第一输出部1205。
显示用输出部1203从图像发送装置1100经由通信线路获取第一分辨率图像或者第二分辨率图像。然后,与实施方式1同样地,显示用输出部1203向显示装置1501输出基于由放大受理部1201受理的放大率来放大后的第一分辨率图像或者第二分辨率图像。由此,显示用输出部1203使显示装置1501显示被放大后的第一分辨率图像或者第二分辨率图像。
判定部1202与实施方式1同样地,判定评价值是否比预定值高。并且,判定部1202经由通信线路将该判定结果通知图像发送装置1100。
图像发送装置1100的发送部1204在为表示评价值高的判定结果的情况下,经由通信线路将第二分辨率图像向图像接收装置1200发送。另一方面,发送部1204在为表示评价值不高的判定结果的情况下,经由通信线路发送第一分辨率图像来代替发送第二分辨率图像。
图7是示出图像发送装置1100以及图像接收装置1200的处理工作的流程图。
图像发送装置1100的图像获取部1101从数码显微镜1500获取第一分辨率图像(步骤S41)。发送部1204经由通信线路将第一分辨率图像向图像接收装置1200发送(步骤S42)。
图像接收装置1200的显示用输出部1203接收经由通信线路从图像发送装置1100发送来的第一分辨率图像(步骤S51)。接着,图像接收装置1200的放大受理部1201根据操作者对例如键盘等的操作来受理图像的放大率(步骤S52)。然后,显示用输出部1203以所受理的放大率将第一分辨率图像放大而向显示装置1501输出。显示用输出部1203通过该输出,使显示装置1501显示被放大为所受理的放大率的第一分辨率图像(步骤S53)。
接着,图像接收装置1200的显示用输出部1203基于通过结束键602或者读取键605被选择而从显示装置1501输出的信号,判定是否应结束第一分辨率图像的显示(步骤S54)。在此,当判定为不应结束显示时(步骤S54:否),放大受理部1201进一步受理新的放大率。也即是,观察显示装置1501所显示的图像的操作者(病理医师)根据检体来改变放大率而进行观察。
另一方面,当判定为应结束显示时(步骤S54:是),判定部1202导出基于由放大受理部1201受理的放大率的评价值,判定该评价值是否比预定值高(步骤S55)。
在此,当判定为评价值不比预定值高时(步骤S55:否),图像接收装置1200的第一输出部1205将第一分辨率图像输出并保存至记录介质1502(步骤S59)。另一方面,当判定为评价值比预定值高时(步骤S55:是),第一输出部1205经由通信线路向图像发送装置1100请求第二分辨率图像(步骤S56)。
图像发送装置1100的发送部1204判定是否由图像接收装置1200请求了第二分辨率图像(步骤S43)。在此,当判定为未请求时(步骤S43:否),高分辨率图像获取部1102获取第二分辨率图像(步骤S44)。另外,第二输出部1103将由高分辨率图像获取部1102获取的该第二分辨率图像输出并保存至记录介质1503(步骤S45)。因此,该第二输出部1103在由判定部1202判定为评价值不高的情况下,将第二分辨率图像输出并保存至记录介质1503。
另一方面,当判定为请求了第二分辨率图像时(步骤S43:是),高分辨率图像获取部1102获取第二分辨率图像(步骤S46)。另外,发送部1204将由高分辨率图像获取部1102获取的该第二分辨率图像经由通信线路发送至图像接收装置1200(步骤S47)。因此,发送部1204与实施方式1同样,在由判定部1202判定为评价值高的情况下,发送第二分辨率图像,在由判定部1202判定为评价值不高的情况下,不发送第二分辨率图像。
此外,在上述的例子中,在步骤S43的判定之后,执行步骤S44以及步骤S46的处理,但也可以在步骤S43的判定之前执行。
当在步骤S47中发送第二分辨率图像时,图像接收装置1200的第一输出部1205接收该第二分辨率图像(步骤S57)。然后,第一输出部1205将该第二分辨率图像输出并保存至记录介质1502(步骤S58)。
(效果)
在这样的本实施方式的图像输出装置2001中,即便获取被拍摄对象的图像的设施与观察该图像的设施分离,也能够实现与实施方式1同样的效果。
(变形例1)
在此,对实施方式2中的图像输出装置的第1变形例进行说明。在本变形例中,在针对多个检体判定为评价值高的情况下,从与高评价值的检体对应的第二分辨率图像依次发送多个第二分辨率图像。
图8是示出包含本变形例的图像输出装置的图像处理系统的一例的构成图。
本变形例的图像处理系统200Sa包括:数码显微镜1500、图像输出装置2001a、显示装置1501、记录介质1502以及记录介质1503。
图像输出装置2001a具备经由通信线路相互连接的图像发送装置1100a以及图像接收装置1200a。
图像接收装置1200a除了具备实施方式2的图像接收装置1200所具备的各构成要素之外,还具备评价值存储部1206。该评价值存储部1206中存储有针对各检体(被拍摄对象)导出的评价值。另外,第一输出部1205向图像发送装置1100a请求与评价值存储部1206所存储的各评价值对应的第二分辨率图像。
图像发送装置1100a取代实施方式2中的发送部1204,而具备发送部1204a。该发送部1204a不仅具有与实施方式2中的发送部1204同样的功能,还在接受了来自第一输出部1205的请求的情况下,从与高评价值的检体对应的第二分辨率图像起依次发送多个第二分辨率图像。
图9是示出图像发送装置1100a以及图像接收装置1200a的处理工作的流程图。
图像发送装置1100a的图像获取部1101以及高分辨率图像获取部1102获取被拍摄对象的第一分辨率图像以及第二分辨率图像(步骤S71)。发送部1204a经由通信线路将第一分辨率图像向图像接收装置1200a发送(步骤S72)。并且,图像获取部1101以及高分辨率图像获取部1102判定是否存在下一个被拍摄对象(步骤S73)。当判定为存在下一个被拍摄对象时(步骤S73:是),图像发送装置1100a反复执行从步骤S71开始的处理。
图像接收装置1200a的显示用输出部1203接收经由通信线路从图像发送装置1100a发送来的第一分辨率图像(步骤S81)。接着,图像接收装置1200a的放大受理部1201根据操作者对例如键盘等的操作受理图像的放大率(步骤S82)。然后,显示用输出部1203以所受理的放大率将第一分辨率图像放大而向显示装置1501输出。显示用输出部1203通过该输出,使显示装置1501显示被放大为所受理的放大率的第一分辨率图像(步骤S83)。
接着,图像接收装置1200a的显示用输出部1203基于通过结束键602或者读取键605被选择而从显示装置1501输出的信号,判定是否应结束第一分辨率图像的显示(步骤S84)。在此,当判定为不应结束显示时(步骤S84:否),放大受理部1201进一步受理新的放大率。也即是,观察显示装置1501所显示的图像的操作者(病理医师)根据检体来改变放大率而进行观察。
另一方面,当判定为应结束显示时(步骤S84:是),判定部1202导出基于由放大受理部1201受理的放大率的评价值,判定该评价值是否比预定值高(步骤S85)。
在此,当判定为评价值不比预定值高时(步骤S85:否),图像接收装置1200a的第一输出部1205将第一分辨率图像输出并保存至记录介质1502(步骤S87)。另一方面,当判定为评价值比预定值高时(步骤S85:是),判定部1202将该比预定值高的评价值与被拍摄对象建立关联而保存于评价值存储部1206(步骤S86)。
接着,图像接收装置1200a的显示用输出部1203判定是否存在下一个被拍摄对象(步骤S88)。在此,当判定为存在下一个被拍摄对象时(步骤S88:是),图像接收装置1200a反复执行从步骤S81开始的处理。另一方面,当判定为不存在下一个被拍摄对象时(步骤S88:否),图像接收装置1200a的第一输出部1205参照评价值存储部1206所保存的评价值。另外,第一输出部1205经由通信线路请求图像发送装置1100从高的评价值起按顺序发送与该评价值建立关联的被拍摄对象的第二分辨率图像(步骤S89)。
图像发送装置1100a的发送部1204a判定是否由图像接收装置1200a请求了第二分辨率图像(步骤S74)。在此,当判定为未请求时(步骤S74:否),第二输出部1103将在步骤S71中获取的各被拍摄对象的第二分辨率图像输出并保存至记录介质1503(步骤S75)。另一方面,发送部1204a当判定为请求了第二分辨率图像时(步骤S74:是),将在步骤S71中获取的各被拍摄对象的第二分辨率图像中的、与比预定值高的评价值对应的第二分辨率图像发送至图像接收装置1200a。此时,发送部1204a从高的评价值的第二分辨率图像起按顺序将这些第二分辨率图像经由通信线路向图像接收装置1200a发送(步骤S76)。
图像接收装置1200a的第一输出部1205从评价值高的第二分辨率图像起按顺序接收与比预定值高的评价值对应的各第二分辨率图像并输出至记录介质1502(步骤S90)。由此,比预定值高的评价值的各第二分辨率图像被保存于记录介质1502。
(效果)
这样,在本变形例中,当汇总被判定为评价值高的多个被拍摄对象的第二分辨率图像来进行发送时,从评价值高的第二分辨率图像依次进行发送。因此,能够迅速地发送重要度高的第二分辨率图像。结果,病理医师能够从重要度高的第二分辨率图像起依次使用该第二分辨率图像来进行检体的诊断。
也即是,认为图像发送装置1100a在仅有经验少的病理医师、或者仅有外科的地方医院被使用。在该情况下,难以诊断的检体的第二分辨率图像通过发送部1204a被发送至有经验丰富的病理医师的大医院。通信线路虽然存在限制,但是如果使用本变形例中的图像输出装置2001a,则能够将难以诊断的检体的第二分辨率图像优先从地方医院向大医院发送。另外,图像发送装置1100a能够在病理医师仅有一人的小医院中,选择将重要的图像发送至位于远程地的病理医师而进行复核时的发送图像时被利用。
此外,在病理检查中,存在从同一患者拍摄多个检体的情况。例如,在癌的检查中,有时会获取脏器的一部分,观察该一部分的不同的截面的切片。即,通过拍摄上下方向上不同的位置(方便起见,称为不同的高度)的检体切片,获取多个二维的图像,利用这些图像,来确认三维的癌的范围。在此,在任意的高度上的图像中怀疑是癌的情况下,期望将该图像以及其它的高度上的图像也以高分辨率进行发送或者保持。
于是,高分辨率图像获取部1102也可以对从同一患者的同一脏器得到的多个第二分辨率图像附加同一图像组识别符。在该情况下,发送部1204a当发送第二分辨率图像时,将与附加到该第二分辨率图像的图像组识别符建立关联的其它的第二分辨率图像也发送至图像接收装置1200a。由此,操作图像接收装置1200a的病理医师不必分别选择针对同一患者的同一脏器得到的多个第二分辨率图像,而能够统一获取,能够以三维的方式简单地确认癌的范围等。
(变形例2)
在上述实施方式2及其变形例1中,判定部1202设于图像接收装置,但也可以设于图像发送装置。第2变形例的图像发送装置具备判定部1202。
图10是示出包含本变形例的图像输出装置的图像处理系统的一例的构成图。
本变形例的图像处理系统200Sb具备:数码显微镜1500、图像输出装置2001b、显示装置1501、记录介质1502以及记录介质1503。
图像输出装置2001b具备经由通信线路相互连接的图像发送装置1100b以及图像接收装置1200b。
图像发送装置1100b除了具备实施方式2及其变形例1的图像发送装置1100a所具备的各构成要素之外,还具备判定部1202。
图像接收装置1200b不具备判定部1202,具备放大受理部1201、显示用输出部1203以及第一输出部1205。
图11是示出图像发送装置1100b以及图像接收装置1200b的处理工作的流程图。
图像发送装置1100b的图像获取部1101从数码显微镜1500获取第一分辨率图像(步骤S101)。发送部1204经由通信线路将第一分辨率图像发送至图像接收装置1200(步骤S102)。
图像接收装置1200b的显示用输出部1203接收经由通信线路从图像发送装置1100b发送来的第一分辨率图像(步骤S121)。接着,图像接收装置1200b的放大受理部1201根据操作者对例如键盘等的操作而受理图像的放大率(步骤S122)。然后,显示用输出部1203以所受理的放大率将第一分辨率图像放大而向显示装置1501输出。显示用输出部1203通过该输出,使显示装置1501显示被放大为所受理的放大率的第一分辨率图像(步骤S123)。
接着,图像接收装置1200b的显示用输出部1203基于通过选择结束键602或者读取键605而从显示装置1501输出的信号,判定是否应结束第一分辨率图像的显示(步骤S124)。在此,当判定为不应使显示结束时(步骤S124:否),放大受理部1201进一步受理新的放大率。也即是,观察显示装置1501所显示的图像的操作者(病理医师)根据检体改变放大率来进行观察。另一方面,当判定为应使显示结束时(步骤S124:是),显示用输出部1203将评价值的导出所必需的评价值关联信息经由通信线路向图像发送装置1100b发送(步骤S126)。该评价值关联信息例如是上述的最后放大率、最大放大率、显示次数、显示时间以及显示面积中的至少一方。
图像发送装置1100b的判定部1202接收该评价值关联信息(步骤S104)。然后,判定部1202基于该评价值关联信息而导出评价值。进而,判定部1202判定所导出的评价值是否比预定值高,经由通信线路将其判定结果通知图像接收装置1200b(步骤S105)。
图像接收装置1200b的第一输出部120当经由通信线路从图像发送装置1100b接收被通知的判定结果时(步骤S127),确认该判定结果是否为肯定的(是)(步骤S128)。在此,当确认判定结果为否定的,也即是,评价值不比预定值高时(步骤S128:否),图像接收装置1200b的第一输出部1205将第一分辨率图像输出并保存至记录介质1502(步骤S132)。另一方面,当确认判定结果为肯定的,也即是,评价值比预定值高时(步骤S128:是),图像接收装置1200b的第一输出部1205经由通信线路向图像发送装置1100请求第二分辨率图像(步骤S129)。
图像发送装置1100b的发送部1204判定是否由图像接收装置1200b请求了第二分辨率图像(步骤S106)。在此,当判定为未请求时(步骤S106:否),高分辨率图像获取部1102获取第二分辨率图像(步骤S107)。进而,第二输出部1103将由高分辨率图像获取部1102获取的该第二分辨率图像输出并保存至记录介质1503(步骤S108)。
另一方面,当判定为请求了第二分辨率图像时(步骤S106:是),高分辨率图像获取部1102获取第二分辨率图像(步骤S109)。并且,发送部1204将由高分辨率图像获取部1102获取的该第二分辨率图像经由通信线路向图像接收装置1200b发送(步骤S110)。
此外,在上述的例子中,在步骤S106的判定之后,进行步骤S107以及步骤S109的处理,也可以在步骤S106的判定前进行步骤S107以及步骤S109的处理。
当在步骤S110中发送第二分辨率图像时,图像接收装置1200b的第一输出部1205接收该第二分辨率图像(步骤S130)。然后,第一输出部1205将该第二分辨率图像输出并保存至记录介质1502(步骤S131)。
(效果)
这样,在本变形例中,判定部1202即便设于图像发送装置1100b,也能够实现与上述实施方式1以及2同样的效果。
另外,在本变形例中,也与变形例1同样,可以将与比预定值高的评价值建立关联的多个被拍摄对象的各个第二分辨率图像从该评价值高的第二分辨率图像起按顺序进行发送接收。
(实施方式3)
在上述实施方式1、实施方式2以及它们的变形例中,根据评价值是否比预定值高,来切换发送第二分辨率图像或不发送第二分辨率图像。在本实施方式中,不进行上述的发送与非发送的切换,而是根据评价值是否比预定值高,切换保存第二分辨率图像或不保存第二分辨率图像。此外,对于本实施方式中的装置及其构成要素中的、与实施方式1或者2相同的装置及其构成要素,标注与实施方式1或者2相同的标号,并省略它们的详细说明。
图12是示出包含实施方式3的图像输出装置的图像处理系统的一例的构成图。
图像处理系统300S包括数码显微镜1500、图像输出装置3001、显示装置1501以及记录介质1502。
图像输出装置3001具备:图像获取部1101、高分辨率图像获取部1102、放大受理部1201、判定部1202、显示用输出部1203、第一输出部1205。也即是,本实施方式中的图像输出装置3001取代实施方式1的图像输出装置1001所具备的各构成要素中的发送部1204而具备第一输出部1205。此外,本实施方式中的图像输出装置3001具备显示用输出部1203,但与实施方式1同样,也可以不具备该显示用输出部1203。
第一输出部1205与实施方式1的变形例同样,在由判定部1202判定为评价值比预定值高的情况下,将第二分辨率图像输出并保存至记录介质1502。另一方面,第一输出部1205在由判定部1202判定为评价值不比预定值高的情况下,不将第二分辨率图像向记录介质1502输出。
(效果)
由此,在本实施方式中,与实施方式1的变形例同样,针对需要高分辨率下的诊断的检体,能够自动地保存高分辨率图像(第二分辨率图像)。另外,针对不需要高分辨率下的诊断的检体,不保存高分辨率图像,因此,能够抑制记录介质1502的空闲容量有限制。
(变形例1)
上述实施方式3中的图像输出装置3001作为1个装置而构成,但也可以如实施方式2那样,由2个装置构成。本变形例中的图像输出装置由相互经由通信线路连接的图像发送装置和图像接收装置构成。
图13是表示包含实施方式3中的第1变形例所涉及的图像输出装置的图像处理系统的一例的构成图。
图像处理系统300Sa构成为包括:数码显微镜1500、图像输出装置3001a、显示装置1501、以及记录介质1502。
图像输出装置3001a具备经由通信线路而相互连接的图像发送装置3100a以及图像接收装置3200a。此外,图像输出装置3001a作为整体具有与实施方式3的图像输出装置3001同样的功能。另外,例如,包含数码显微镜1500以及图像发送装置3100a的组被配置于无病理医师的医院等设施。包含图像接收装置3200a、显示装置1501以及记录介质1502的组例如配置于远离该医院的、有病理医师的设施。
图像发送装置3100a具备图像获取部1101。图像获取部1101从数码显微镜1500获取第一分辨率图像,经由通信线路,将该第一分辨率图像向图像接收装置3200a发送。
图像接收装置3200a具备:高分辨率图像获取部1102、放大受理部1201、判定部1202、显示用输出部1203以及第一输出部1205。本变形例的高分辨率图像获取部1102根据来自第一输出部1205的请求,经由通信线路从图像发送装置3100a获取多个第一分辨率图像。并且,高分辨率图像获取部1102基于这些第一分辨率图像生成第二分辨率图像,由此获取该第二分辨率图像。
第一输出部1205在由判定部1202判定为评价值比预定值高的情况下,向高分辨率图像获取部1102请求第二分辨率图像,从高分辨率图像获取部1102获取第二分辨率图像。另外,第一输出部1205将该第二分辨率图像输出并保存至记录介质1502。另一方面,第一输出部1205在由判定部1202判定为评价值不比预定值高的情况下,不将第二分辨率图像输出至记录介质1502。
(效果)
在这样的本变形例中的图像输出装置3001a中,即便获取被拍摄对象的图像的设施和观察该图像的设施是分离的,也能够实现与实施方式3同样的效果。
(变形例2)
在上述实施方式3中的第1变形例中,判定部1202设于图像接收装置,但也可以设于图像发送装置。第2变形例中的图像发送装置具备判定部1202。
图14是示出包含实施方式3的第2变形例的图像输出装置的图像处理系统的其它例的构成图。
图像处理系统300Sb包括:数码显微镜1500、图像输出装置3001b、显示装置1501以及记录介质1502。
图像输出装置3001b具备经由通信线路相互连接的图像发送装置3100b以及图像接收装置3200b。此外,图像输出装置3001b作为整体,具有与实施方式3的图像输出装置3001同样的功能。另外,例如,包含数码显微镜1500以及图像发送装置3100b的组被配置在无病理医师的医院等设施。包含图像接收装置3200b、显示装置1501以及记录介质1502的组例如被配置在远离该医院的、有病理医师的设施。
图像发送装置3100b具备图像获取部1101以及判定部1202。图像获取部1101从数码显微镜1500获取第一分辨率图像,经由通信线路,将该第一分辨率图像向图像接收装置3200b发送。判定部1202获取从图像接收装置3200b经由通信线路发送的上述的评价值关联信息,基于该评价值关联信息而导出评价值。另外,判定部1202判定该评价值是否比预定值高,并将该判定结果经由通信线路而通知给图像接收装置3200b。
图像接收装置3200b具备:高分辨率图像获取部1102、放大受理部1201、显示用输出部1203以及第一输出部1205。
高分辨率图像获取部1102根据来自第一输出部1205的请求,经由通信线路从图像发送装置3100b获取多个第一分辨率图像。另外,高分辨率图像获取部1102基于这些第一分辨率图像而生成第二分辨率图像,由此,获取该第二分辨率图像。
显示用输出部1203将评价值关联信息经由通信线路向图像发送装置3100b发送。由此,进行由图像发送装置3100b的判定部1202完成的判定。
第一输出部1205在确认由图像发送装置3100b通知的判定结果为肯定,也即是,在确认评价值比预定值高的情况下,向高分辨率图像获取部1102请求第二分辨率图像。另外,第一输出部1205从高分辨率图像获取部1102获取第二分辨率图像,将该第二分辨率图像输出并保存至记录介质1502。另一方面,第一输出部1205在确认从图像发送装置3100b通知的判定结果为否定,也即是,在确认评价值不比预定值高的情况下,不将第二分辨率图像向记录介质1502输出。
(效果)
这样,在本变形例中,即便判定部1202设于图像发送装置3100b,也能够实现与上述实施方式3及其变形例1同样的效果。
(实施方式4)
在此,关于上述各实施方式及其变形例的数码显微镜1500,以下,详细地进行说明。此外,以下将数码显微镜1500称为图像获取装置(数字转换器(digitizer))。
<高分辨率图像形成的原理>
在本公开中,使用通过改变照明光的照射方向而执行多次拍摄得到的多个图像,形成分辨率(分辨能力)比这些多个图像的各个图像高的图像(以下,称为“高分辨率图像”或者“高分辨能力图像”)。此外,高分辨率图像与上述的第二分辨率图像相当,用于该高分辨率图像的形成的多个图像(子图像)分别与上述的第一分辨率图像相当。首先,参照图15A~图20,对高分辨率图像形成的原理进行说明。在此,例示CCD(Charge Coupled Device:电荷耦合元件)图像传感器来进行说明。此外,在以下的说明中,有时具有实质上相同的功能的构成要素用共同的标号来表示,并省略说明。
参照图15A以及图15B。图15A是示意性地示出被拍摄对象的一部分的俯视图。图15A所示的被拍摄对象2例如是生物组织的薄片(典型地,具有几十μm以下的厚度)。获取被拍摄对象2的图像时,被拍摄对象2与图像传感器的拍摄面接近地配置。从图像传感器的拍摄面到被拍摄对象2为止的距离典型地为1mm以下,例如可以设定为1μm左右。
图15B是提取图像传感器的光电二极管中的、与图15A所示的区域的拍摄相关的光电二极管而示意性地进行表示的俯视图。在此说明的例子中,示出形成于图像传感器4的光电二极管4p中的6个光电二极管。此外,为了参考,在图15B中,图示出表示相互正交的x方向、y方向以及z方向的箭头。z方向表示拍摄面的法线方向。在图15B中,也图示出表示在xy面内从x轴朝向y轴旋转了45°后的方向即u方向的箭头。在其它的附图中,有时图示出表示x方向、y方向、z方向或者u方向的箭头。
图像传感器4中的光电二极管4p以外的构成要素被遮光层覆盖。图15B中,划阴影线的区域表示被遮光层覆盖的区域。CCD图像传感器的拍摄面上的1个光电二极管的受光面的面积(S2)比包含该光电二极管的单位区域的面积(S1)小。受光面积S2相对于像素的面积S1的比率(S2/S1)被称为“开口率”。在此,以开口率为25%进行说明。
图16A以及图16B示意性地示出透过被拍摄对象2而入射至光电二极管4p的光线的方向。图16A以及图16B表示从与拍摄面垂直的方向使光线入射的状态。如图16A以及图16B中示意性地示出的那样,在此,在被拍摄对象2与图像传感器4之间不配置用于成像的透镜,被拍摄对象2的图像使用透过被拍摄对象2的实质上平行的光线来获取。
图16C示意性地示出在图16A以及图16B所示的照射方向下获取的图像Sa(第1子图像Sa)。如图16C所示,第1子图像Sa由通过6个光电二极管4p获取的6个像素Pa构成。各个像素Pa具有表示入射至各个光电二极管4p的光量的值(像素值)。
如图16A以及图16B所示,当从与拍摄面垂直的方向照射被拍摄对象2时,透过了被拍摄对象2的整体中的、位于光电二极管4p的正上的区域的光入射至光电二极管4p。在该例子中,第1子图像Sa具有被拍摄对象2的整体中的、区域A1、A2、A3、A4、A5以及A6(参照图15A)的信息。此外,透过了不位于光电二极管4p的正上的区域的光不入射至光电二极管4p。因此,在第1子图像Sa中,被拍摄对象2的整体中的、区域A1、A2、A3、A4、A5以及A6以外的区域的信息缺失。
图17A以及图17B示出使光线从与图16A以及图16B所示的照射方向不同的照射方向入射的状态。图17A以及图17B所示的光线相对于z方向而向x方向倾斜。此时,透过了被拍摄对象2的整体中的、与位于光电二极管4p的正上的区域不同的区域的光入射至光电二极管4p。
图17C示意性地示出在图17A以及图17B所示的照射方向下所获取的图像Sb(第2子图像Sb)。如图17C所示,第2子图像Sb也由通过6个光电二极管4p获取的6个像素构成。但是,构成第2子图像Sb的像素Pb具有与被拍摄对象2的整体中的、不同于区域A1、A2、A3、A4、A5以及A6的区域B1、B2、B3、B4、B5以及B6(参照图15A)相关的像素值。换言之,第2子图像Sb不具有被拍摄对象2的整体中的、区域A1、A2、A3、A4、A5以及A6的信息,取而代之地,具有区域B1、B2、B3、B4、B5以及B6的信息。在此,例如区域B1是被拍摄对象2中与区域A1的右侧相邻的区域(参照图15A)。
如通过比较图16A以及图16B、与图17A以及图17B可以理解的那样,通过适当地改变照射方向,能够使透过被拍摄对象2的不同的区域的光线入射至光电二极管4p。结果,第1子图像Sa和第2子图像Sb能够包含与被拍摄对象2中不同的位置对应的像素信息。
图18A以及图18B示出使光线从与图16A以及图16B所示的照射方向以及图17A以及图17B所示的照射方向不同的照射方向入射的状态。图18A以及图18B所示的光线相对于z方向而向y方向倾斜。
图18C示意性地示出在图18A以及图18B所示的照射方向下所获取的图像Sc(第3子图像Sc)。如图18C所示,第3子图像Sc由通过6个光电二极管4p获取的6个像素Pc构成。如图所示,第3子图像Sc具有被拍摄对象2的整体中的、图15A所示的区域C1、C2、C3、C4、C5以及C6的信息。在此,例如区域C1是被拍摄对象2中与区域A1的上侧相邻的区域(参照图15A)。
图19A示出使光线从与图16A以及图16B所示的照射方向、图17A以及图17B所示的照射方向、以及图18A以及图18B所示的照射方向不同的照射方向入射的状态。图19A所示的光线相对于z方向,向在xy面内与x轴呈45°角的方向倾斜。
图19B示意性地示出在图19A所示的照射方向下获取的图像Sd(第4子图像Sd)。如图19B所示,第4子图像Sd由通过6个光电二极管4p获取的6个像素Pd构成。第4子图像Sd具有被拍摄对象2的整体中的、图15A所示的区域D1、D2、D3、D4、D5以及D6的信息。在此,例如区域D1是与区域C1的右侧相邻的区域(参照图15A)。这样,各个子图像Sa、Sb、Sc以及Sd包含由被拍摄对象2的不同的部分构成的像。
图20示出由4个子图像Sa、Sb、Sc以及Sd合成的高分辨率图像HR。如图20所示,高分辨率图像HR的像素数或者像素密度是4个子图像Sa、Sb、Sc以及Sd的每一个的像素数或者像素密度的4倍。
例如,关注被拍摄对象2中的、图15A所示的区域A1、B1、C1以及D1的区块。从至此为止的说明可知,图20所示的子图像Sa的像素Pa1不具有上述的区块整体的信息,而仅具有区域A1的信息。因此,子图像Sa能够称为是区域B1、C1以及D1的信息缺失的图像。
但是,通过使用具有与被拍摄对象2中不同的位置对应的像素信息的子图像Sb、Sc以及Sd,如图20所示,能够补全子图像Sa中所缺失的信息,形成具有区块整体的信息的高分辨率图像HR。各个子图像的分辨率与图像传感器4的固有分辨率相等,相对于此,在该例中,能够得到图像传感器4的固有分辨率的4倍的分辨率。高分辨率化(超析象)的程度依赖于图像传感器的开口率。在该例中,由于图像传感器4的开口率为25%,因此,通过从不同的4个方向的光照射,能够实现最大4倍的高分辨率化。当使N为2以上的整数时,如果图像传感器4的开口率近似地与1/N相等,则最大能够实现N倍的高分辨率化。
这样,以被拍摄对象为基准从多个不同的照射方向依次照射平行光来进行被拍摄对象的拍摄,由此,能够使从被拍摄对象“空间地”采样的像素信息增加。通过将所得到的多个子图像合成,能够形成比多个子图像的每一个的分辨率高的高分辨率图像。当然,照射方向不局限于参照图16A~图19B而说明的照射方向。
此外,在上述的例子中,图20所示的子图像Sa、Sb、Sc以及Sd具有被拍摄对象2中的相互不同的区域的像素信息,不具有重叠。但是,也可以在不同的子图像间具有重叠。另外,在上述的例子中,通过被拍摄对象2中相邻的2个区域的光线都入射至同一光电二极管。但是,照射方向的设定不限定于该例。例如,如图21所示,也可以将照射方向调整为通过被拍摄对象2的相邻的2个区域的光线分别入射至不同的光电二极管。
<模块>
在基于参照图15A~图20说明的原理的高分辨率图像的形成中,子图像的获取在被拍摄对象2与图像传感器4的拍摄面接近地配置的状态下执行。在本公开的实施方式中,使用具有被拍摄对象2以及图像传感器4被一体化的构造的模块来进行子图像的获取。以下,参照附图,说明模块的构成的一例以及模块的制作方法的一例。
图22A示意性地示出模块的截面构造的一例。在图22A所示的模块10中,被封固剂6覆盖的被拍摄对象2配置在图像传感器4的拍摄面4A上。在图示的例子中,透明板(典型地为玻璃板)8配置在被拍摄对象2上。即,在图22A所例示的构成中,被拍摄对象2被夹在图像传感器4与透明板8之间。如果模块10具有透明板8,则操作性提高,因此是有益的。作为透明板8,例如,可以使用一般的载片玻璃。此外,在图中,示意地示出各要素,各要素的实际的大小以及形状不一定与图中所示的大小以及形状一致。在以下要参照的其它附图中也是同样的。
在图22A所例示的构成中,图像传感器4固定于封装件5。图22B示出从图像传感器4侧观察图22A所示的模块10时的外观的一例。如图22A以及图22B所示,封装件5在与透明板8相反侧的面具有背面电极5B。该背面电极5B经由形成于封装件5的未图示的布线图案与图像传感器4电连接。即,能够经由背面电极5B而取出图像传感器4的输出。在本说明书中,将封装件与图像传感器一体化而成的构造物称为“拍摄元件”。
参照图23,说明模块10的制作方法的一例。在此,作为被拍摄对象2,例示出生物组织的薄片(组织切片)。具有生物组织的薄片来作为被拍摄对象2的模块10可以利用在病理诊断中。
首先,如图23所示,将组织切片A02载置于透明板8。透明板8可以是用于由光学显微镜进行的试样的观察的载片玻璃(slide glass)。以下,作为透明板8,例示了载片玻璃。接着,将组织切片A02按各透明板8浸渍于染色液Ss,由此,将组织切片A02染色。接着,向透明板8上供给封固剂6,据此,利用封固剂6覆盖通过将组织切片A02染色而得到的被拍摄对象2。封固剂6具有保护被拍摄对象2的功能。接着,将拍摄元件7在被拍摄对象2上配置成:图像传感器4的拍摄面与被拍摄对象2对置。这样,得到模块10。
模块10按各拍摄的对象被制作。例如在病理诊断的场景下,从1个检体准备多个(例如5~20张)组织切片。因此,具备从同一检体获得的组织切片来作为被拍摄对象2的模块10可以被制作多个。如果对这些多个模块10的每一个进行多个子图像的获取,则可以形成与多个模块10的每一个对应的高分辨率图像。
如图22A所示,模块10与用于基于光学显微镜的观察的供检载片不同,具备获取被拍摄对象2的图像的图像传感器4。也可以将这样的模块称为“电子供检载片”。如图22A所示,通过使用具有被拍摄对象2以及拍摄元件7被一体化的构造的模块10,能够得到能够固定被拍摄对象2与图像传感器4之间的配置这一优点。
当使用模块10来执行被拍摄对象2的图像的获取时,经由透明板8向被拍摄对象2照射照明光。透过了被拍摄对象2的照明光入射至图像传感器4。由此,得到被拍摄对象2的图像。一边改变光源与被拍摄对象的相对的配置,一边依次执行拍摄,由此,能够在照射时通过改变角度而获取多个不同的图像。例如,如图24A所示,在图像传感器4的正上配置光源310。另外,如果在将准直后的光CL从图像传感器4的拍摄面4A的法线方向照射至被拍摄对象2的状态下进行拍摄,则可以得到与图16C所示的子图像Sa同样的子图像。另外,如图24B所示,如果在使模块10倾斜的状态下使准直后的光CL照射至被拍摄对象2而进行拍摄,则可以得到与图17C所示的子图像Sb(或者图18C所示的子图像Sc)同样的子图像。这样,通过一边使模块10相对于光源的姿态变化、一边依次执行拍摄,能够应用参照图15A~图20说明的原理来得到高分辨率图像。
<图像获取装置>
图25示出本公开的实施方式的图像获取装置的构成的一例的概略。图25所示的图像获取装置100a具有照明系统30。在图25所例示的构成中,照明系统30包含:生成照明光的光源31、构成为模块10可装卸自如地装填的载物台32、以及构成为能够改变载物台32的姿态的载物台驱动机构33。图25示意性地示出在载物台32上装填有模块10的状态。但是,省略了模块10中的封固剂6以及透明板8的图示。模块10不是图像获取装置100a所必需的构成要素。
模块10具有在连接于载物台32的状态下,透过被拍摄对象2后的照明光入射至拍摄元件7那样的配置。照明系统30例如通过使载物台32的姿态变化,而使以被拍摄对象2为基准的照射方向变化。本说明书中的“姿态”的变化广泛地包含相对于基准面的倾斜的变化、相对于基准方位的旋转角度的变化、以及相对于基准点的位置的变化等。从以被拍摄对象2为基准的多个不同的照射方向依次利用由光源31生成的照明光来照射被拍摄对象2。照明系统30的构成的详细内容以及工作的例子在下文说明。通过改变照射方向来照射被拍摄对象2,利用拍摄元件7与多个不同的照射方向相对应地获取不同的多个图像(子图像)。使用所得到的多个图像,能够形成高分辨率图像。
图25所示的图像获取装置100a具有照射方向决定部40a。该照射方向决定部40a决定拍摄元件7在获取多个子图像时的多个不同的照射方向。在本公开的实施方式中,子图像的获取在由照射方向决定部所决定的多个不同的照射方向下执行。换言之,本公开的实施方式中的子图像是与由照射方向决定部决定的多个不同的照射方向对应的多个不同的图像。照射方向决定部40a的构成以及工作的具体例在下文说明。
接着,参照图26A~图27B,说明以被拍摄对象为基准的改变照明光的照射方向的方法的一例。
图26A以及图26B示出图像获取装置100a的例示的外观。在图26A所例示的构成中,图像获取装置100a具有:包含光源31以及载物台32的主体110、可开闭地与主体110连结的盖部120。通过将盖部120关闭,能够在图像获取装置100a的内部形成暗室(参照图26B)。
在图示的例子中,载物台32上连接有用于保持模块10的插座130。插座130可以固定于载物台32,也可以构成为能够相对于载物台32装卸。在此,例示出插座130构成为能够相对于载物台32装卸的构成。插座130例如包含:构成为模块10可以装卸的下部基材132;形成有开口部Ap的上部基材134。在图26A所例示的构成中,插座130通过在下部基材132与上部基材134之间夹着模块10,来保持模块10。
下部基材132可以具有电连接部,该电连接部具有用于与模块10的拍摄元件7电连接的电接点。在获取被拍摄对象的图像时,模块10载置于下部基材132,以使得拍摄元件7的拍摄面与光源31对置。此时,电连接部的电接点与拍摄元件7的背面电极5B(参照图22A以及图22B)接触,由此,模块10的拍摄元件7与下部基材132的电连接部被电连接。
图26C示出插座130相对于图像获取装置100a的载物台32的装填方法的一例。在图26C所例示的构成中,插座130具有从底面突出的电极136。该电极136可以是下部基材132的电连接部的一部分。另外,在图26C所示的例子中,图像获取装置100a的载物台32具有设置有插孔36的安装部34。如图26C所示,例如保持有模块10的状态的插座130以插座130的电极136插入插孔36的方式装填于载物台32。由此,被插座130保持的模块10中的拍摄元件7与图像获取装置100a之间的电连接被确立。载物台32可以具有在装填了保持模块10的插座130的状态下接受图像传感器4的输出的电路。在本公开的实施方式中,图像获取装置100a将插座130所具有的电连接部作为媒介来获取表示被拍摄对象2的图像的信息(图像信号或者图像数据)。
此外,在使用多个模块10进行多个被拍摄对象的拍摄的情况下,也可以准备与模块10相同数量的插座130,通过更换安装保持有模块10的状态的插座130来改变拍摄的对象。或者,也可以保持在载物台32上安装着1个插座130的状态不变,通过更换安装模块10来改变拍摄的对象。
如图26C所示,通过将插座130装填于载物台32,可以使得插座130的底面与安装部34的上面紧贴。由此,插座130相对于载物台32的配置被固定。因此,能够在载物台32的姿态的变化前后使载物台32和保持于插座130的模块10的配置保持为一定。典型地,在载物台32上装填有插座130的状态下,模块10的透明板8的主面与载物台32大致平行。
图27A示出改变照射方向的方法的一例。如图所示,向保持于插座130的模块10照射从光源31射出的照明光CL。照明光CL经由设置于插座130的开口部Ap,而入射至模块10的被拍摄对象。透过被拍摄对象后的光入射至模块10的拍摄元件7的拍摄面。
从光源31射出的光,典型地是准直后的光。但是,在可视为入射至被拍摄对象的光实质上为平行光的情况下,从光源31射出的光也可以不是准直后的光。
光源31例如包含LED芯片。光源31也可以包含各自在不同的波长范围具有峰值的多个LED芯片。例如,光源31也可以包含射出蓝色的光的LED芯片、射出红色的光的LED芯片、以及射出绿色的光的LED芯片。在使多个发光元件接近(例如100μm左右)地配置的情况下,可以将它们视为点光源。
使用射出相互不同的颜色的光的多个发光元件,例如,按各个照射方向将不同的颜色的光以时序方式进行照射,由此,能够获取关于各个颜色的多个子图像。例如,可以获取蓝色子图像的组、红色子图像的组、以及绿色子图像的组。使用所获取的子图像的组,就能够形成彩色的高分辨率图像。例如在病理诊断的情景下,通过利用彩色的高分辨率图像,能够得到关于有无病变等的更多的有益的信息。作为光源31,使用白色LED芯片,并且,在光路上配置滤色片,由此,能够以时序方式得到相互不同的颜色的照明光。另外,作为图像传感器4,也可以使用彩色拍摄用的图像传感器。但是,从抑制入射至图像传感器4的光电转换部的光量的降低的观点出发,不配置滤色片的构成是有利的。
光源31不局限于LED,也可以是白炽灯、激光器元件、光纤激光器、放电管等。从光源31射出的光不局限于可见光,也可以是紫外线、红外线等。光源31所具有的发光元件的数量以及配置也可以任意地设定。
如图25以及图27A所示,图像获取装置100a具有载物台驱动机构33。载物台驱动机构33包含测角(gonio)机构、旋转机构等,使载物台32相对于主体110的倾斜以及/或者关于通过载物台32的中心的轴的旋转角变化。载物台驱动机构33也可以包含能够使载物台32在基准面(典型地是水平面)内平行移动的滑动机构。
通过使载物台驱动机构33工作,能够使载物台32的姿态变化。在此,保持有模块10的状态的插座130安装于载物台32,因此,通过使载物台32的姿态变化,能够使模块10的姿态变化。例如,设载物台32不相对于基准面倾斜时的照明光的入射方向为图像传感器的拍摄面的法线方向。在此,载物台32相对于基准面的倾斜和模块10相对于基准面的倾斜(也可以称为透明板8的倾斜)之间的关系(例如,平行)在载物台32的姿态的变化前后保持为一定。因此,如图27B所示,当使载物台32相对于基准面倾斜角度θ时,入射至被拍摄对象的光线的方向也倾斜角度θ。此外,图27B中,虚线N示出图像传感器的拍摄面的法线。
这样,通过使模块10的姿态连同载物台32一起变化,能够以被拍摄对象2为基准从多个不同的照射方向依次向被拍摄对象照射照明光。因此,能够利用模块10的拍摄元件7获取与以被拍摄对象2为基准的多个不同的照射方向相对应的多个图像。以被拍摄对象2为基准的照射方向例如能够由图像传感器的拍摄面的法线N与朝向被拍摄对象2的入射光线所成的角(图27B所示的天顶角θ)、以及设定在拍摄面上的基准方位与入射光线朝向拍摄面的投影所成的角(方位角)的组来表示。
此外,通过使光源31在图像获取装置100a内移动、或者使配置在相互不同的部位的多个光源依次点亮,也可以从多个不同的照射方向照射被拍摄对象2。例如,通过使光源31沿着连结光源31与被拍摄对象2的方向移动,也可以改变照射方向。通过使载物台32的姿态的变化与光源31的移动相组合也可以使照射方向变化。
<用于模块的图像传感器>
此外,在本公开的实施方式中,图像传感器4不限定于CCD图像传感器,也可以是CMOS(Complementary Metal-Oxide Semiconductor:互补金属氧化物半导体)图像传感器或者其它的图像传感器(作为一例,下述的光电转换膜层叠型图像传感器)。CCD图像传感器以及CMOS图像传感器可以是表面照射型或者背面照射型的任意一种。以下,说明图像传感器的元件构造和入射至图像传感器的光电二极管的光的关系。
图28示出CCD图像传感器的截面构造和被拍摄对象的相对的透射率Td的分布的例子。如图28所示,CCD图像传感器大致具备:基板80、基板80上的绝缘层82、配置在绝缘层82内的布线84。在基板80形成有多个光电二极管88。在布线84上,形成有遮光层(图28中未图示)。在此,省略了晶体管等的图示。在以下的附图中省略了晶体管等的图示。此外,概略地,表面照射型CMOS图像传感器中的光电二极管附近的截面构造与CCD图像传感器中的光电二极管附近的截面构造大致是同样的。因此,在此,省略了表面照射型CMOS图像传感器的截面构造的图示以及说明。
如图28所示,在照明光从拍摄面的法线方向入射的情况下,透过被拍摄对象中的、位于光电二极管88的正上的区域R1后的照射光入射至光电二极管88。另一方面,透过被拍摄对象中的、位于布线84上的遮光层的正上的区域R2后的照射光入射至图像传感器的遮光区域(形成有遮光膜的区域)。因此,在从拍摄面的法线方向进行照射的情况下,得到表示被拍摄对象中的、位于光电二极管88的正上的区域R1的图像。
为了获取表示位于遮光膜的正上的区域的图像,从相对于拍摄面的法线方向倾斜的方向进行照射,以使得透过了区域R2的光入射至光电二极管88即可。此时,根据照射方向不同,透过了区域R2的光中的一部分有时会被布线84所遮挡。在图示的例子中,通过用阴影线表示的部分的光线不到达光电二极管88。因此,在倾斜入射中,有时像素值会降低一些。但是,并不是透过光的全部都被遮挡,因此,可以使用此时得到的子图像来形成高分辨率图像。
图29A以及图29B表示背面照射型CMOS图像传感器的截面构造和被拍摄对象的相对的透射率Td的分布的例子。如图29A所示,在背面照射型CMOS图像传感器中,即便在倾斜入射的情况下,透过光也不会被布线84遮挡。但是,透过被拍摄对象中的、与想进行拍摄的区域不同的其它的区域的光(在图29A以及下述的图29B中,以粗箭头BA示意性地示出的光)入射至基板80,由此会产生噪声,子图像的品质有可能劣化。如图29B所示,这种劣化可以通过在基板上形成有光电二极管的区域以外的区域上形成遮光层90来降低。
图30示出具备由有机材料或者无机材料形成的光电转换膜的图像传感器(以下,称为“光电转换膜层叠型图像传感器”)的截面构造和被拍摄对象的相对的透射率Td的分布的例子。
如图30所示,光电转换膜层叠型图像传感器大致具有:基板80、设置有多个像素电极的绝缘层82、绝缘层82上的光电转换膜94、光电转换膜94上的透明电极96。如图所示,在光电转换膜层叠型图像传感器中,代替形成于半导体基板的光电二极管,而在基板80(例如半导体基板)上形成进行光电转换的光电转换膜94。光电转换膜94以及透明电极96典型地遍及拍摄面的整体而形成。在此,省略了保护光电转换膜94的保护膜的图示。
在光电转换膜层叠型图像传感器中,光电转换膜94中的入射光的通过光电转换而产生的电荷(电子或者空穴)集中于像素电极92。由此,得到表示入射至光电转换膜94的光量的值。因此,在光电转换膜层叠型图像传感器中,可以说,在拍摄面中,包含1个像素电极92的单位区域与1个像素相当。在光电转换膜层叠型图像传感器中,即便在与背面照射型CMOS图像传感器同样地倾斜入射的情况下,透过光也不会被布线遮挡。
如参照图15A~图20所说明的那样,在高分辨率图像的形成中,使用表示由被拍摄对象的不同的部分构成的像的多个子图像。然而,在典型的光电转换膜层叠型图像传感器中,遍及拍摄面的整体形成光电转换膜94,因此,例如即便在垂直入射的情况下,也可以由透过被拍摄对象的期望的区域以外的区域的光在光电转换膜94产生光电转换。若此时产生的多余的电子或者空穴被引入至像素电极92,则有可能得不到适当的子图像。因此,将在像素电极92与透明电极96重叠的区域(图30中带斜线的区域)中产生的电荷选择性地引入到像素电极92是有益的。
在图30所例示的构成中,与像素电极92的各个对应地,在像素内设置有虚设电极98。在获取被拍摄对象的像时,向像素电极92与虚设电极98之间,提供适当的电位差。由此,能够将在像素电极92与透明电极96重叠的区域以外的区域中产生的电荷引入至虚设电极98,能够将在像素电极92与透明电极96重叠的区域中产生的电荷选择性地引入像素电极92。此外,通过透明电极96或者光电转换膜94的图案化,也能够得到同样的效果。在这样的构成中,可以说,像素电极92的面积S3相对于像素的面积S1的比率(S3/S1)与“开口率”相当。
如已经说明的那样,当设N为2以上的整数时,如果图像传感器4的开口率近似地与1/N相等,则可以实现最大N倍的高分辨率化。换言之,开口率小对高分辨率化是有利的。在光电转换膜层叠型图像传感器中,通过调整像素电极92的面积S3,可以调整与开口率相当的比率(S3/S1)。该比率(S3/S1)例如被设定为10%~50%的范围。比率(S3/S1)在上述的范围内的光电转换膜层叠型图像传感器可以用于超析象。
此外,从图28以及图29B可知,在CCD图像传感器以及表面照射型CMOS图像传感器中,与被拍摄对象对置的表面不是平坦的。例如,在CCD图像传感器中,在其表面上存在高低差。另外,在背面照射型CMOS图像传感器中,为获取用于形成高分辨率图像的子图像,需要在拍摄面上设置图案化的遮光层,与被拍摄对象对置的表面不是平坦的。
与此相对,从图30可知,光电转换膜层叠型图像传感器的拍摄面几乎是平坦的面。因此,即便在拍摄面上配置了被拍摄对象的情况下,也几乎不产生起因于拍摄面的形状的被拍摄对象的变形。换言之,通过使用光电转换膜层叠型图像传感器来获取子图像,能够观察被拍摄对象的更详细的构造。
以上,基于几个实施方式对一个或者多个方式所涉及的图像输出装置进行了说明,但本发明不局限于这些实施方式。只要不脱离本发明的主旨,对本实施方式实施本领域技术人员所能想到的各种变形而得的方式和/或将不同的实施方式中的构成要素进行组合而构筑的方式也可以包含于本公开。
此外,在上述各实施方式中,各构成要素可以使用专用的硬件构成,或者通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或者处理器等程序执行部读出硬盘或者半导体存储器等记录介质中所记录的软件程序(即命令)并执行来加以实现。在此,实现上述各实施方式的图像输出装置等的软件是使计算机执行图3、图4、图7、图9或者图11的流程图中的各步骤的程序。此外,程序执行部可以由1个处理器构成,也可以由多个处理器构成。
另外,在本公开中,单元、器件的全部或者一部分、或者图1、图5、图6、图8、图10、以及图12~图14所示的框图的功能块的全部或者一部分可以由包含半导体装置、半导体集成电路(IC)、或者LSI(large scale integration:大规模集成电路)的一个或者一个以上的电子电路来执行。LSI或者IC可以集成于一个芯片,也可以将多个芯片组合而构成。例如,存储元件以外的功能块可以集成于一个芯片。在此,被称为LSI或者IC,但是,根据集成的程度不同,称法会变化,可能被称为系统LSI、VLSI(very large scale integration;超大规模集成电路)、或者ULSI(ultra large scale integration;特大规模集成电路)。也能够以相同的目的使用在LSI的制造后编程的Field Programmable Gate Array(FPGA:现场可编程门阵列)、或者能够重构LSI内部的接合关系或设置LSI内部的电路划分的可重构逻辑器件。
此外,单元、装置、或者装置的一部分、全部或者一部分的功能或者操作可以通过软件处理来执行。在该情况下,软件被记录于一个或者一个以上的ROM、光盘、硬盘驱动器等非临时性的记录介质,在软件由处理装置(processor)执行的情况下,软件使处理装置(processor)和外围的器件执行软件内的特定的功能。系统或者装置也可以具备记录有软件的一个或者一个以上的非临时性的记录介质、处理装置(processor)、以及成为必要的硬件器件例如接口。
本公开具有能够减轻高分辨率图像的处理的负担这一效果,例如,能够应用于处理病理检体的高分辨率图像的图像输出装置等。