专利名称：信息处理装置以及胶囊型内窥镜系统的制作方法
技术领域：
本发明涉及一种显示被导入被检体内的胶囊型内窥镜所获取的体内图像的信息处理装置以及胶囊型内窥镜系统。
背景技术：
以往，在使用了被导入被检体内来拍摄体内的胶囊型内窥镜的被检体的诊断中进行如下作业将通过胶囊型内窥镜获取到的体内图像组以模拟动态图像或者静止图像一览的方式进行观察，来选出有异常发现的图像。该作业被称作解读。通过胶囊型内窥镜拍摄的体内图像组多达例如约6万张(约8小时)，因此提出了提取具有规定的特征的图像等来使解读作业高效化的技术(例如，参照专利文献I)。另外，在发现了异常发现的情况下，需要确定它是被检体内的哪个位置(哪个脏器)。为此，例如提出了确定胶囊型内窥镜在被检体内的位置或求出胶囊型内窥镜的轨迹的方法(例如，参照专利文献2和3)。专利文献I:国际公开第2008/041401号专利文献2:日本特开2006-187611号公报专利文献3:日本特开2010-69208号公报
发明内容
_7] 发明要解决的问题通常，通过获取拍摄各体内图像的位置并将该位置与时间序列相关联来求出胶囊型内窥镜在被检体内的轨迹。然而，胶囊型内窥镜由于蠕动运动而在被检体的消化管内移动，因此有时在相同位置往复运动几次等而示出看上去复杂的轨迹。在这种情况下，以拍摄时刻顺序排列的体内图像不能说一定以沿着从消化管的上游向下游的路径的顺序排列。本发明是鉴于上述情况而作出的，其目的在于提供一种能够生成沿着消化管的路径的体内图像组的信息处理装置以及胶囊型内窥镜系统。用于解决问题的方案为了解决上述的课题而达成目的，本发明所涉及的信息处理装置，对通过接收装置从拍摄被检体的体内图像的胶囊型内窥镜获取并以拍摄时刻顺序排列的一组体内图像数据实施图像处理，该接收装置与该胶囊型内窥镜进行无线通信，该信息处理装置的特征在于，具备存储部，其保存上述体内图像数据、以及与上述胶囊型内窥镜在上述被检体内的位置有关的信息，该信息与该体内图像 数据相关联；位置信息获取部，其根据与上述位置有关的信息来获取拍摄该体内图像时的上述胶囊型内窥镜的位置信息；相关度计算部，其根据上述体内图像数据来算出规定的体内图像间的相关度；以及更改部，其根据通过上述位置信息获取部获取到的上述位置信息和通过上述相关度计算部算出的上述相关度来更改上述体内图像的排列顺序。在上述信息处理装置中，其特征在于，在作为检查对象的第一体内图像的位置坐标的规定范围内存在已检查的第二体内图像的位置坐标、且上述第一体内图像与上述第二体内图像的相关度高于基准的情况下，上述更改部更改上述第一体内图像、上述第二体内图像以及紧挨着该第二体内图像的之前或者该第二体内图像之后排列的第三体内图像的上述排列顺序。在上述信息处理装置中，其特征在于，根据固定块的相关值、通过块匹配法求出的模板的移动量或者体内图像的明暗度变化率来判断上述相关度。
在上述信息处理装置中，其特征在于，上述更改部更改上述排列顺序使得连接上述第一体内图像、上述第二体内图像以及上述第三体内图像的位置坐标的路径最短。上述信息处理装置，其特征在于，还具备显示部，该显示部根据通过上述更改部更改后的排列顺序来显示上述体内图像。上述信息处理装置，其特征在于，还具备轨迹计算部，该轨迹计算部根据上述位置信息和通过上述更改部更改后的上述体内图像的排列顺序来算出上述胶囊型内窥镜的轨迹。在上述信息处理装置中，其特征在于，上述轨迹计算部根据保存在上述存储部中的与上述位置有关的信息来算出上述胶囊型内窥镜的轨迹，按照通过上述更改部更改后的上述排列顺序来修正上述轨迹。在上述信息处理装置中，其特征在于，在算出的轨迹的一部分通过作为检查对象的第一体内图像的位置坐标的规定范围内的情况下，上述更改部根据将该轨迹的一部分的不同的端点设为位置坐标的第二体内图像和第三体内图像来判断上述轨迹的一部分是否经由上述第一体内图像的位置坐标，在上述轨迹的一部分经由上述第一体内图像的位置坐标的情况下，上述更改部更改上述第一体内图像、上述第二体内图像以及上述第三体内图像的上述排列顺序。在上述信息处理装置中，其特征在于，根据上述第一体内图像与如下的插值图像之间的相似度、光流、或者通过块匹配法求出的模板的移动矢量来进行上述判断该插值图像是上述第二体内图像和上述第三体内图像间的插值图像。在上述信息处理装置中，其特征在于，上述更改部具有确定部，该确定部根据上述位置信息以及上述相关度来确定拍摄位置接近的体内图像组或者拍摄位置相同的体内图像组。在上述信息处理装置中，其特征在于，上述显示部间隔剔除通过上述确定部确定出的体内图像组的一部分来进行显示。本发明所涉及的胶囊型内窥镜系统，其特征在于，具备胶囊型内窥镜，其被导入被检体的体内来进行拍摄，生成表示该被检体的体内图像的体内图像数据；接收装置，其通过无线通信接收由上述胶囊型内窥镜生成的体内图像数据；以及上述信息处理装置。发明的效果根据本发明，根据体内图像的位置信息和规定的体内图像彼此之间的相关度来更改体内图像的排列顺序，因此能够降低胶囊型内窥镜的往复运动等的影响，生成沿着消化管的路径的体内图像组。
图I是表示本发明的实施方式I所涉及的胶囊型内窥镜系统的概要结构的示意图。图2是表示图I所示的胶囊型内窥镜的概要结构的示意图。图3是表示图I所示的胶囊型内窥镜以及接收装置的结构的框图。图4是表示图I所示的信息处理装置的结构的框图。
图5是表示图4所示的信息处理装置的动作的流程图。图6是表示在图4所示的信息处理装置中执行的轨迹计算处理的流程图。图7是用于说明轨迹计算处理的图。图8是用于说明检测出的轨迹是否经由检查对象的体内图像的判断方法的图。图9是表示显示在显示部的解读画面的显示例的示意图。图10是表示本发明的实施方式2所涉及的信息处理装置的结构的框图。图11是表示图10所示的信息处理装置的动作的流程图。图12是表示在图10所示的信息处理装置中执行的轨迹修正处理的流程图。图13是用于说明轨迹修正处理的图。
具体实施例方式以下，参照
本发明的实施方式所涉及的胶囊型内窥镜系统。此外，在以下的说明中，作为一个例子，例示包含被导入被检体的体内的拍摄体内图像的胶囊型内窥镜的系统，但是本发明并非限定于该实施方式。(实施方式I)图I是表示本发明的实施方式I所涉及的胶囊型内窥镜系统的概要结构的示意图。该胶囊型内窥镜系统I具备胶囊型内窥镜2，其被导入被检体10的体内来进行拍摄，并将体内图像的图像数据无线发送给接收装置3 ;接收装置3，其接收从胶囊型内窥镜2无线发送的体内图像数据；以及信息处理装置5，其根据接收装置3接收的体内图像数据来显示体内图像。胶囊型内窥镜2在从被检体10的口被吞服后，由于脏器的蠕动运动等而在被检体10的脏器内部进行移动，并且以规定时间间隔(例如O. 5秒间隔)依次拍摄被检体10的体内，对得到的摄像信号实施规定的信号处理，来生成体内图像数据。另外，胶囊型内窥镜2每当拍摄被检体10的体内图像时，将生成的体内图像数据依次无线发送给外部的接收装置3。对胶囊型内窥镜2分配用于识别胶囊型内窥镜的个体的识别信息(例如序列号)，该识别信息也与体内图像数据一起被无线发送。接收装置3具备具有多个接收天线41a 41h的天线单元4。各接收天线41a 41h例如使用环形天线来实现，配置在被检体10的体外表面上的规定位置(例如，与胶囊型内窥镜2的通过路径即被检体10内的各脏器相对应的位置)上。此外，接收天线41a 41h的配置也可以根据检查或者诊断等目的任意地变更。另外，设置在天线单元4的天线数不一定解释限定为作为接收天线41a 41h所表示的8个，少于或多于8个都没关系。在由胶囊型内窥镜2进行拍摄的期间(例如，从被检体10的口被导入通过消化管内并被排出为止的期间)，接收装置3被被检体10携带，并经由天线单元4来接收从胶囊型内窥镜2无线发送的体内图像数据。接收装置3将接收到的体内图像数据保存在内置的存储器中。另外，接收装置3将接收体内图像时的各接收天线41a 41h的接收强度信息、表示接收到的时刻的时刻信息与上述体内图像数据相对应地保存在上述存储器中。此外，这些接收强度信息以及时刻信息作为与胶囊型内窥镜2的位置有关的信息而在信息处理装置5中使用。由胶囊型内窥镜2所进行的拍摄结束后，接收装置3被从被检体10取下并连接信息处理装置5以传输(下载)体内图像数据等信息。信息处理装置5通过具备了 CRT显示器、液晶显示器等显示部的工作站或者个人计算机来实现，对经由接收装置3获取到的体内图像数据以及与位置有关的信息实施规定的处理，来将体内图像显示在显示部。另外，信息处理装置5连接有键盘、鼠标等操作输入设备5b。或者，也可以使用层叠在显示部而设置的触摸面板作为操作输入设备5b。用户(解读者)通过操作这些操作输入设备5b并对依次显示在信息处理装置5中的被检体10的体内图像进行解读，来观察(检查)被检体10内部的生物体部位(例如食道、胃、小肠以及大肠等)，并以此为基础来诊断被检体10。 另外,信息处理装置5例如具备USB (Universal Serial Bus:通用串行总线)端口，经由该USB端口来连接底座5a。底座5a是从接收装置3的存储器中读取体内图像数据的读取装置。当接收装置3安装于底座5a时，接收装置3与信息处理装置5进行电连接，将保存在接收装置3的存储器中的体内图像数据、其关联信息(接收强度信息和时刻信息以及胶囊型内窥镜2的识别信息)传输到信息处理装置5。信息处理装置5通过这样获取与被检体10有关的一系列体内图像数据及其关联信息并进一步执行后述的处理来显示体内图像。此外，也可以将信息处理装置5连接打印机等输出装置，向该输出装置输出体内图像。此外，信息处理装置5除了上述说明以外还能够以各种的方法来获取由胶囊型内窥镜2拍摄到的体内图像数据。例如，在接收装置3中，也可以使用如USB存储器、紧凑式闪存(注册商标)那样能够从接收装置3进行装卸的存储器来代替内置存储器。在这种情况下，也可以在将来自胶囊型内窥镜2的体内图像数据保存在存储器后，只将该存储器从接收装置3取下，并向例如信息处理装置5的USB端口等插入存储器等。或者，也可以对信息处理装置5设置与外部装置进行通信的功能，来通过有线或者无线通信从接收装置3获取体内图像数据。接着，详细地说明构成胶囊型内窥镜系统I的各装置。图2是表示胶囊型内窥镜2的一个结构例的示意图。另外，图3是表示胶囊型内窥镜2以及接收装置3的结构的框图。如图2所示，胶囊型内窥镜2被收容在由大致圆筒形状或者半椭圆球状的容器2b和半球形状的光学圆顶2a构成的胶囊型容器(壳体)内，该容器2b的一端形成半球状的圆顶形状而另一端开口，该光学圆顶2a通过嵌入容器2b的开口而水密地密封容器2b内。该胶囊型容器(2a、2b)是例如被检体10能够吞服的程度的大小。另外，在本实施方式中，至少光学圆顶2a是由透明的材料形成。另外，如图2和图3所示，胶囊型内窥镜2具备摄像部21，其拍摄被检体10的内部；照明部22，其在拍摄时对被检体10内部进行照明；电路基板23，其形成有分别驱动摄像部21和照明部22的驱动电路等；信号处理部24 ;存储器25 ;发送部26和天线27 ;以及电池28。摄像部21例如包含根据成像于感光面的光学图像生成被检体内图像的图像数据的(XD、CMO S等摄像元件21a、以及配设在摄像元件21a的感光面侧的物镜等光学系统21b。另外，照明部22通过在拍摄时向被检体10内发射光的LED(Light Emitting Diode :发光二极管)等来实现。这些摄像元件21a、光学系统21b以及照明部22安装在电路基板23中。摄像部21的驱动电路在后述的信号处理部24的控制下进行动作，例如定期地(例如每I秒2帧)生成表示被检体10内的图像的摄像信号并输入到信号处理部24。此夕卜，在以下的说明中，摄像部21以及照明部22作为包含各自的驱动电路而进行说明。以摄像元件21a的感光面以及照明部22的光发射方向经由光学圆顶2a朝向被检体10内的状态在胶囊型容器(2a、2b)内的光学圆顶2a侧配置安装有摄像部21和照明部22的电路基板23。因而，如图2所示，摄像部21的摄像方向以及照明部22的照明方向经由光学圆顶2a朝向胶囊型内窥镜2的外侧。由此，能够通过照明部22来照明被检体10内 部且通过摄像部21来拍摄被检体10内部。信号处理部24控制胶囊型内窥镜2内的各部，并且将从摄像部21输出的摄像信号进行Α/D转换来生成数字的体内图像数据，进一步实施规定的信号处理。存储器25临时地保存信号处理部24所执行的各种动作、在信号处理部24中实施信号处理的体内图像数据。发送部26以及天线27将保存在存储器25中的体内图像数据与胶囊型内窥镜2的识别信息一起叠加在无线信号中并发送给外部。电池28向胶囊型内窥镜2内的各部提供电力。此外，在电池28中包含对由纽扣电池等一次电池或者二次电池提供的电力进行升压等的电源电路。另一方面，接收装置3具备接收部31、信号处理部32、存储器33、接口(I/F)部34、操作部35、显示部36以及电池37。接收部31经由接收天线41a 41h接收从胶囊型内窥镜2无线发送的体内图像数据。信号处理部32控制接收装置3内的各部，并且对在接收部31中接收到的体内图像数据实施规定的信号处理。存储器33保存信号处理部32所执行的各种动作、在信号处理部32中实施信号处理的体内图像数据及其关联信息(接收强度信息以及时刻信息等)。接口部34经由底座5a向信息处理装置5发送保存在存储器33中的图像数据。用户通过操作部35输入针对接收装置3的各种操作指示、设定。显示部36向用户通知或者显示各种信息。电池37向接收装置3内的各部提供电力。图4是表示信息处理装置5的结构的框图。如图4所示，信息处理装置5具备接口(I/F)部51、临时存储部52、图像处理部53、位置信息获取部54、更改部55、相关度计算部56、轨迹计算部57、检查信息制作部58、存储部59、显示控制部60以及显示部61。接口部51接收经由底座5a输入的体内图像数据及其关联信息、经由操作输入设备5b输入的各种命令、信息。临时存储部52由DRAM、SRAM等易失性存储器来实现，临时地保存从接收装置3经由接口部51输入的体内图像数据、其关联信息。或者，也可以设置HDD(硬盘驱动器)、MO (光磁盘)、CD-R、DVD-R等记录介质以及驱动该记录介质的驱动装置来代替临时存储部52，将从接口部51输入的体内图像数据临时保存在上述记录介质中。图像处理部53对保存在临时存储部52中的体内图像数据实施白平衡处理、去马赛克、颜色转换、浓度转换(伽马转换等)、平滑化(噪声消除等)、锐化(边缘增强等)、图像识别等各种图像处理。具体地说，图像识别处理包含肿瘤性、血管性、出血性等的病变部的特征图像区域的检测、脏器的识别、用于检测出血位置的平均色的运算等。
位置信息获取部54通过根据保存在临时存储部52中的接收强度信息以及时刻信息执行位置估计处理，来获取表示胶囊型内窥镜2在拍摄各体内图像时的位置坐标的信息(位置信息)。具体地说，位置信息获取部54从临时存储部52获取与某个时刻接收到的体内图像数据相对应的各接收天线41a 41h的接收强度，并提取以各接收天线41a 41h为中心并以与接收强度相应的距离为半径的球面状的区域。此外，接收强度越弱则该半径越大。这些区域交叉的位置被估计为胶囊型内窥镜2在该时刻的位置，即拍摄到该体内图像的被检体10内的位置(以下，简称为“体内图像的位置”)。获取到的位置信息与体内图像和时刻信息相关联地保存在存储部59中。
此外，关于位置估计处理的具体方法，除了上述以外，还能应用已知的各种方法。另外，并不一定以时间序列对全部的体内图像进行位置估计处理，也可以以规定的密度对全部的体内图像进行采样来进行位置估计处理。更改部55根据通过位置信息获取部54获取到的位置信息和在后述的相关度计算部56中算出的相关度，更改以当初拍摄时刻顺序排列的体内图像的排列顺序。具体地说，更改部55根据位置信息来提取设为是否进行排列顺序更改的判断对象的体内图像，按照规定的基准对这些体内图像的相关度进行评价，由此更改成一系列体内图像在消化管内从上游向下游地表示。另外，更改部55具有判定部55a，其根据体内图像间的相关度来判断胶囊型内窥镜2是否进行了往复运动；以及确定部55b，其在被判定部55a判断为进行了往复运动的情况下确定被判断为重复拍摄的体内图像。相关度计算部56算出在更改部55中设为判断的对象的体内图像间的相关度。轨迹计算部57按照通过更改部55更改后的体内图像的排列顺序来依次连接各体内图像的位置坐标，从而算出胶囊型内窥镜2从被导入被检体10内起到被排出为止之间所通过的轨迹。检查信息制作部58根据经由操作输入设备5b输入的信息来制作与该检查有关的信息。具体地说，包含用于识别作为患者的被检体10的患者信息(ID、姓名、性别、年龄、出生年月日等)、用于识别对于被检体10的诊断内容的诊断信息(医院名、胶囊投放医生(护士)名、胶囊投放日期时间、数据获取日期时间、胶囊型内窥镜2的序列号、接收装置3的序列号等)。此外，这些检查信息既可以在从接收装置3传输体内图像数据之前预先制作，也可以在传输体内图像数据之后制作。存储部59除了保存在信息处理装置5中执行的各种处理程序之外，还保存通过图像处理部53实施了图像处理的体内图像数据、通过位置信息获取部54获得的位置信息、通过轨迹计算部57算出的轨迹数据、通过检查信息制作部58制作的检查信息等。存储部59例如通过快闪存储器、RAM (Random Access Memory :随机存取存储器)、ROM (Read OnlyMemory :只读存储器)等半导体存储器，HDD (硬盘驱动器)、MO (光磁盘)、⑶-R、DVD-R等记录介质以及驱动该记录介质的驱动装置等来实现。显示控制部60控制显示部61使得将包含体内图像以及胶囊型内窥镜2的轨迹的解读画面、其它各种信息以规定的形式进行显示。显示部61通过CRT显示器、液晶显示器来实现，在显示控制部60的控制下显示包含被检体10的体内图像的解读画面、各种信息。接着，参照图5说明信息处理装置5的动作。图5是表示信息处理装置5的动作的流程图。在步骤S 101中，当接收装置3安装在底座5a时(步骤SlOl :“是”)，开始将保存在接收装置3的存储器33中的体内图像数据及其关联信息向信息处理装置5进行传输(步骤S102)。传输的体内图像数据等保存在临时存储部52中。此外，在接收装置3没有安装在底座5a的情况下(步骤SlOl 否”)，信息处理装置5待机到安装接收装置3。在步骤S103中，当体内图像数据等的传输完成时(步骤S103 是”)，图像处理部53对保存在临时存储部52中的体内图像数据进行图像处理，位置信息获取部54根据保存在临时存储部52中的接收强度信息以及时刻信息来获取各体内图像的位置(步骤S104)。实施了图像处理的体内图像数据以及表示各体内图像的位置的位置信息保存在存储部59中。接着在步骤S105中，信息处理装置5检查以拍摄时刻顺序排列的体内图像的位置坐标来适当更改排列顺序，并且进行轨迹的计算。如果存在检查对象的体内图像(步骤S106 是”)，则重复执行该处理。在步骤S 106中，当不存在成为检查对象的体内图像时(步骤S106 否”)，存储部59保存在轨迹计算部57中算出的轨迹数据(步骤S107)。而且，在步骤S108中，显示控制部60从存储部59读出实施了图像处理的体内图像数据以及轨迹数据，将解读画面显示在显示部61。此外，关于解读画面的显示例将后文描述。接着，参照图6以及图7说明步骤S105中的轨迹计算处理。图6是表示在信息处理装置5中执行的轨迹计算处理的流程图。另外，图7的(ar(e)是用于说明轨迹计算处理的示意图。在图7的(a广(e)中分别以点a h来表示体内图像的位置。附加在各点a h的括弧内的数值(1) (8)表示点a h中的体内图像的排列顺序。当初，点a h中的体内图像以拍摄时刻顺序排列，因此在图7的(a)中，符号a h的顺序与附加在其上的排列顺序(I广⑶相对应。另外，在图7的(a)中示出到点a为止算出的轨迹Tl。首先，在步骤Slll中，更改部55提取设为检查对象的体内图像，获取包含该体内图像的位置坐标的位置信息。检查对象的提取顺序没有特别限定，只要能够覆盖全部的检查对象即可。在实施方式I中，设为从紧接着已经算出轨迹Tl的点a处的体内图像(排列顺序I)拍摄的体内图像(点b、排列顺序2)按照当初的排列顺序(2广⑶进行检查。在步骤S112中，更改部55检查是否存在在检查对象的体内图像附近拍摄到的已检查的体内图像。具体地说，判断在以检查对象的体内图像的位置坐标为中心的规定范围(例如，具有规定的边的立方体内、具有规定的半径的球体内)内是否存在已检查的体内图像的位置坐标。此外，该规定范围的大小(例如，立方体的一个边的长度、球体的半径等)例如只要根据摄像帧频和胶囊型内窥镜2的平均移动速度来决定即可。或者也可以根据位置的估计精度(进行了位置估计处理的采样密度)来决定上述规定范围的大小。例如，当检查图7的(a)所示的点b时在规定范围A(b)内不存在已检查的点。这样，在检查对象的 点的规定范围内不存在已检查的点的情况下(步骤S112 否”)，动作跳转到步骤S113。在步骤S113中，更改部55检查在检查对象的体内图像的位置附近是否存在已算出的轨迹。具体地说，判断轨迹是否通过与检查对象的体内图像相对应的点的规定范围内。例如在图7的(a)所示的点b的情况下，不存在通过规定范围A(b)内的轨迹。这样，在已算出的轨迹没有通过检查对象的点的规定范围内的情况下(步骤S113 否”)，动作跳转到步骤S114。在步骤S114中，轨迹计算部57计算将检查对象的体内图像的位置与紧挨着该体内图像之前排列的体内图像的位置相连接的轨迹。其结果，如图7的(b)所示，制作连接点a和点b的轨迹T2。接着，说明在步骤S112中存在在检查对象的体内图像附近拍摄到的已检查的体内图像时(步骤S112 是”)的处理。例如，当检查图7的(b)所示的点c时可知在规定范围A(C)内包含点a。在这种情况下，相关度计算部56算出检查对象的体内图像与判断为拍摄位置接近的体内图像(比较对象的体内图像)之间的相关度(步骤S121)。作为相关度，例如能够使用固定块的相关值、通过块匹配法求出的模板的移动量(矢量的大小)、体内图像的明暗度变化率等已知的各种指标。例如，在检查对象的体内图像与比较对象的体内图像之间，对应的固定块的相关值越高则相关度越高。另外，在块匹配法中，检查对象的体内图像与比较对象的体内图像之间的模板的移动量越小则相关度越高。而且，检查对象的体内图像与比较对象的体内图像之间的明暗度变化率越低则两者的相关度越高。在步骤S122中，判定部55a判断在相关度计算部56中算出的相关度是否高，换句话说胶囊型内窥镜2在被检体10内进行了怎样的移动。在此，认为位置相互接近的体内图像间的相关度例如受到以下的(i)liii)中说明的影响。⑴相关度变得非常高的情况例如，认为由于胶囊型内窥镜2在被检体10内进行往复运动而在重复拍摄了相同的位置的情况下体内图像间的相关度变得非常高。(ii)相关度变为中等左右 高的情况例如，认为在虽然被检体10内的肠有移动、但胶囊型内窥镜2滞留而移动距离短、或胶囊型内窥镜2在某种程度范围内进行往复运动而拍摄了比较靠近的位置的情况下相关度变为中等程度 高。(iii)相关度变低的情况例如在拍摄了肠道内不同的位置的情况下，在由于肠蜿蜒曲折而位置重叠的情况下也判断为体内图像彼此之间位置接近。在这种情况下，体内图像间的相关度变低。因此，在实施方式I中，在相关度为中等程度以上的情况(上述⑴以及(ii)的情况)下判断为体内图像间的相关度高，在相关度低的情况(上述(iii)的情况)下判断为体内图像间的相关度低。在判断为体内图像间的相关度高的情况下(步骤S122 是”)，更改部55根据检查对象的体内图像、以及比较对象及其前一张或者后一张的体内图像的位置信息来更改体内图像的排列顺序(步骤S123)。另外，此时，确定部55b将相关度高的体内图像确定为彼此之间拍摄位置接近的体内图像组，对体内图像数据设立标志使得作为属于共用的组的体内图像而处理。或者，确定部55b也可以将相关度非常高的体内图像确定为彼此之间能够被视为拍摄位置相同的体内图像组并对体内图像数据设立标志。另一方面，在判断为体内图像间的相关度低的情况下(步骤S122 否”)，保持原来的排列顺序而动作跳转到步骤S114。例如，在判断为图7的(b)所示的点c处的体内图像(检查对象)与点a处的体内、图像(比较对象)之间的相关度高的情况下，胶囊型内窥镜2在被检体10内的点a附近进行往复运动，认为在该过程的点c处进行了拍摄。在这种情况下，更改部55提取排列为点a的前一点或者后一点的点(图7的(b)的情况下，点b)的位置坐标，更改体内图像的排列顺序使得通过这三个点的路径最短。由此，如图7的(C)所示，当初的点a(l)—点b(2)—点c (3)这样的排列顺序被更改为点a(l)—点c(2)—点b(3)的顺序。接着在步骤S114中，轨迹计算部57根据更改后的 排列顺序来算出轨迹。由此，删除连接点a和点b的轨迹T2，添加将点a、点c以及点b以该顺序进行连接的轨迹T3。接着在步骤S113中，说明在检查对象的体内图像的位置附近存在已算出的轨迹时(步骤S113 是”)的处理。例如，当检查图7的(c)所示的点d时可知轨迹T3通过规定范围A(d)内。在这种情况下，更改部55判断检测出的轨迹是否经由检查对象的体内图像的位置(步骤S131)。使用例如接下来的ar(iii)中举出的任意的方法来进行该判断。(i)与插值图像之间的相似度判断在例如对点d进行判断的情况下，根据检测出的轨迹T3的两端点c和点b处的体内图像来制作插值图像。该插值图像可以考虑体内图像相互的位置关系(体内图像间的距离等)来制作。例如，如图8所示，制作将点d投影在轨迹T3中的位置d’处的插值图像。然后，算出该插值图像与点d处的体内图像之间的相似度。能够使用相关系数、明暗度的变化率、它们的组合等各种指标作为相似度。例如，相关系数越大则相似度越高。另外，明暗度的变化率越低则相似度越高。在相似度高的情况下，判断为轨迹T3经由点d。另一方面，在相似度低的情况下，判断为轨迹T3不经由点d。(ii)光流光流是指在不同时刻拍摄到的2张图像之间将映现的相同对象(被摄体位置)相关联并将其移动量表示为矢量数据而得到的。此外，作为光流的计算方法，使用块匹配、梯度法等已知的方法。在对点d进行判断的情况下，假定点d位于点c与点b之间，对点c与点d之间以及点d与点b之间算出光流，判断这些光流是否平滑地排列。在平滑地排列的情况下，判断为轨迹T3经由点d。另一方面，在没有平滑地排列的情况下，判断为轨迹T3不经由点d。(iii)利用块匹配的相关度的计算在例如对点d进行判断的情况下，在点c处的体内图像与点d处的体内图像之间以及点d处的体内图像与点b处的体内图像之间分别进行块匹配，来求出进行匹配的模板的个数。在点c与点d之间以及点d与点b之间各自进行匹配的模板的个数为规定的阈值以上的情况下，点d与点c和点b两者之间的相关性高，判断为轨迹T3经由点d。另一方面，在点c与点d之间以及点d与点b之间的任一个或者两者中进行匹配的模板的个数小于阈值的情况下，判断为轨迹T3不经由点d。或者，也可以求出进行块匹配时的相关系数的总和、相关系数的最大值代替进行匹配的模板的个数，通过将这些值与规定的阈值进行比较来判断轨迹T3是否经由点d。在判断为检测出的轨迹经由检查对象的体内图像的位置的情况下(步骤S131 “是”)，更改部55更改检查对象的体内图像和检测出的轨迹的两端的点处的体内图像的排列顺序(步骤S132)。例如，在判断为轨迹T3经由点d的情况下，更改部55按照该判断将体内图像的排列顺序更改成点C (2)—点d(3)—点b(4)的顺序。接着在步骤S 114中，轨迹计算部57删除连接点c和点b的轨迹T3，添加将点C、点d、点b以该顺序进行连接的轨迹T4(参照图7的(d))。另一方面，在判断为检测出的轨迹不经由检查对象的图像的情况下(步骤S131 “否”)，保持原来的排列顺序而动作跳转到步骤S114。以点e h为检查对象，对各检查对象设定规定范围(例如，以点e为中心的规定范围A (e))，并且进一步重复进行这种步骤Sllf S114、S121 S123以及S131 S132所示的处理。由此，制作如图7的(e)所示那样的总的轨迹R。图9是表示显示在显示部61的解读画面的显示例的示意图。解读画面100包含患者信息区域101，其显示作为患者的被检体10的识别信息；诊断信息区域102，其显示对被检体10进行的诊断的识别信息；主显示区域103，其将一系列体内图像再现为模拟动态图像或者静止图像；再现操作按钮组104，其进行显示在主显示区域103的体内图像的再现操作；缩略图区域105，其缩略显示多个体内图像的缩小图像；时间条106，其表示获取当前显示在主显示区域103的体内图像的时刻；彩色条107，其以时间序列显示包含在一系列体内图像中的各图像的平均色；以及轨迹显示区域108。其中，将缩略图区域105内的缩小图像与表示获取到这些缩小图像的时刻的时间条106上的点连线显示。另外，在彩色条107上的各时间点的显示区域中显示该时间点拍摄到的被检体内图像的平均色。在此，一系列体内图像根据拍摄到的脏器而具有特有的平均色，因此根据沿着时间轴的平均色的推移，解读者能够容易地判别各时间点的体内图像所显示的脏器。在轨迹显示区域108中在表示被检体10的被检体图像110上叠加显示在轨迹计算部57中算出的轨迹R。在显示这种解读画面100时，显示控制部60可以间隔剔除在确定部55b中确定的(设立了标志的)属于拍摄位置接近的组中的体内图像组来进行显示。或者，也可以针对属于拍摄位置相同的组中的体内图像组只显示某一个体内图像。在这些情况下，能够提高显示在主显示区域103的模拟动态图像的显示速率。或者，在将体内图像进行静止图像显示的情况下，能够减少所显示的体内图像的数量。另外，关于与时间条106连线显示的缩略图区域105的缩小图像，可以间隔剔除或者省略属于拍摄位置接近的组、拍摄位置相同的组中的体内图像组来进行显示。或者，也可以根据更改排列顺序后(根据需要而将属于拍摄位置接近的组、拍摄位置相同的组中的体内图像组进行间隔剔除等之后)的体内图像来制作距离条，与上述彩色条107 —起或者代替彩色条107显示在解读画面100上。在此，通过按照体内图像的排列顺序一维地显示各体内图像的平均色来制作距离条。在这种距离条中删除了由于胶囊型内窥镜2往复运动等而增加的多余的距离。因此，解读者能够根据平均色沿着胶囊型内窥镜2的修正后的轨迹的推移容易地判别各体内图像所显示的脏器。除此之外，也可以对各体内图像进行与排列顺序为前一张的体内图像之间的移动检测处理，根据两者间的移动量(移动矢 量的大小)来自动调节显示模拟动态图像时的显示速率。例如，能够通过对移动量大的体内图像降低显示速率而对移动量小的体内图像提高显示速率来提高解读效率。此外，这种情况下的移动检测处理既可以在更改排列顺序前的体内图像间(即，以拍摄时刻顺序排列的体内图像间)进行，也可以在更改排列顺序后的体内图像间(即，以修正后的轨迹顺序排列的体内图像间)进行。
如以上说明那样，根据实施方式1，根据体内图像的位置信息以及相关度来更改体内图像的排列顺序，因此能够降低胶囊型内窥镜2的往复运动等的影响，沿着从消化管的上游向下游的路径显示体内图像。另外，按照这种更改后的排列顺序来制作胶囊型内窥镜2的轨迹，因此能够更正确地掌握体内图像所表示的被检体10内的位置。另外，在将属于拍摄位置接近的组、拍摄位置相同的组中的体内图像组进行间隔剔除等来显示的情况下，能够减轻解读者的负担，提高解读效率。(变形例)在被检体10内，有时胶囊型内窥镜2驻留在一个位置进行旋转运动。在这种情况下，当按照图6所示的流程图来进行体内图像的检查时，虽然已检查的体内图像存在于附 近(步骤S112 是”)，但是导致出现检查对象的体内图像与比较对象的体内图像之间的相关度低(步骤S122 否”)这样的结果。在恰当地检测这种情形的情况下，在步骤S121中只要使一个体内图像旋转之后还算出相关度即可。关于此时的旋转角，只要获取胶囊型内窥镜2的朝向(旋转角)信息作为体内图像数据的关联信息并根据该信息来决定即可。此夕卜，例如能够使用在胶囊型内窥镜2中设置磁铁使得相对于旋转轴偏移并检测由该磁铁形成的磁场的方法等已知的各种方法来获取胶囊型内窥镜2的朝向信息。其结果，在获得两体内图像相关度高这样的判断的情况下(步骤S122 是”)，只要将这些体内图像作为属于拍摄位置接近的组或者拍摄位置相同的组中的体内图像来处理即可。(实施方式2)接着，说明本发明的实施方式2所涉及的胶囊型内窥镜系统。实施方式2所涉及的胶囊型内窥镜系统具备图10所示的信息处理装置6代替图4所示的信息处理装置5。另夕卜，信息处理装置6具备轨迹计算部65、更改部66以及相关度计算部67代替图4所示的更改部55、相关度计算部56以及轨迹计算部57。其它结构与图f图4所示相同。轨迹计算部65根据通过位置信息获取部54获取到的位置信息来算出胶囊型内窥镜2在被检体10内的轨迹，并且按照通过后述的更改部66更改后的体内图像的排列顺序来修正轨迹。更改部66根据通过位置信息获取部54获取到的位置信息以及在后述的相关度计算部67中算出的相关度，更改以当初拍摄时刻顺序排列的体内图像的排列顺序。相关度计算部67算出设为在更改部66中排列顺序更改的判断对象的体内图像间的相关度。图11是表示信息处理装置6的动作的流程图。在实施方式2中，其特征在于在位置信息获取部54中获取了一系列体内图像的位置信息之后以原来的排列顺序(即，以体内图像的拍摄时刻顺序)暂定制作了轨迹之后，进行各体内图像的检查并适当更改排列顺序来修正轨迹。在图11所示的步骤SlOf S104中，信息处理装置6从接收装置3获取体内图像数据及其关联信息，获取体内图像的位置信息。此外，这些步骤的详细情况与在实施方式I中说明的情况相同。接着在步骤S201中，轨迹计算部65通过依次连接以拍摄时刻顺序排列的体内图像的位置来算出胶囊型内窥镜2的轨迹。此外，显示控制部60也可以根据在该阶段算出的轨迹数据控制显示部61使得在解读画面上暂定显示轨迹。即，一边显示解读画面，一边在后台执行以下的轨迹的修正处理。在步骤S202中，信息处理装置6通过检查各体内图像的位置关系等来修正在步骤S201中算出的暂定的轨迹。如果存在检查对象的体内图像(步骤S203 是”)则重复执行该处理在步骤S203中，当不存在成为检查对象的体内图像时(步骤S203 否”)，存储部59保存在轨迹计算部65中算出的已修正的轨迹数据(步骤S107)。以后的动作与实施方式I相同。接着，参照图12和图13说明步骤S202中的轨迹修正处理。图12是表示在信息处理装置6中执行的轨迹修正处理的流程图。另外，图13的(ar(c)是用于说明轨迹修正处理的示意图。在图13的(a广(C)中示出了表示体内图像的位置的点a h以及通过这些点a h的暂定的轨迹R1。此外，附加在各点a h的括弧内的数值(1Γ(8)表示点a h处的体内图像的排列顺序。首先，在步骤S211中，更改部66提取设为检查对象的体内图像，获取包含该体内图像的位置坐标的位置信息。在实施方式2中，点a处的体内图像(排列顺序I)已检查，从之后拍摄到的点b处的体内图像(排列顺序2)沿着当初的排列顺序(2广⑶进行检查。在步骤S212中，更改部66判断是否存在在检查对象的体内图像的附近拍摄到的已检查的体内图像。具体地说，判断在以检查对象的体内图像的位置坐标为中心的规定范围(例如，具有规定的边的立方体内、具有规定的半径的球体内)内是否存在已检查的体内图像的位置坐标。例如，当检查图13的(a)所示的点b时，在规定范围B(b)内不存在已检查的体内图像。这样，在已检查的点不存在于规定范围内的情况下(步骤S212:“否”)，动作跳转到步骤S213。在步骤S213中，更改部66判断在检查对象的体内图像的位置附近，除了将该位置设为一个端部的轨迹的一部分外，是否存在将已检查的体内图像的位置设为至少一个端部的其它轨迹的一部分。具体地说，判断将已检查的体内图像的位置设为至少一个端部的其它轨迹的一部分(以下，简称为“其它轨迹的一部分”)是否通过检查对象的体内图像的位置的规定范围内。例如，当检查图13的(a)所示的点b时，不存在通过规定范围B (b)内的其它轨迹的一部分。这样，在其它轨迹的一部分没有通过规定范围内的情况下(步骤S213 “否”)，丝毫不修正轨迹而动作返回到主例程。接着，说明在步骤S212中存在在检查对象的体内图像附近拍摄到的已检查的体内图像时(步骤S212 是”)的处理。例如，当对图13的(a)所示的点c进行检查时可知在规定范围B(C)内包含点a。在这种情况下，相关度计算部67算出检查对象的体内图像与在附近摄像到的体内图像(比较对象的体内图像)之间的相关度(步骤S221)。此外，关于作为相关度所使用的指标、判断方法与在实施方式I的步骤S121(参照图6)中说明的相同。在判断为体内图像间的相关度高的情况下(步骤S222 是”)，更改部66根据检查对象的体内图像、以及比较对象及其前一张或者后一张的体内图像的位置信息，更改体内图像的排列顺序(步骤S223)。此外，此时，更改部66也可以确定拍摄位置接近的体内图像组、被视为拍摄位置相同的体内图像组，对体内图像数据设立标志使得作为属于共用的组中的体内图像来处理。另一方面，在判断为体内图像间的相关度不高的情况下(步骤S222 否”)，丝毫不修正轨迹而动作返回到主例程。例如，在判断为点c处的体内图像(检查对象)与点a处的体内图像(比较对象)之间的相关度高的情况下，更改部66提取点a的后一点的点b，更改排列顺序使得连接这3点的路径最短。由此，如图13的(b)所示，将当初的点a(l)—点b(2)—点c(3)这样的排列顺序更改为点a(l)—点c(2)—点b(3)的顺序。接着在步骤S224中，轨迹计算部65根据更改后的排列顺序来校正轨迹。由此，制作删除连接点a与点b的部分、代替它而追加了将点a、点C、点b以该顺序连接的部分的轨迹R2。
接着，说明在步骤S213中在检查对象的体内图像的附近存在其它轨迹的一部分时(步骤S213 是”)的处理。例如，在图13的(b)中，以已检查的点c和点b为两端的轨迹的一部分Rx通过点d附近即规定范围B(d)内。在这种情况下，更改部66判断检测出的轨迹的一部分是否经由检查对象的体内图像的位置(步骤S231)。该判断方法与在实施方式I的步骤S131(参照图6)中说明的相同。在判断为检测出的轨迹的一部分经由检查对象的体内图像的位置的情况下(步骤S231 是”)，更改部66更改检查对象的体内图像和检测出的轨迹的一部分的两端的点处的体内图像的排列顺序(步骤S232)。例如，在图13的(b)中，在判断为轨迹的一部分Rx经由点d的情况下，按照该判断将体内图像更改为点c (2)—点d(3)—点b(4)的顺序。接着在步骤S233中，轨迹计算部65按照新的排列顺序校正轨迹。其结果，如图13的(c)所示，获得删除轨迹的一部分Rx、追加了连接点c与点d的轨迹的一部分的轨迹R3。另一方面，在判断为检测出的轨迹的一部分不经由检查对象的体内图像的位置的情况下(步骤S231 否”)，丝毫不修正轨迹而动作返回到主例程。通过以点eli设为检查对象进一步重复进行这种步骤S2lf S213、S22f S224以及S23f S233所示的处理，来制作已修正的轨迹。根据以上说明的实施方式2，获取到位置信息后，首先进行轨迹的计算，因此能够将轨迹在早的阶段显示在解读画面上。因而，解读者能够早期地开始解读，能够提高解读效率。以上说明的实施方式不过是用于实施本发明的例子，本发明并不限于这些，根据规范等进行各种变形在本发明的范围内，而且从上述记载可知在本发明的范围内能够实现其它各种实施方式。附图标记说明I :胶囊型内窥镜系统；2 :胶囊型内窥镜；2a :光学圆顶；2b :容器；3 :接收装置；4 :天线单元；5 :信息处理装置；5a :底座；5b :操作输入设备；6 :信息处理装置；10 :被检体；21 :摄像部；21a :摄像兀件；21b :光学系统；22 :照明部；23 电路基板；24 :彳目号处理部；25、33 :存储器；26 :发送部；27 :天线；28、37 电池；31 :接收部；32 :信号处理部；34 接口部；35 :操作部；36 :显示部；41a:接收天线；51 :接口部；52 :临时存储部；53 :图像处理部；54 :位置信息获取部；55、66 :更改部；56、67 :相关度计算部；57、65 :轨迹计算部；58 检查信息制作部；59 :存储部；60 :显示控制部；61 :显示部；100 :解读画面；101 :患者信息区域；102 :诊断信息区域；103 :主显示区域；104 :再现操作按钮组；105 :缩略图区域；106 时间条；107 :彩色条；108 :轨迹显示区域；110 :被检体 图像。
权利要求
1.一种信息处理装置，对通过接收装置从拍摄被检体的体内图像的胶囊型内窥镜获取并以拍摄时刻顺序排列的一组体内图像数据实施图像处理，该接收装置与该胶囊型内窥镜进行无线通信，该信息处理装置的特征在于，具备存储部，其保存上述体内图像数据以及与上述胶囊型内窥镜在上述被检体内的位置有关的信息，该信息与该体内图 像数据相关联；位置信息获取部，其根据与上述位置有关的信息来获取拍摄该体内图像时的上述胶囊型内窥镜的位置信息；相关度计算部，其根据上述体内图像数据来算出规定的体内图像间的相关度；以及更改部，其根据通过上述位置信息获取部获取到的上述位置信息和通过上述相关度计算部算出的上述相关度来更改上述体内图像的排列顺序。
2.根据权利要求I所述的信息处理装置，其特征在于，在作为检查对象的第一体内图像的位置坐标的规定范围内存在已检查的第二体内图像的位置坐标、且上述第一体内图像与上述第二体内图像的相关度高于基准的情况下，上述更改部更改上述第一体内图像、上述第二体内图像以及紧挨着该第二体内图像之前或该第二体内图像之后排列的第三体内图像的上述排列顺序。
3.根据权利要求2所述的信息处理装置，其特征在于，根据固定块的相关值、通过块匹配法求出的模板的移动量或者体内图像的明暗度变化率来判断上述相关度。
4.根据权利要求2所述的信息处理装置，其特征在于，上述更改部更改上述排列顺序使得连接上述第一体内图像、上述第二体内图像以及上述第三体内图像的位置坐标的路径最短。
5.根据权利要求I所述的信息处理装置，其特征在于，还具备显示部，该显示部根据通过上述更改部更改后的排列顺序来显示上述体内图像。
6.根据权利要求I所述的信息处理装置，其特征在于，还具备轨迹计算部，该轨迹计算部根据上述位置信息和通过上述更改部更改后的上述体内图像的排列顺序来算出上述胶囊型内窥镜的轨迹。
7.根据权利要求6所述的信息处理装置，其特征在于，上述轨迹计算部根据保存在上述存储部中的与上述位置有关的信息来算出上述胶囊型内窥镜的轨迹，按照通过上述更改部更改后的上述排列顺序来修正上述轨迹。
8.根据权利要求6所述的信息处理装置，其特征在于，在算出的轨迹的一部分通过作为检查对象的第一体内图像的位置坐标的规定范围内的情况下，上述更改部根据将该轨迹的一部分的不同的端点设为位置坐标的第二体内图像和第三体内图像来判断上述轨迹的一部分是否经由上述第一体内图像的位置坐标，在上述轨迹的一部分经由上述第一体内图像的位置坐标的情况下，上述更改部更改上述第一体内图像、上述第二体内图像以及上述第三体内图像的上述排列顺序。
9.根据权利要求8所述的信息处理装置，其特征在于，根据上述第一体内图像与如下的插值图像之间的相似度、光流或者通过块匹配法求出的模板的移动矢量来进行上述判断该插值图像是上述第二体内图像与上述第三体内图像间的插值图像。
10.根据权利要求5所述的信息处理装置，其特征在于，上述更改部具有确定部，该确定部根据上述位置信息以及上述相关度来确定拍摄位置接近的体内图像组或者拍摄位置相同的体内图像组。
11.根据权利要求10所述的信息处理装置，其特征在于，上述显示部间隔剔除通过上述确定部确定出的体内图像组的一部分来进行显示。
12.一种胶囊型内窥镜系统，其特征在于，具备胶囊型内窥镜，其被导入被检体的体内来进行拍摄，生成表示该被检体的体内图像的体内图像数据；接收装置，其通过无线通信接收由上述胶囊型内窥镜生成的体内图像数据；以及根据权利要求I所述的信息处理装置。
全文摘要
提供一种能够生成沿着消化管的路径的体内图像组的信息处理装置以及胶囊型内窥镜系统。信息处理装置具备存储部(59)，其保存体内图像数据、以及与胶囊型内窥镜(2)在被检体内的位置有关的信息，该信息与该体内图像数据相关联；位置信息获取部(54)，其根据位置的关联信息来获取拍摄该体内图像时的胶囊型内窥镜(2)的位置信息；相关度计算部(56)，其根据体内图像数据来算出规定的体内图像间的相关度；以及更改部(55)，其根据通过位置信息获取部(54)获取到的位置信息和通过相关度计算部(56)算出的相关度来更改体内图像的排列顺序。
文档编号A61B1/04GK102639049SQ20118000472
公开日2012年8月15日 申请日期2011年6月22日 优先权日2010年9月29日
发明者小林聪美, 高杉启 申请人:奥林巴斯医疗株式会社