图像处理装置、图像处理方法以及程序的制作方法
【技术领域】
[0001 ] 本发明涉及图像处理装置、图像处理方法以及程序等。
【背景技术】
[0002]在处理动态图像、或连续的庞大的图像列时，基于在短时间内掌握整体概要的观点，通过从这些连续的图像列中提取有用的图像而生成精简后的图像列已发展为有用的技术领域。例如，利用当前所使用的通常的胶囊型内窥镜拍摄的被检体内图像在胶囊型内窥镜从口中吞入到被排出到体外之间，每隔大约0.5秒进行拍摄，从而成为大约60，000张连续的图像列。对于这些图像，依次对消化管内进行拍摄，在工作站等中显示图像并观察，由此进行诊断。但是，依次观察多达大约60，000张的大量的所有图像要耗费大量的时间，期望用于高效地进行观察的技术。
[0003]例如通过图像处理从这样的图像列检测病变部，即使在仅要显示检测出病变的图像的情况下，也较多产生连续拍摄同一病变的情况，检测出这些病变的图像也成为连续检测了同一病变的图像列。在显示所有这些图像时，虽然拍摄了不同的图像，但反复观察同一病变，从而过程冗长，因此基于省力化的观点，期望将拍摄了同一病变的图像列精简为较少数的图像列等、尚效的显不。
[0004]公开了在时间序列的多个图像中，判定拍摄在各图像中的被摄体是否相同的方法。例如在专利文献1中公开了具有以下部件的追踪装置:对象物检测单元，其从所输入的图像信息中，检测对象物；距离和位置测量单元，其在由所述对象物检测单元检测出了所述对象物的情况下，测量所述对象物相对于所述拍摄单元的距离和位置；移动范围取得单元，其取得每1帧图像相对于所述对象物的移动范围；以及判定单元，其根据由所述移动范围取得单元得到的移动范围，判定按照每帧检测出的对象物是否相同。
[0005]并且在专利文献2中公开了以下的侵入物检测追踪装置:在未检测出判断为与侵入物相同的当前侵入物的情况下，检测从该时刻起的消失时间，在消失时间为预先设定的消失确认时间以下的情况下，维持前一侵入物的估计侵入物状态(估计位置和估计几何学的特征量)作为当前侵入物的估计侵入物状态，使用这些估计位置和估计几何学的特征量，对从下次之后的图像数据中检测出的侵入物进行同一性判断。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:日本特开2008-217714号公报
[0009]专利文献2:日本特开2009-268005号公报
[0010]专利文献3:日本特开2007-257287号公报
[0011]专利文献4:日本特开2010-113616号公报
【发明内容】
[0012]发明所要解决的课题
[0013]在专利文献1中，估计作为对象的物体的移动范围，基于在估计出的移动范围内是否拍摄到了同样特性的物体，进行了同一性的判定。此外，在专利文献2中，在未检测出对象物体的期间内，通过线性近似，根据检测出的期间的物体区域的历史，进行物体位置的估计，基于估计结果，进行了同一性的判定。
[0014]专利文献1、专利文献2均假设了以下情况:作为对象的物体、和作为该物体的背景而拍摄到的被摄体是刚体的，且独立移动。但是，在由内窥镜装置拍摄的活体内图像中，被摄体进行非刚体的(弹性的)的运动。例如，如果是拍摄肠内而得到的消化管图像，则由于肠子的蠕动运动，被摄体的形状较大程度地变化。因此，即使将假设了物体的移动是线性的专利文献1或专利文献2的方法应用到以活体内图像为对象的图像列，也无法以足够的精度判定物体的同一性。其结果，在图像精简处理中，存在以下可能:由于删除不应删除的图像而产生信息的缺失，或者由于未删除能削除的图像，用户(医生)的省力化的效果下降。
[0015]根据本发明的几个方式，可提供一种使用基于图像中的至少特征区域以外的区域而求出的变形信息，进行特征区域的同一性判定处理，由此能够实现精度高的图像精简处理的图像处理装置、图像处理方法以及程序等。
[0016]用于解决课题的手段
[0017]本发明的一个方式涉及一种图像处理装置，其包含:图像列取得部，其取得具有连续的第1?第N(N为2以上(包含该值)的整数)图像的图像列；变形信息计算部，其在所述图像列中求出表示两个图像间的变形的变形信息；特征区域检测部，其在所述第1?第N图像的各图像中进行特征区域的检测处理；同一性判定部，其基于第i图像中的作为所述特征区域的所述检测处理的结果的第i特征区域、第i+Ι图像中的作为所述特征区域的所述检测处理的结果的第i+Ι特征区域、和作为所述第i图像与所述第i+Ι图像之间的所述变形信息的h(i，i+Ι)，进行所述第i特征区域与所述第i+Ι特征区域的同一"性判定处理；以及精简处理部，其基于所述同一性判定处理的结果，进行针对所述图像列的图像精简处理，所述变形信息计算部基于所述第i图像中的至少包含所述第i特征区域以外的区域的第i变形估计对象区域、和所述第i+Ι图像中的至少包含所述第i+Ι特征区域以外的区域的第i+Ι变形估计对象区域，求出h(i，i+1)。
[0018]在本发明的一个方式中，基于包含特征区域以外的区域的变形估计对象区域，求出变形信息，并使用所求出的变形信息，进行特征区域的同一性判定处理。通过使用变形信息，即使在被摄体进行弹性的变形的情况下，也能够高精度地进行同一性的判定，能够提高图像精简处理的精度等。此外，通过在变形信息的计算中使用特征区域以外的区域的信息，能够高精度地计算变形信息等。
[0019]此外，在本发明的一个方式中，也可以是，还包含变形估计处理部，所述变形估计处理部进行如下的变形估计处理:基于所述第i特征区域和h(i，i+1)，求出第i变形区域，所述第i变形区域是将所述第i特征区域投影到所述第i+Ι图像而得到的区域，所述同一性判定部基于通过所述变形估计处理而得到的所述第i变形区域、和所述第i+Ι特征区域，进行所述第i特征区域与所述第i+Ι特征区域的所述同一性判定处理。
[0020]由此，通过使用变形信息求出变形区域，能够进行特征区域的高精度的同一性判定处理等。
[0021]此外，在本发明的一个方式中，也可以是，所述图像列取得部取得时间序列的活体内图像，作为所述图像列，所述特征区域检测部检测所述活体内图像内的病变区域和异常粘膜区域中的至少一方的区域，作为所述特征区域。
[0022]由此，能够执行将活体内图像作为对象的图像精简处理等。
[0023]此外，在本发明的一个方式中，也可以是，所述变形信息计算部基于所述第i图像中的至少包含正常粘膜区域的所述第i变形估计对象区域、和所述第i+Ι图像中的至少包含所述正常粘膜区域的第i+Ι变形估计对象区域，求出所述变形信息。
[0024]由此，能够设定包含正常粘膜区域的变形估计对象区域等。
[0025]此外，在本发明的一个方式中，也可以是，在所述同一性判定部中没有判定为拍摄有同一所述特征区域的情况下，所述同一性判定部继续规定张数的、基于所述变形信息的处理，在所设定的张数以内的图像中检测出所述特征区域的情况下，进行所述同一性判定处理。
[0026]由此，即使在未发现同一特征区域的情况下，也能够继续规定张数的处理等。
[0027]此外，在本发明的一个方式中，也可以是，在由于在所述第i+Ι图像中未检测出所述特征区域，而在所述同一性判定部中没有判定为所述第i特征区域与所述第i+Ι特征区域相同，所述同一性判定部基于所述第i特征区域、所述第i+2图像中的作为所述特征区域的所述检测处理的结果的第i+2特征区域、和作为所述第i图像与第i+2图像之间的所述变形信息的h(i，i+2)，进行所述第i特征区域与所述第i+2特征区域的所述同一性判定处理。
[0028]由此，通过对第i特征区域累计进行变形估计处理，能够进行第i特征区域、和不与第i图像相邻的第i+2图像中的特征区域的同一性判定处理等。
[0029]此外，在本发明的一个方式中，也可以是，所述同一性判定部在没有判定为所述第i特征区域、和所述第i+k(k为整数)图像中的作为所述特征区域的所述检测处理的结果的第i+k特征区域相同，且k 3 Th(Th为给定的整数)的情况下，结束与所述第i特征区域相关的所述同一性判定处理，所述同一性判定部在没有判定为所述第i特征区域、和所述第i+k特征区域相同，且k < Th的情况下，基于所述第i特征区域、所述第i+k+Ι图像中的作为所述特征区域的所述检测处理的结果的第i+k+Ι特征区域、和作为所述第i图像与第i+k+Ι图像之间的所述变形信息的h(i，i+k+1)，进行所述第i特征区域与所述第i+k+Ι特征区域的所述同一性判定处理。
[0030]由此，通过对第i特征区域累计进行变形估计处理至规定张数，能够进行第i特征区域、和不与第i图像相邻的第i+k图像中的特征区域的同一性判定处理等。
[0031]此外，在本发明的一个方式中，也可以是，所述变形信息计算部求出图像内的至少1个位置处的图像间运动矢量，作为所述变形信息，所述同一性判定部基于所述第i特征区域、所述第i+ι特征区域、所述第i图像与所述第i+ι图像之间的所述图像间运动矢量，进行所述第i特征区域与所述第i+ι特征区域的所述同一性判定处理。
[0032]由此，能够将运动矢量用作变形信息等。
[0033]此外，在本发明的一个方式中，也可以是，所述同一性判定部基于第i变形区域和所述第i+Ι特征区域的形状信息、颜色信息、纹理信息和在图像内的位置信息中的至少1个信息，进行所述同一性判定处理，所述第i变形区域是使用h(i，i+1)将所述第i特征区域投影到所述第i+1图像而得到的区域。
[0034]由此，能够使用各种信息中的至少1个信息，进行同一性判定处理等。
[0035]此外，在本发明的一个方式中，也可以是，所述同一性判定部基于h(i，i+1)的可靠度，进行所述第i特征区域与所述第i+Ι特征区域之间的所述同一性判定处理。
[0036]由此，能够基于变形信息计算的可靠度，进行同一性判定处理等。
[0037]此外，在本发明的一个方式中，也可以是，所述精简处理部包含:图像组设定部，其基于所述同一性判定处理的结果，设定所述第1?第N图像中的、由被判定为拍摄了同一所述特征区域的图像构成的同一特征区域图像组；以及精简图像列生成部，其通过从所述图像组设定部所设定的所述同一特征区域图像组中至少选择1张代表图像，生成精简图像列。
[0038]由此，能够通过图像组的设定处理、和代表图像的选择处理来实现图像精简处理等。
[0039]此外，在本发明的一个方式中，也可以是，所述精简处理部基于所述同一特征区域图像组所包含的各图像中的所述特征区域的面积信息、所述特征区域的颜色信息、所述特征区域的纹理信息、所述特征区域在图像内的位置信息以及所述特征区域的所述检测处理的可靠度信息中的至少1个信息，选择所述代表图像。
[0040]由此，能够使用各种信息中的至少1个信息，进行代表图像的选择处理等。
[0041]并且，本发明的另一方式涉及一种图像处理方法，其中，进行取得具有连续的第1?第N(N为2以上(包含该值)的整数)图像的图像列的处理，进行在所述图像列中求出表示两个图像间的变形的变形信息的变形信息计算处理，在所述第1?第N图像的各图像中，进行特征区域的检测处理，基于第i图像中的作为所述特征区域的所述检测处理的结果的第i特征区域、第i+Ι图像中的作为所述特征区域的所述检测处理的结果的第i+Ι特征区域、和作为所述第i图像与所述第i+Ι图像之间的所述变形信息的h(i，i+1)，进行所述第i特征区域与所述第i+Ι特征区域的同一"性判定处理，基于所述同一"性判定处理的结果，进行针对所述图像列的图像精简处理，在所述变形信息计算处理中，基于所述第i图像中的至少包含所述第i特征区域以外的区域的第i变形估计对象区域、和所述第i+Ι图像中的至少包含所述第i+Ι特征区域以外的区域的第i+Ι变形估计对象区域，求出h (i，i+Ι)。
[0042]此外，本发明的另一方式涉及使计算机作为上述各部件发挥功能的程序。
【附图说明】
[0043]图1是本实施方式的图像处理装置的系统结构例。
[0044]图2是本实施方式的图像处理装置的详细的系统结构例。
[0045]图3的㈧?图3的(C)是说明使用特征区域以外的区域求出变形信息的方法的图。
[0046]图4是第1实施方式的方法的说明图。
[0047]图5是第1实施方式的方法的另一说明图。