光声装置和显示控制方法与流程

本发明涉及获取从通过用光照射被检体生成的光声波得到的图像数据的光声装置。

背景技术：

作为用于基于来自被检体的声波获取被检体信息的技术，存在被称为光声成像(PAI)的技术。光声成像是利用光声效应对被检体内部成像的技术，其中用脉冲光对被检体的照射导致由于被检体内部光的吸收而生成声波(光声波)。

已知的是，在光声成像中，通常，如果测量声波的区域对于要成像的区域不足，则诸如滤波反投影方法和傅立叶变换方法的解析型图像重构方法不能完全再现从其生成声波的源的形状。例如，如果只能从某个特定方向而不是从被检体周围的每个方向接收声波(称为“有限观看条件”)，则可以说测量声波的区域不足。

作为用于解决上述问题的方法，日本特许专利申请公开No.2014-180492讨论了基于关于被检体的结构的信息(从被检体的特征结构得出的特征信息)生成图像数据。根据这种方法，即使在有限观看条件下，也可以再现从其生成光声波的声源的形状。

技术实现要素：

日本特许专利申请公开No.2014-180492中讨论的方法涉及这样的风险，即，当从其生成声波的源的结构特征与关于在图像数据的生成中使用的被检体的结构的信息不同时，可能生成指示与实际结构不同的结构的图像数据。换句话说，通过在日本特许专利申请公开No.2014-180492中讨论的方法获取的图像数据可以既包括高可靠区域(与实际结构匹配的图像区域)也包括低可靠区域(指示与实际结构不同的结构的图像区域)。

本发明致力于能够显示图像数据以允许用户区分图像数据中的低可靠区域的光声装置。

根据本发明的一方面，光声装置包括被配置为用光照射被检体的光照射单元，被配置为将由于用光照射而从被检体生成的声波转换成电信号的接收单元，被配置为基于电信号获取图像数据的处理单元，及显示控制单元。处理单元在不使用关于被检体的结构的信息的情况下基于电信号获取第一图像数据，并且处理单元基于电信号和关于被检体的结构的信息获取第二图像数据。显示控制单元基于第一图像数据和第二图像数据使其中第一图像数据与第二图像数据之间的差异区域与其他区域彼此能区分的图像数据在显示单元上显示。

参照附图，本发明的其它特征将从以下对示例性实施例的描述变得清楚。

附图说明

图1是示出根据第一示例性实施例的光声装置的示意图。

图2是示出根据第一示例性实施例的计算机的具体例子的框图。

图3是示出根据第一示例性实施例的信号处理的流程图。

图4示出根据第一示例性实施例的仿真模型。

图5A、5B、5C和5D示出了根据第一示例性实施例的光吸收体的模型图和图像数据。

图6A、6B和6C各自示出了根据第一示例性实施例的图形用户界面(GUI)。

图7示出了根据第二示例性实施例的血管模型。

图8A、8B和8C各自示出了根据第二示例性实施例的GUI。

具体实施方式

在下文中，将参照附图更详细地描述本发明的示例性实施例。相同的部件原则上由相同的附图标记表示，并且将省略其冗余描述。下面描述的本发明的各个实施例能够单独实施、或者能够根据需要或在单个实施例中有利于组合各实施例的部件或特征的情况下，作为多个实施例或特征的组合而实施。

<基本配置>

将参照图1来描述作为根据本发明第一示例性实施例的被检体信息获取装置的光声装置的配置。图1是示出根据本示例性实施例的光声装置的示意图。光声装置包括光照射单元100、接收单元400、信号数据收集单元600、计算机700、显示单元800、输入单元900和保持单元1200。测量目标是被检体1000。

光照射单元100用脉冲光130照射被检体1000，并且在被检体1000中生成声波。由于光而生成并基于光声效应的声波将被称为光声波。接收单元400通过接收光声波来输出作为模拟信号的电信号。信号数据收集单元600将从接收单元400输出的作为模拟信号的电信号转换为数字信号，并将转换后的信号输出到计算机700。计算机700存储从信号数据收集单元600输出的数字信号，作为从光声波得出的信号数据。从用光照射到数字信号的输出被存储为信号数据的过程将被称为“光声测量”。

计算机700通过对所存储的数字信号执行信号处理来生成指示关于被检体1000的信息(被检体信息)的图像数据。另外，在对所获取的图像数据执行图像处理之后，计算机700将图像数据输出到显示单元800。关于被检体1000的信息的图像在显示单元800上显示。作为用户的医生可以通过检查显示在显示单元800上的关于被检体1000的信息的图像来进行诊断。

从根据本示例性实施例的光声装置获取的被检体信息例如是关于所生成的光声波的声压(初始声压)、光吸收能量的密度、光吸收系数及形成被检体1000的物质的浓度的信息当中至少一个。关于物质的浓度的信息例如是氧合血红蛋白的浓度、脱氧血红蛋白的浓度、血红蛋白的总浓度、氧饱和度。血红蛋白的总浓度对应于氧合血红蛋白的浓度和脱氧血红蛋白的浓度之和。氧饱和度对应于氧合血红蛋白与血红蛋白总量之比。根据本示例性实施例的光声装置在被检体1000中的每个位置(二维或三维空间中的每个位置)获取指示上述信息的值的图像数据。

现在，将描述根据本示例性实施例的光声装置的每个单元。

<光照射单元100>

光照射单元100包括发射脉冲光130的光源110，及将从光源1发射的脉冲光130引导到被检体1000的光学系统120。

由光源110发射的光130的脉冲宽度可以是1ns或更长且100ns或更短的脉冲宽度。另外，光130的波长可以是落在大约从400nm至1600nm范围内的波长。在对位于靠近生物体表面的血管以高分辨率成像的情况下，光130的波长可以被设置成很大程度上可以被血管吸收的波长(400nm或更长且700nm或更短)。另一方面，在生物体中的深部被成像的情况下，光声装置可以采用具有通常在生物体的背景组织(例如水，脂肪)处几乎不可吸收的波长(700nm或更长且1100nm或更短)的光。

激光器或发光二极管可以被用作为光源110。另外，在利用分别具有多个波长的光束测量被检体1000的情况下，光源110可以是能够转换波长的光源。在利用多个波长照射被检体1000的情况下的另一可能配置是准备分别生成具有彼此不同波长的光束的多个光源，并且交替地或依次从每个光源照射被检体1000。即使当使用多个光源时，它们也将被共同表示为光源。各种类型的激光器，诸如固态激光器、气体激光器、染料激光器和半导体激光器，可以被用作激光器。例如，脉冲激光器，诸如掺杂钕的钇铝石榴石(Nd：YAG)激光器和翠绿宝石激光器，可以被用作光源110。可替代地，利用Nd：YAG激光作为激发光的钛蓝宝石(Ti：sa)激光器以及光参数振荡器(OPO)激光器可以被用作光源110。

诸如透镜、反射镜和光纤的光学元件可以被用作光学系统120。在乳房等是被检体1000的情况下，期望在扩展脉冲光130的光束直径的同时照射被检体1000，借此光学系统120的光发射部分可以由漫射光130的漫射板等形成。另一方面，在光声装置充当光声显微镜的情况下，光学系统120的光发射部分可以由透镜等形成以允许在光束聚焦在其上的同时被检体1000被照射，从而增大分辨率。

可以用直接来自光源110的脉冲光130照射被检体1000，其中光照射单元100不配备光学系统120。

<接收单元400>

接收单元400包括接收元件组410及支撑接收元件组410的支撑构件420，接收元件组410包括各自通过接收声波来输出电信号的接收元件411至414。

由锆钛酸铅(PZT)代表的压电陶瓷材料、由聚偏二氟乙烯(PVDF)代表的聚合物压电膜材料等可以被用作形成接收元件411至414当中每个的构件。可替代地，可以使用除压电元件之外的其它元件。例如，可以使用静电电容型换能器(例如，电容性微加工超声波换能器(CMUT))和利用Fabry-Perot干涉仪的换能器。任何换能器都可以被采用作为接收元件411至414中的每个，只要这种换能器可以通过接收声波输出电信号即可。另外，由接收元件411至414中的每个获取的信号是时间分解信号。换句话说，由接收元件411至414中的每个获取的信号的幅值指示基于由接收元件411至414中的每个在各时刻接收的声压的值(例如，与声压成比例的值)。

支撑构件420可以由例如具有高机械强度的金属材料制成。在本示例性实施例中，支撑构件420成形为像半球形壳体并且被配置为能够在半球形壳体上支撑接收元件组410。在这种情况下，接收元件411至414的相应指向轴被聚集在半球的曲率的中心附近。然后，当利用从这些接收元件411至414输出的一组电信号对被检体1000进行成像时，在曲率的中心附近，图像质量提高。支撑构件420可以以任何方式进行配置，只要支撑构件420可以支撑接收元件组410即可。支撑构件420可以以这样的方式配置，即，多个接收元件被部署成排列在平坦表面或者弯曲表面上，例如被称为1维(D)阵列、1.5-D阵列、1.75-D阵列或2-D阵列的阵列。

另外，在本示例性实施例中，支撑构件420充当存储声匹配液体1500的容器。

另外，接收单元400可以包括放大从接收元件411至414中的每个输出的时间序列模拟信号的放大器。另外，接收单元400可以包括将从接收元件411至414中的每个输出的时间序列模拟信号转换为时间序列数字信号的模数(A/D)转换器。换句话说，接收单元400可以包括信号数据收集单元600。

理想地，期望接收元件组410被布置成从被检体1000的全周包围被检体1000，以允许从各种角度检测到声波。但是，在由于被检体1000大而无法将接收元件411至414布置成从被检体1000的全周广泛地包围被检体1000的情况下，接收元件组410可以被布置在半球支撑构件420上，以使其布局更类似于如图1中所示的从被检体1000的全周包围被检体1000的状态。

可以不同地选择接收元件411至414的布局和数量以及支撑构件420的形状，只要它们根据被检体1000被优化即可，并且关于本发明可以采用任何种类的接收单元400。

<信号数据收集单元600>

信号数据收集单元600包括放大作为从接收元件411至414中的每个输出的模拟信号的电信号的放大器，以及将从放大器输出的模拟信号转换成数字信号的A/D转换器。信号数据收集单元600可以利用现场可编程门阵列(FPGA)芯片等来实现。从信号数据收集单元600输出的数字信号被存储到计算机700中的存储单元710中。信号数据收集单元600也被称为数据获取系统(DAS)。本文的电信号是既包括模拟信号又包括数字信号的概念。信号数据收集单元600可以被连接到安装在光照射单元100的光发射部分的光检测传感器，并且其处理可以通过由来自光照射单元100的脉冲光130的发射触发而被同步起动。

<计算机700>

计算机700包括存储单元710、重构单元730、图像处理单元750及控制单元770。这些单元当中每一个的功能将在描述处理流程时描述。

存储单元710可以利用非暂时性存储介质来实现，诸如只读存储器(ROM)、磁盘和闪存。可替代地，存储单元710可以是易失性介质，诸如随机存取存储器(RAM)。存储程序的存储介质是非暂时性存储介质。

作为处理单元的负责计算功能的单元，诸如重构单元730或图像处理单元750，可以利用处理器(诸如中央处理单元(CPU)和图形处理单元(GPU)或诸如FPGA芯片的计算电路)来实现。这些单元不仅可以利用单个处理器或计算电路来实现，而且这些单元也可以利用多个处理器和/或计算电路来实现。

控制单元770利用计算元件(诸如CPU)来实现。控制单元770控制光声装置的每个单元的操作。控制单元770可以接收来自输入单元900的、根据各种操作(诸如测量的开始)而发出的指令信号，并控制光声装置的每个单元。另外，控制单元770读出存储在存储单元710中的程序代码，并控制光声装置的每个单元的激活。

计算机700可以是为其特别设计的工作站。另外，计算机700的每个单元可以利用不同的硬件设备来实现。可替代地，计算机700的单元的至少一部分可以利用单个硬件设备来实现。

图2是示出根据本示例性实施例的计算机700的具体配置的框图。根据本示例性实施例的计算机700包括CPU 701、GPU 702、RAM703、ROM 704和外部存储设备705。另外，作为显示单元800的液晶显示器801、作为输入单元900的鼠标901和键盘902连接到计算机700。

<显示单元800>

显示单元800是诸如液晶显示器和有机电致发光(EL)显示器的显示器。显示单元800是基于由计算机700获取的被检体信息等、在特定位置处的数值等来显示图像的设备。显示单元800可以显示用于操作图像和装置的图形用户界面(GUI)。

<输入单元900>

输入单元900可以包括可以由用户操作的鼠标和键盘。另外，显示单元800可以利用触摸面板构造，由此允许显示单元800充当输入单元900。

光声装置的每个单元可以被配置为单独不同的设备，或者可以被配置为一体的单个设备。可替代地，光声装置的单元的至少一部分可以被配置为一体的单个设备。

<被检体1000>

下面将描述被检体1000，尽管它不是形成光声装置的部件。根据本示例性实施例的光声装置可以被设计用于对人和动物的恶性肿瘤、血管疾病等的诊断、化学治疗、随访监视等。因此，预期将作为诊断目标的部位(诸如生物体，具体地是人或动物的乳房、脖子或腹部)作为被检体1000被处理。例如，在测量目标是人体的情况下，氧合血红蛋白，脱氧血红蛋白，包括大量氧合血红蛋白和脱氧血红蛋白的血管，靠近肿瘤形成的新血管等可以作为光吸收体目标被处理。

<保持单元1200>

保持单元1200被用来在测量期间保持被检体1000的形状。用保持单元1200保持被检体1000可以抑制被检体1000的移动并且将被检体1000的位置保持在保持单元1200内。二醇改性的聚对苯二甲酸乙二醇酯(PET-G)等可以被用作保持单元1200的材料。

期望保持单元1200由具有足以使保持单元1200保持被检体1000的硬度的材料制成。保持单元1200可以由允许在测量中使用的光130透过其的材料制成。保持单元1200可以由具有与被检体1000相似阻抗的材料制成。在具有弯曲表面的物体(诸如乳房)被作为被检体1000处理的情况下，保持单元1200可以形成为凹形。在这种情况下，被检体1000可以插入保持单元1200的凹部中。

在被检体1000不必被保持的情况下，光声装置可以不配备保持单元1200。

<声匹配液体1500>

现在将描述声匹配液体1500，尽管它不是形成光声装置的部件。声匹配液体1500用于促进声波在保持单元1200和接收元件411至414之间的传播。水、超声波凝胶等可以被用作声匹配液体1500。声匹配液体1500可以是几乎不衰减声波的液体。如果照射光透过声匹配液体1500，则声匹配液体1500可以对于照射光是透明的。被检体1000和保持单元1200之间的空间也用声匹配液体1500填充。

在本示例性实施例中，支撑构件420还充当在其中贮存声匹配液体1500的容器。被检体信息获取装置可以包括能够在接收元件411至414和被检体1000之间贮存声匹配液体1500的容器，作为与支撑构件420不同的构件。

声匹配液体1500也可以在被检体1000和保持单元1200之间提供。假设在被检体1000和保持单元1200之间实现声匹配，本示例性实施例的描述将继续。

接下来，将参照图3所示的流程来描述由计算机700执行的用于形成光声图像的方法的细节。图3中所示的流程图指示在从接收单元400输出的电信号得出的信号数据被存储到计算机700的存储单元710中之后的流程。

<步骤S100：用于在不使用关于被检体1000的结构的信息的情况下生成图像数据的处理>

在这个处理中，计算机700执行在不使用关于被检体1000的结构的信息的情况下生成图像数据的图像生成方法。这种图像生成方法对应于本发明中的第一图像生成方法，并且通过这种方法获取的图像数据对应于本发明中的第一图像数据。

重构单元730通过利用从存储单元710读出的信号数据执行第一图像生成方法来生成第一图像数据，并将生成的图像数据存储到存储单元710中。在本示例性实施例中，将参照其中通用反投影(UBP)重构被用作第一图像生成方法的例子来描述第一图像生成方法，其中UBP是解析型图像重构方法。一般而言，解析型图像重构方法是可以利用通过解析地求解以下光声波方程而获取的方程来重构图像的方法。

在这个方程中，p(r₀，t)代表在时刻t在检测器的位置r₀处检测到的理想光声信号，c代表声速，p₀(r)代表初始声压分布。另外，δ代表delta函数。作为解析型图像重构方法，存在各种方法，其具体的例子包括滤波反投影法、傅立叶变换法等。例如，被称为UBP的方法可以由以下方程表示。

在这个方程中，S₀代表围绕声源的检测表面，Ω₀代表立体角度并且在半无限平面中是2π并且在无限圆柱和球面中是4π。另外，dΩ₀代表检测器dS₀相对于任意观察点P的立体角度。初始声压分布P₀(r)可以通过执行根据方程(2)的积分的在[]中指示的投影数据的反投影来获取。

解析型图像重构方法的使用允许光声装置获取如下图像数据，其中，当(能够检测所有带和点的)理想接收元件被布置在无限平面、无限圆柱或球面上而没有留下任何间隙时，声源被完全再现。

另一方面，如果图像是利用来自接收单元400的信号解析地重构的，在接收单元400中接收单元组410布置在半球形支撑构件420上，如图1中所示，则声源不能被再现。将参照利用图4中所示的模型的仿真结果来描述其原因。在本仿真中，用于仿真的模型是以这样一种方式假设的，即，包括布置在半球上的接收元件组的接收单元1400接收从环形光吸收体1100(声源模型)生成的光声波。在这种情况下，声波1600从环形光吸收体1100起在360度的每个方向上传播。在方向1600A中传播的声波1600被接收单元1400接收，但在方向1600B中传播的声波1600不被接收单元1400接收。结果，在解析型图像重构方法中，声波1600未被接收到的区域被认为是其中存在未接收到声波1600的接收元件的区域。另外，这导致在重构的图像中成像声源的失败，尽管事实上声波1600是从声源生成的。

图5A示出了光吸收体1100，它是也在图4中示出的声源模型。另外，图5B示出了利用从接收单元1400输出的信号通过解析型图像重构方法(UBP重构)获取的光吸收体1100的第一图像数据。如从图5B所理解的，在通过UBP重构获取的图像中，不能在光吸收体1100的中心部分处可视地确认图像。这种现象被称为有限观看问题，并且实际声源的图像不能利用解析型图像重构获取的条件被称为有限观看条件。但是，通过解析型图像重构获取的图像数据可以充当关于清楚成像的结构的高度可靠的数据。这是因为，与利用关于被检体1000的结构的信息的图像生成方法相比，当获取图像数据时估计程度是小的，这将在下面描述。

已经参照作为例子的解析型图像重构描述了用于获取第一图像数据的图像生成方法，但是第一图像数据可以通过任何图像生成方法生成，只要这种方法是不使用关于被检体1000的结构的信息的图像生成方法即可，这将在下面描述。例如，可以作为用于获取第一图像数据的图像生成方法采用的方法包括不考虑关于被检体1000的结构的信息的时间反转方法，包括Tikhonov正则化项的基于模型的方法等等。

<步骤S200：用于基于关于被检体1000的结构的信息生成图像数据的处理>

在这个处理中，计算机700执行用于基于关于被检体1000的结构的信息生成图像数据的图像数据生成方法。这种图像生成方法对应于本示例性实施例中的第二图像生成方法，并且通过这种方法获取的图像数据对应于本示例性实施例中的第二图像数据。下面将详细描述这种图像生成方法。

在这个处理中，重构单元730可以通过利用从存储单元710读出的信号数据基于关于被检体1000的结构的信息执行图像生成方法来生成第二图像数据。换句话说，重构单元730可以基于关于被检体1000的结构的信息来执行重构。可替代地，图像处理单元750可以执行用于基于在步骤S100中获取的第一图像数据和关于被检体1000的结构的信息来生成第二图像数据的图像生成方法。以这种方式获取的第二图像数据被存储到存储单元710中。下面将描述每种图像生成方法。

<基于关于被检体1000的结构的信息的重构>

首先，将定义关于被检体1000的结构的信息。根据本示例性实施例，关于被检体1000的结构的信息是指从被检体1000内部的测量目标的特征结构得出的特征信息。例如，如果测量目标是血管，则关于被检体1000的结构的信息是指这个血管的结构特征。这些种类的特征信息也被称为预获取信息，因为它能够在测量之前被知道。

在利用关于被检体1000的结构的信息的重构中，例如，求解方程(3)可以实现重构，在该重构中引入了从被检体1000内部的测量目标的特征结构得出的特征信息。

在这个方程中，E代表成本函数。另外，p_d代表从接收单元400的接收元件411至414中每个输出的信号(时间分解信号)。另外，p_c代表作为由于当被检体1000中的声源分布(初始声压分布)数据被任意假设时从其生成的声波而从接收元件411至414中每个输出的信号、根据数值计算(仿真)获取的信号。另外，p₀代表上述假设的声源分布数据。

方程(3)右手侧的第一项是最小二乘项。首先，根据仿真估计在被检体1000中的任意假设的声源分布(p₀)中应当在每个接收元件位置处被获取的光声信号(p_c)。接下来，估计的假设信号(p_c)和从测量获取的实际测量信号(p_d)彼此进行比较。然后，如果假设的信号和实际测量的信号在它们之间的差落在预定的数值范围内的情况下彼此匹配，则在此时假设的声源分布(p₀)被确定为最优解。方程(3)右手侧的第一项是用于这些功能的项。

右手侧的第二项f(p₀)被称为正则化项、约束项或惩罚项。正则化项是用于对作为其前项的最小二乘成本函数的解施加约束的项，借此将候选缩小到更适当的解。另外，λ是任意常数和用于平衡最小二乘项和正则化项的值，并且通常是预设的值。在这种情况下，假设的声源分布p₀被设置为在右手侧的第二项定义的函数(正则化项)中的变量。包括由成本函数E评估的值的此函数尽可能多地被最小化的被检体1000中的这种声源分布(p₀)被确定为最优解的候选。

换句话说，重构单元730可以通过执行基于模型的重构来获取第二图像数据，该基于模型的重构利用优化方法求解包括实际测量的信号与假设的信号之间的差和基于关于被检体1000的结构的信息的正则化项的成本函数。

根据本示例性实施例的正则化项是由重构单元730基于关于被检体1000的结构的信息设置的项。例如，假定当光声成像被应用到生物体时使用400至1100nm的光。在这种情况下，血红蛋白的吸收系数通常高于诸如脂肪和水的其他成分，使得包括大量血红蛋白的血管(血液)被成像。因此，期望确定包括血管结构的大量特征的解，作为优化问题的解(最优估计的解)。换句话说，根据本示例性实施例的正则化项是施加包括被检体1000的大量特征结构(例如血管结构)的解作为最优解被获取的这样一种约束的正则化项。

作为用于确定正则化项的方法，正则化项可以基于被检体1000的特征结构的机器学习来确定。关于血管结构，已知三维血管结构可以使用造影剂通过X射线计算机断层摄影(CT)或核磁共振成像(MRI)来成像。通过利用CT或MRI对各种血管成像并对其应用信号处理技术，可以从这个捕获的图像生成描述血管图像的特征的基底图像用于其的方法的例子包括主成分分析、独立主成分分析、非负矩阵因数分解、稀疏信号分解。一旦描述图像的特征的基底图像可以通过这种方法被获取，在声光成像中获取的血管图像p_0，vessel就可以利用基底图像近似表示为由以下方程(4)指示的那样。

在这个方程中，a_i(i＝0...n)代表每个基底的系数。假设代表其中所获取的基底被布置的基矩阵，并且a＝(a₀，a₁，...a_n)代表其中所获取的系数被布置的系数向量，方程(4)可以利用该矩阵被表示为p_0，vessel＝Φa。

通常，基向量的数量n和图像的维度彼此一致，但是也可以使基向量的数量n大于图像的维度并且这种情况被称为超完备基矩阵。在这种情况下，基底可以被称为帧。当在光声成像中获取的血管图像p_0，vessel利用超完备基矩阵被分解时，系数向量不是唯一地确定的。另外，利用被称为稀疏信号分解的方法生成图像的基底(帧)可以导致生成只有系数向量a中少量系数a_n具有非零值并且大多数剩余系数变为零的这种基底。通过这种方法生成的基底的使用允许以少量的基底高效地表示图像。换句话说，借助超完备基矩阵使系数向量冗余并且还用少量的基底表示图像允许图像被表示为更好的近似图像，并且还增强了针对噪声的鲁棒性。

在本示例性实施例中，重构单元730还设置用于估计其中可以利用所生成的基底高效地表示图像的解的正则化项，借此允许精确地再现声源分布(血管结构)。例如，如果假设超完备基矩阵是利用稀疏信号分解生成的并且血管图像用尽可能少的基底构建(稀疏表示)，则预期的解可以通过使表示为方程(5)的成本函数E最小化来获取。

换句话说，重构单元730通过施加图像利用少量基底构建的约束来去除不必要的信息，这进一步有利于包括血管的特征的图像的重构。在本示例性实施例中，已经参照其中血管通过光声成像来成像的例子描述了图像生成方法，但是除血管之外的其它组织的结构可以依赖要被使用的光130的波长和要测量的部位来成像。例如，包括大量脂肪的斑块和包括大量黑色素的组织可以被成像。在这种情况下，可以通过使用能够表示包括大量脂肪的斑块、包括大量黑色素的组织等的特征的基底来应用上述方法。

现在，将在下面描述具体的计算例。例如，通过空间离散化和以矩阵的形式表示，方程(1)可以由以下方程表示。

p_d＝Ap₀...(6)

在这个方程中，p_d代表表示从接收元件411至414中每个输出的信号的列向量。另外，p₀代表表示离散的声源分布(初始声压分布)的列向量。另外，A代表表示从一些极小的声源生成的光声波被接收元件411、412、413或414接收并且被转换为信号的正向模型矩阵(以矩阵形式表示的算子)。在实践中，生成正确地建模光声波的传播和接收元件411至414中每个的接收特征的正向模型矩阵。为此，考虑到接收元件411至414中每个的接收特征，诸如接收元件411至414中每个的尺寸效应(指向性)和脉冲响应、入射光的脉冲宽度、光声波的反射和衰减等，正向模型矩阵A被预先生成，并且存储在存储单元710中。例如，接收单元400的相应接收元件411至414通过接收由于用光130照射被检体1000生成的光声波而输出的一组信号被作为列向量(p_d)存储到存储单元710中。然后，如果矩阵A是正则矩阵，则矩阵A具有逆矩阵，使得初始声压分布p₀可以由方程(7)表示。

p₀＝A^-1p_d...(7)

在这个方程中，A^-1代表矩阵A的逆矩阵。如从这个方程理解的，声源分布p₀可以通过将接收到的声压向量乘以矩阵A的逆矩阵来获取。相反，重构单元730可以通过将假设的声源分布(矩阵向量)p₀乘以正向模型矩阵A来获取方程(3)中的p_c。

但是，当使用如图1中所示配置的半球形接收单元400时，这种情况对应于如上所述的有限观看条件，使得矩阵A不是正则矩阵。因此，矩阵A不具有逆矩阵。在这种情况下，重构单元730求解有条件的优化问题，用于获取最小化如由方程(3)指示的那样表示的成本函数E的p₀。

现在，作为血管结构的特征，存在Murray定律，该定律被称为血管分叉模型。重构单元730可以根据Murray定律基于关于被检体1000的结构的信息来设置正则化项。根据Murray定律，假设r₀代表分叉之前的血管宽度，并且r₁和r₂分别代表分叉之后的血管宽度，建立由方程(8)表示的关系。

另外，假设θ₁和θ₂分别代表分叉之后的分叉角度，建立由方程(9)和(10)表示的关系。

换句话说，作为表示血管的特征结构的冗余基底的帧(d)可以通过利用Murray定律数值生成各种血管图像并执行对这些图像数据的机器学习来生成。在本示例性实施例中，这被用作关于被检体1000的结构的信息。然后，假设D＝(d₀，...，d_n)代表帧矩阵(字典)并且α＝(α₁，...，α_n)代表系数向量，则估计的声源分布p₀由以下方程(11)表示。

p₀＝Dα...(11)

换句话说，声源分布p₀可以由字典D中的帧(d)的组合来表示，其是关于被检体1000的结构的信息。在这种情况下，假设声源分布p₀利用更少量的帧(稀疏表示)构造，则最优声源分布p₀可以通过求解以下方程(12)来获取。

可以引入最优声源分布以最小数量的帧构造的约束。

通过对从由图5A中所示的环形光吸收体1100生成的光声波得出的信号数据执行这种重构，重构单元730可以获取图5C中所示的图像数据。换句话说，通过这种重构，重构单元730可以形成比图5B更接近图5A的图像。但是，在由关于被检体1000的结构的信息所指示的结构与被检体1000的结构彼此不匹配的情况下，图5A中所示的环形光吸收体1100可能如图5D中所示那样被重构。在这种情况下，仅向用户呈现图5D中所示的图像数据不允许用户确定哪个区域是高可靠区域。

利用关于被检体1000的结构的信息的重构方法不限于利用本文所述的稀疏表示的重构方法，而可以是任何重构方法，只要这种方法是能够引入对被检体1000的多少特征结构被包含在假设的声源分布中的评估的重构即可。

<用于基于关于被检体1000的结构的信息校正图像的处理>

这种方法是其中图像处理单元750通过基于关于被检体1000的结构的信息执行图像处理来校正在步骤S100中由重构单元730获取的第一图像数据的方法。首先，图像处理单元750读出存储在存储单元710中的第一图像数据。虽然在上面已经描述过，但是如图5B中所示其中声源的形状不能完全再现的第一图像数据由如同1中所示配置的装置在有限观看条件下获取。假设g代表这种第一图像数据，其中声源的形状不能被完全再现，并且g～代表校正后的图像数据。根据本示例性实施例利用关于被检体1000的结构的信息的图像处理方法可以被公式化为例如以下方程(13)。

在这个方程中，g～代表最优校正图像数据。右手侧的第一项是最小二乘项，并且第二项中的f(g～)和λ分别代表正则化项和指示分配给正则化项的权重的参数。利用关于被检体1000的结构的信息的重构是相对于信号数据假设声源分布p₀并且求解用于优化包括实际测量的信号与假设的信号之间的差的成本函数的优化问题的方法。另一方面，这种图像处理通过相对于第一图像数据假设校正后的图像数据g～并求解用于优化包括第一图像数据与校正后的图像数据(假设图像数据)之间的差的成本函数的优化问题来获取校正后的图像数据g～的最优解。图像处理单元750可以利用关于被检体1000的结构的信息作为正则化项f(g～)来设置与重构中的正则化项f(p₀)类似的项。

通过执行这种图像处理，图像处理单元750可以将图5B中所示的第一图像数据校正成图5C中所示的校正后的图像数据(第二图像数据)。但是，在由关于被检体1000的结构的信息所指示的结构与被检体1000的结构彼此不匹配的情况下，图像可能被重构为如图5D中所示那样。在这种情况下，仅向用户呈现图5D中所示的图像数据不允许用户确定哪个区域是高可靠区域。

利用关于被检体1000的结构的信息的图像处理不限于利用稀疏表示的图像处理，而可以是任何方法，只要这种方法是能够引入对被检体1000的多少特征结构包含在第一图像数据中的评估的图像处理方法即可。

如上所述，在本示例性实施例中，计算机700基于从接收单元400获取的信号和关于被检体1000的结构的信息生成第二图像数据。

<步骤S300：用于显示第二图像数据的处理>

作为显示控制单元的控制单元770从存储单元710读出在步骤S200中获取的第二图像数据，将读取的图像数据传送到显示单元800，并且使传送的图像数据显示在显示单元800上。但是，这个第二图像数据已经利用关于被检体1000的结构的信息进行了估计。因此，第二图像数据可以包括仅根据关于被检体1000的结构的信息形成的而不是依赖于图像数据中的位置基于来自接收单元400的信号重构的区域，借此包括低可靠区域。另外，仅显示第二图像数据不允许用户确定在所显示的图像数据中每个位置处的可靠性是高还是低。

<步骤S400：用于在第一图像数据和第二图像数据之间的差异区域与其他区域之间能区分地显示第二图像数据的处理>

作为显示控制单元的控制单元770使第二图像数据显示在显示单元800上以能够彼此区分第一图像数据和第二图像数据之间的差异区域与其他区域。以这种方式使得第二图像数据被显示使得能够在第二图像数据中彼此区分从关于被检体1000的结构的信息推导地估计的区域与根据从接收单元400输出的信号得出的高可靠区域。

例如，控制单元770可以利用第一图像数据和第二图像数据来提取差异区域，并且通过不同的显示方法使这个区域显示。首先，控制单元770从存储单元710读出第一图像数据和第二图像数据，并且生成指示第一图像数据与第二图像数据之间的差异的差异图像数据。控制单元770识别包括在差异图像数据的图像值当中预定数值范围内的像素或体素，并且将识别出的像素或体素设置为差异区域。例如，控制单元770识别差异图像数据的图像值当中超过预定阈值的像素或体素，并设置差异区域。然后，控制单元770改变用于显示包括在差异区域中的像素或体素的方法，以及用于显示包括在第二图像数据中的其他区域中的像素或体素的方法，借此使得每个区域彼此能区分地显示。例如，控制单元770可以使第二图像数据被显示以能够通过例如对每个区域改变颜色或改变是否以闪烁方式呈现显示来区分第二图像数据中的区域。

另外或可替代地，控制单元770可以使第二图像数据显示在显示单元800上，同时第一图像数据的图像值与色调和饱和度中至少一个相关联，并且第二图像数据的图像值与亮度相关联。这种显示允许用户基于不同的颜色确认由第一图像数据定义的高可靠区域和第二图像数据中的在第一图像数据中缺失的低可靠区域。

另外或可替代地，控制单元770可以使第一图像数据和第二图像数据在与分配给它们的不同色调叠加的同时被显示。此时，第一图像数据和第二图像数据彼此重叠的区域可以以分配给高可靠的第一图像数据的颜色显示。基于高可靠的图像数据显示图像有助于区分可能导致误诊的低可靠区域。可替代地，第一图像数据和第二图像数据彼此重叠的区域可以以与分配给第一图像数据和第二图像数据的任何色调不同的色调显示。如果第一图像数据和第二图像数据在显示单元800上显示，其中在用于显示第一图像数据和第二图像数据的方法之间进行改变，则期望叠加图像以有助于图像之间的比较。

图6A、6B和6C各自示出在显示单元800上显示的GUI的示例。显示屏810、UBP图标821、结构估计图标822、差异区域图标823和箭头图标830在GUI上显示。用户可以通过操作输入单元900来移动箭头图标830，并且选择各种图标821、822和823。

图6A示出了当UBP图标821被选择时的GUI。当UBP图标821被选择时，控制单元770从存储单元710读出第一图像数据，并且使读取的第一图像数据显示在显示屏810上。换句话说，UBP图标821与第一图像数据关联。

图6B示出了当结构估计图标822被选择时的GUI。当结构估计图标822被选择时，控制单元770从存储单元710读出第二图像数据，并且使读取的第二图像数据显示在显示屏810上。换句话说，结构估计图标822与第二图像数据关联。

图6C示出了当差异区域图标823被选择时的GUI。当差异区域图标823被选择时，控制单元770从存储单元710读出第一图像数据和第二图像数据。然后，控制单元770使第二图像数据显示在显示屏810上，以通过在步骤S400的描述中所描述的方法使差异区域与其它区域彼此能区分。在本文中，第二图像数据以在差异区域与其他区域之间改变的颜色显示。换句话说，差异区域图标823与第一图像数据和第二图像数据两者关联。

如上所述，控制单元770执行控制以切换显示第一图像数据的模式、显示第二图像数据的模式和显示第二图像数据以使得差异区域能区分的模式。光声装置可以以这种方式切换显示的图像数据，借此允许用户在从多个图像全面地确定所显示信息的可靠性的同时进行诊断。

添加到图6A、6B和6C中所示的图标的标签可以是任何标签。另外，用于选择显示模式中每个的方法不限于在GUI上使用箭头图标830等的方法，而可以是任何方法，只要这种方法可以切换显示模式即可。例如，显示模式可以经由由诸如按钮的硬件设备实现的输入单元900切换，或者可以由控制单元770自动切换。

另外，光声装置可以是仅包括显示第二图像数据以使得差异区域能区分的模式的装置。即使在这种情况下，光声装置也可以显示图像数据以能够区分从关于被检体1000的结构的信息推导地估计的区域。

下面将描述本发明的第二示例性实施例。在本示例性实施例中，当显示第二图像数据时，可以改变被检体的结构的估计程度。在本示例性实施例中，描述其中第一示例性实施例中描述的光声装置获取图7中所示的血管图像数据的情况。

图8A、8B和8C各自示出了根据本示例性实施例在显示单元800上显示的GUI的示例。与图6A、6B和6C中类似的部件将用相同的附图标记表示，并且将省略其描述。小程度估计图标841和大程度估计图标842在图8A、8B和8C中所示的每个GUI上显示。这些图标841和842是与方程(3)、(5)、(12)和(13)中指示的λ关联的图标。小程度估计图标841是与具有小值的λ关联的图标，大程度估计图标842是与具有大值的λ关联的图标。如果小程度估计图标841被选择，则这种选择导致利用具有小值的λ的计算。另一方面，如果大程度估计图标842被选择，则这种选择导致利用具有比选择小程度估计图标841时的值更大值的λ的计算。换句话说，在本示例性实施例中，用户可以基于关于被检体的结构的信息来设置图像数据的估计程度。

图8A示出了当UBP图标821被选择时的GUI。比较在图8A中所示的显示屏810上显示的第一图像数据与作为图7中所示测量目标的血管，应当理解，区域811a、811b、811c和811d中的血管未能被再现。如图8A中所示，当与第一图像数据关联的UBP图标821被选择时，图标841和842被禁用并且不可选择。

图8B示出了当差异区域图标823和小程度估计图标841被选择时的GUI。当小程度估计图标841被选择时，重构单元730或图像处理单元750读出存储在存储单元710中的对应于小程度估计图标841的λ，并生成第二图像数据。然后，控制单元770利用通过使用对应于小程度估计图标841的λ获取的第二图像数据，通过在步骤S400的描述中所描述的方法显示第二图像数据。如图8B中所示，结构812a和812b可以是基于对应于小程度估计图标841的λ来估计的。

图8C示出了当差异区域图标823和大程度估计图标842被选择时的GUI。当大程度估计图标842被选择时，重构单元730或图像处理单元750读出存储在存储单元710中的对应于大程度估计图标842的λ，并生成第二图像数据。然后，控制单元770利用通过使用对应于大程度估计图标842的λ获取的第二图像数据，通过在步骤S400的描述中所描述的方法显示第二图像数据。如图8C中所示，结构813a和813b以及结构814a、814b和814c可以是基于对应于大程度估计图标842的λ来估计的。比较图7中所示的血管与图8C中所示的图像数据，关于结构813a和813b，血管的正确再现已成功。但是，结构814a、814b和814c是不存在于作为图7中所示的测量目标的血管中的结构，并且是从估计生成的伪图像。

正如根据它们还可以理解的，存在这样的趋势：随着结构的估计程度增加，估计在第一图像数据中不存在的被检体的结构的可能性增加。另一方面，当估计程度增加时，错误地估计被检体的实际缺失结构的可能性也增加。因此，例如本示例性实施例，通过允许用户经由输入单元900设置估计程度，光声装置可以使结构的图像数据遵照用户的需要被显示。例如，如果即使在第一图像数据中也可以充分提取被检体的结构，则可以通过设置小的估计程度来减少伪图像的数量。另一方面，如果在第一图像数据中不能充分提取被检体的结构，则大的估计程度可以根据用户的决定来设置，以在甚至冒着伪图像的可能性的风险的同时增加提取出的结构的数目。

在本示例性实施例中，已经参照其中估计程度经由输入单元900选自两个不连续的大和小估计程度的例子描述了设置估计程度，但是估计程度可以经由输入单元900通过任何方法指定。例如，输入单元900可以被配置为允许用户连续地改变对应于估计程度的λ。

据认为，正常血管与在肿瘤等周围生成的异常血管就其特征结构而言是彼此不同的。因此，异常血管的结构不能基于关于正常血管的结构的信息根据结构的估计正确地再现。相反，正常血管的结构不能基于关于异常血管的结构的信息根据结构的估计正确地再现。因此，在本发明的第三示例性实施例中，描述了其中基于正常血管的特征结构估计结构的模式和基于异常血管的特征结构估计结构的模式可以在显示第二图像数据时改变的情况。在本示例性实施例中，假定图像数据由在第一示例性实施例的描述中描述的光声装置来获取。

在本示例性实施例中，存储单元710存储为了在正常血管的大量结构被包括时优化成本函数而设置的正则化项，以及为了在异常血管的大量结构被包括时优化成本函数而设置的正则化项。另外，输入单元900被配置为允许用户指定正常血管估计模式或异常血管估计模式。正常血管估计模式与为了在正常血管的大量结构被包括时优化成本函数而设置的正则化项关联。异常血管估计模式与为了在异常血管的大量结构被包括时优化成本函数而设置的正则化项关联。

然后，如果用户使用输入单元900选择正常血管估计模式，则重构单元730或图像处理单元750读出存储在存储单元710中的对应于正常血管估计模式的正则化项，并且生成第二图像数据。另一方面，如果用户使用输入单元900选择异常血管估计模式，则重构单元730或图像处理单元750读出存储在存储单元710中的对应于异常血管估计模式的正则化项，并且生成第二图像数据。

以这种方式，光声装置可以切换对应于多种类型的血管结构的估计模式，借此实现适于用户关注的血管的估计。在这种情况下可能的处理如下。例如，如果异常血管相对于正常血管占整个图像的小百分比，则首先，光声装置确认在正常血管估计模式下血管如何总体行进。然后，在从这些血管中检测到似乎包括异常血管的区域时，光声装置将正常血管估计模式切换到异常血管估计模式，并且观察似乎是异常血管的区域。在这种情况下，期望在选择结构估计模式或差异区域模式时将正常血管估计模式设置为初始设置。

在交互地指定第二图像数据的再生成的情况下，例如第二示例性实施例和第三示例性实施例，如果基于关于被检体的结构的信息被重构，则第二图像数据可能无法实时地被重新显示。在这种情况下，期望计算机700基于关于被检体的结构的信息执行图像校正处理，与基于关于被检体的结构的信息的重构相比，其处理量较小。在这里，实时地显示第二图像数据意味着第二图像可以在从用户发出再生成指令起0.1秒内被显示。

其它实施例

本发明的实施例也可以由系统或装置的计算机实现，其中计算机读出并执行记录在存储介质(其也可以被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)，以执行上述一个或多个实施例的功能，和/或计算机包括用于执行上述一个或多个实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))，并且由系统或装置的计算机通过例如从存储介质中读出并执行计算机可执行指令以便执行上述一个或多个实施例的功能和/或控制一个或多个电路执行上述一个或多个实施例的功能所执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))并且可以包括独立计算机或独立处理器的网络来读出和执行计算机可执行指令。计算机可执行指令可以从例如网络或存储介质中提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的储存装置、光盘(诸如压缩盘(CD)、数字多样化盘(DVD)或蓝光盘(BD)^TM)、闪存存储器设备、存储卡等等当中的一种或多种。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然本发明已经参考示例性实施例进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。以下权利要求的范围是要符合最广泛的解释，从而涵盖所有此类修改和等同结构及功能。