术中预设区域的定位方法、装置、存储介质及电子设备与流程

本发明是涉及图像处理技术领域，特别是涉及一种术中预设区域的定位方法、装置、存储介质及电子设备。

背景技术：

穿刺、介入和微创等精细化手术目前在临床检查和治疗上得到广泛应用。对于无明确边界、无法直接观测性质的内在脏器病灶(如结节，肿瘤等感兴趣区域)，目前主要通过电子计算机x射线断层扫描技术(英文全称：computedtomography，英文缩写：ct)或磁共振图像的三维图像(英文全称：magneticresonance，英文缩写：mr)来进行术前诊断。在诊断后的穿刺、介入和微创等精细化手术过程中，需要精确定位和精细治疗，因此需要精确的医学成像技术引导医生进行辅助定位，获取精准的三维空间位置，从而进行准确的手术治疗。

目前用于术中引导的医学成像技术，主要包括数字减影血管造影(英文全称：digitalsubtractionangiography，英文缩写：dsa)、超声、ct等。dsa应用于血管造影和介入治疗中，但对末端的血管和普通的软组织无法成像和精确定位；超声对无骨性组织反射的浅表性脏器结节定位效果较好，但对医生的成像手法和适应部位存在较大的限制。ct是目前应用较为广泛的术中医学成像技术，定位准确、安全性高，速度快。

基于此，本申请的发明人发现，虽然术中ct定位准确、安全性高，速度快，但是使用剂量高，需多次定位的手术场景会导致患者受照剂量的累加；设备使用场景受限，无法安装至手术室等无屏蔽的空间，对于穿梭于ct屏蔽室和无菌的手术环境有较大限制；设备价格昂贵，无法普及于常规的手术科室。无法满足手术中精确、便捷、高效的定位需求。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现要素：

为解决上述问题，本发明实施例的目的在于提供一种术中预设区域的定位方法、装置、存储介质及电子设备。

为实现上述目的，本发明提供了一种术中预设区域的定位方法，包括：获取预设区域的医学三维影像，并对所述医学三维影像进行感兴趣区域roi的提取，所述医学三维影像为ct或mr影像，所述roi为人体内具备临床诊断意义的特征区域或外部植入器械所在区域；在手术中获取所述roi的多张不同角度的二维投影平片；根据所述多张不同角度的二维投影平片、所述医学三维影像以及深度学习网络模型，生成所述roi与每一二维投影平片对应的区域掩模，其中，所述区域掩膜包括roi在二维投影平片中的二维轮廓定位信息；对所述roi在多张不同角度的二维投影平片的区域掩模以及多张不同角度的二维投影平片进行三维空间映射，生成术中所述roi的三维定位信息；根据所述roi的三维定位信息进行预设区域的定位。

在一优选的实施方式中，在对所述医学三维影像进行感兴趣区域roi的提取之后，还包括：获得所述roi的三维空间掩膜。

在一优选的实施方式中，所述根据多张不同角度的二维投影平片、所述医学三维影像以及深度学习网络模型，生成所述roi与每一二维投影平片对应的区域掩模包括：根据所述多张不同角度的二维投影平片生成术中的三维体位模型，所述三维体位模型包括皮肤、软组织、骨骼的分布信息和外轮廓信息；根据所述三维体位模型以及所述深度学习网络模型，对所述医学三维影像和三维空间掩膜进行形变，生成模拟的术中医学三维影像和模拟的术中三维空间掩膜；对所述模拟的术中医学三维影像和所述模拟的术中三维空间掩膜对应roi进行二维空间映射，生成所述roi与每一二维投影平片对应的区域掩模以及模拟的二维影像。

在一优选的实施方式中，所述根据所述多张不同角度的二维投影平片生成术中的三维体位模型包括：对所述多张不同角度的二维投影平片进行预处理；对预处理后的二维投影平片进行重采样，根据重采样后的二维投影平片生成术中的三维体位模型。

在一优选的实施方式中，所述生成所述roi与每一二维投影平片对应的区域掩模之后，对roi在多张不同角度的二维投影平片的区域掩模以及多张不同角度的二维投影平片进行三维空间映射之前，还包括：根据所述区域掩膜以及与所述区域掩膜对应的二维投影平片，确定特定区域；通过软组织增强和边缘信息提取算法，对所述特定区域进行图像结构特征提取；根据特征提取后的数据，对所述模拟的二维影像进行相关性分析，确定精确的二维定位掩模。

本发明还提供了一种术中预设区域的定位装置，包括：提取模块，用于获取预设区域的医学三维影像，并对所述医学三维影像进行感兴趣区域roi的提取，所述医学三维影像为ct或mr影像，所述roi为人体内具备临床诊断意义的特征区域或外部植入器械所在区域；获取模块，用于在手术中获取所述roi的多张不同角度的二维投影平片；深度学习模块，用于根据所述多张不同角度的二维投影平片、所述医学三维影像以及深度学习网络模型，生成所述roi与每一二维投影平片对应的区域掩模，其中，所述区域掩膜包括roi在二维投影平片中的二维轮廓定位信息；映射模块，用于对所述roi在多张不同角度的二维投影平片的区域掩模以及多张不同角度的二维投影平片进行三维空间映射，生成术中所述roi的三维定位信息；定位模块，用于根据所述roi的三维定位信息进行预设区域的定位。

在一优选的实施方式中，所述提取模块用于在对所述医学三维影像进行感兴趣区域roi的提取之后，获得所述roi的三维空间掩膜；所述深度学习模块还用于：根据所述多张不同角度的二维投影平片生成术中的三维体位模型，所述三维体位模型包括皮肤、软组织、骨骼的分布信息和外轮廓信息；根据所述三维体位模型以及所述深度学习网络模型，对所述医学三维影像和三维空间掩膜进行形变，生成模拟的术中医学三维影像和模拟的术中三维空间掩膜；对所述模拟的术中医学三维影像和所述模拟的术中三维空间掩膜对应roi进行二维空间映射，生成所述roi与每一二维投影平片对应的区域掩模以及模拟的二维影像。

在一优选的实施方式中，还包括精确模块，用于：根据所述区域掩膜以及与所述区域掩膜对应的二维投影平片，确定特定区域；通过软组织增强和边缘信息提取算法，对所述特定区域进行图像结构特征提取；根据特征提取后的数据，对所述模拟的二维影像进行相关性分析，确定精确的二维定位掩模。

本实施例提供的术中预设区域的定位方法、装置、存储介质及电子设备，通过dr采集有限角度数张二维平片，生成roi与每一二维投影平片对应的区域掩模，对所述roi在多张不同角度的二维投影平片的区域掩模以及多张不同角度的二维投影平片进行三维空间映射，生成术中所述roi的三维定位信息，解决了现有技术中常规手术ct定位的剂量过高、手术环境有较大限制、无法普及于常规的手术科室的问题，实现手术中精确、便捷、高效的定位需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一实施例所提供的术中预设区域的定位方法的流程图；

图2示出了本发明另一实施例所提供的术中预设区域的定位方法的流程图；

图3示出了本发明一实施例所提供的术中预设区域的定位装置的结构示意图；

图4示出了本发明实施例所提供的用于执行术中预设区域的定位方法的电子设备的结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

数字化x线摄影(dr)是目前应用最为广泛的x射线成像设备，对于手术定位场景，一般采用移动dr或c型臂此类便携式dr应用骨科或者介入治疗中，其具有空间分辨高、成像速度快、价格低、辐射少等优势，但其仅能提供二维的组织堆叠图像，往往无法直接观测组织密度差异小的微小病变。另一方面，由于呼吸运动，摆位误差和姿势差异，术中dr摄影和术前诊断成像的体位往往存在较大差异，医学三维影像到二维投影的空间映射关系无法直接映射，因此，多角度的dr摄影无法直接对细微的软组织病灶进行精确定位。

本发明以深度学习技术为基础，拟在术中利用dr图像与医学三维影像信息相结合，进行特征提取和三维空间变换，对感兴趣区域进行更为精确的三维定位，为手术诊断和治疗提供精确、便捷、高效的三维定位方法，同时可显著降低患者和医护人员的受照剂量。

本发明实施例提供一种术中预设区域的定位方法，该方法用于实现手术中的病灶定位，参见图1所示，该方法包括：

步骤1，获取预设区域的医学三维影像，并对所述医学三维影像进行感兴趣区域roi的提取，所述roi为具备临床诊断意义的特征区域或外部植入器械所在区域，所述医学三维影像为ct或mr影像。

其中，预设区域可以为病灶区域，或者术前的诊断区域。预设区域包括一个或多个感兴趣区域。该医学三维影像包含正常人体组织和roi的密度(水成分)差异和空间信息，可为临床医生提供诊断信息。所述的roi包括肿块、结节、狭窄区域等可疑病灶和其他具备临床诊断意义的特征区域；感兴趣区域除了上述的临床诊断区域外，还可包括临床手术器械、植入支架等外部植入物所在区域。主要是应用在手术穿刺等场景中，例如达到患者身体哪里，由此判断病人的安全、是否触及病灶等。

在一种实现方式中，可以在术前获取病灶的医学三维影像，即术前的诊断ct或mr影像，以降低对术中设备的要求。可以通过图像处理技术实现所述医学三维影像进行感兴趣区域roi的提取，所述的图像处理技术包括图像增强、特征识别、深度学习等通用分割技术。

该ct或mr医学三维影像包含正常人体组织和roi的密度(水成分)差异和空间信息，可为临床医生提供诊断信息。

步骤2，在手术中获取所述roi的多张不同角度的二维投影平片dr。

由于操作者在术中进行的拍摄时，x射线源到人体距离、人体到探测器距离，射线源和探测器的偏转角的改变均可能存在差异，因此需要进行多张不同角度的二维投影平片的拍摄。

步骤3，根据所述多张不同角度的二维投影平片(dr)、所述医学三维影像以及深度学习网络模型，生成所述roi与每一二维投影平片对应的区域掩模，其中，所述区域掩膜包括roi在二维投影平片的二维轮廓定位信息。

具体的，多张不同角度的二维投影平片可以为2张或更多角度进行拍摄的dr影片，一个病人可能有n个roi、每张平片上每个roi对应一个区域掩模。

在一种实现方式中，区域掩膜还可以包括roi的形状信息，roi的形状信息具有边缘信息。

步骤4，对所述roi在多张不同角度的二维投影平片的区域掩模以及多张不同角度的二维投影平片进行三维空间映射，生成术中所述roi的三维定位信息；

步骤5，根据所述roi的三维定位信息进行预设区域的定位。

本实施例提供的术中预设区域的定位方法，通过dr采集有限角度数张二维平片，生成roi与每一二维投影平片对应的区域掩模，对所述roi在多张不同角度的二维投影平片的区域掩模以及多张不同角度的二维投影平片进行三维空间映射，生成术中所述roi的三维定位信息，解决了现有技术中常规手术ct定位的剂量过高、手术环境有较大限制、无法普及于常规的手术科室的问题，实现手术中精确、便捷、高效的定位需求。

在一种实现方式中，在对所述医学三维影像进行感兴趣区域roi的提取之后，还包括：获得所述roi的三维空间掩膜。

在一种实施方式中，本实施例对步骤3进行了进一步限定，参见图2所示，具体包括：

步骤301，根据所述多张不同角度的二维投影平片生成术中的三维体位模型，所述三维体位模型包括皮肤、软组织、骨骼的分布信息和外轮廓信息；

具体的，可以首先对所述多张不同角度的二维投影平片进行预处理；对预处理后的二维投影平片进行重采样，然后根据重采样后的二维投影平片生成术中的三维体位模型。

其中，预处理，包括但不限于灰度归一化、标准化、边缘增强、对比度增强等。所述的重采样，可仅为dr二维图像的重采样，也可为dr和三维图像的重采样；重采样的插值方法包括但不限于双线性插值、样条插值等。例如dr的图像分辨率为m*n，ct的分辨率为o*o*p，可将dr重新采样为o*p，也可将两者图像重采样成x*x*y。以满足不同分辨率图像输入至神经网络的要求。

在一个实施例中，术中三维体位模型的生成，可通过生成对抗网络(gan)进行生成。

首先将同一体位下的多张dr影像作为神经网络的输入，通过该体位的三维图像分割获取基本组织的三维体位模型(皮肤，软组织，骨骼等三维容积下的定位信息)作为标签。模型的损失函数可以为mse、dice等相似性指标，对gan网络进行预训练，其中，之后，将多张dr图像输入至训练的gan网络，通过网络l＝gan(i1,…,in)即可生成术中定位的三维体位模型。

在另一个实施例中，也可通过术中体位下的dr摄影条件建立成像系统矩阵，进行二维三维空间信息的转换。通过三维空间关系和投影原理，利用三维图像重建方法，将多张dr进行反向投影至三维空间目标中，利用图像保真项进行重建图像的约束，并以图像正则项修复稀疏角度造成的噪声问题，同时通过术前医学三维影像获取的三维体位模型作为图像先验项，最终重建出术中的三维体位模型。

步骤302，根据所述三维体位模型以及所述深度学习网络模型，对所述医学三维影像和三维空间掩膜进行形变，生成模拟的术中医学三维影像和模拟的术中三维空间掩膜。

具体的，可通过深度学习网络进行术中医学三维影像的生成。将术前医学三维影像进行利用通用预分割(如阈值分割)，生成包含组织分布(如软组织、骨骼、空腔等分布)的术前三维体位模型，并和术中三维体位模型，一同输入至变形神经网络中。利用三维体位模型轮廓特征的相似性作为神经网络的损失函数，三维空间形变场特征值(包括体素对应形变场的方向和形变距离)，通过三维空间变换层对术前三维体位模型进行三维形变，并以损失函数计算术前和术中的三维体位模型的轮廓相似性，最后反向传播至形变特征值进行迭代，最终获得满足loss的三维空间形变场。通过该三维空间形变场，对术前医学三维影像和三维空间掩模进行三维形变，最终获得模拟的术中医学三维影像和三维空间掩模。

步骤303，对所述模拟的术中医学三维影像和所述模拟的术中三维空间掩膜对应roi进行二维空间映射，生成所述roi与每一二维投影平片对应的区域掩模以及模拟的二维影像。

具体的，根据术中dr的探测器参数、射线源参数、三维空间位置、病人体位等信息，建立投影系统，实现二维空间映射，最终将三维空间掩模投影至二维空间中，以获得所述roi与每一二维投影平片对应的区域掩模以及模拟的二维影像。

在步骤33之后，步骤4之前，还包括确定精确的二维定位掩模的步骤，在一种实现方式中，确定精确的二维定位掩模的步骤包括：

步骤304，根据所述区域掩膜以及与所述区域掩膜对应的二维投影平片，确定特定区域；

其中，特定区域为根据区域掩膜以及与该区域掩膜对应的二维投影平片确定的病灶所在位置。

步骤305，通过软组织增强和边缘信息提取算法，对所述特定区域进行图像结构特征提取；

对该特定区域的图像进行如软组织增强，并利用sobel或拉普拉斯算子等边缘强化处理方式对特定区域进行边缘结构特征提取。

步骤306，根据所述特征提取后的数据，对所述模拟的二维影像进行相关性分析，确定精确的二维定位掩模。

通过特征提取后的数据与二维影像进行相关性作为目标函数，进行roi区域搜索和更新，最终定位出精确的术中二维定位掩模。

在另一种实现方式中，确定精确的二维定位掩模的步骤包括：可通过人工对dr或ct的数据进行人工或其他通用方法标注骨骼获得对应骨骼标签，然后对深度学习网络进行预先训练，实现dr平片骨骼分离；将上述特定区域的dr图像输入至深度学习网络，进行骨骼抑制、软组织增强等方法，实现roi纹理信息的增强和边缘提取，最终获得定位掩模。

在又一种实现方式中，确定精确的二维定位掩模的步骤包括：可以通过传统的图像后处理增强算法，将骨性组织进行分割和抑制后，利用边缘提取算法进行软组织高频分量增强。具体的，可以通过以下公式获得：

en(x,y)＝∑i,j∈mi(x,y)*h(i,j)；

其中，en(x,y)为图像后处理增强算法之后的图像x行y列的像素的数值，i(x,y)原始图像对应x行y列的像素的数值，i，j分别为滤波算子的长及宽，h(i,j)为边缘增强滤波算子；再输入至预先训练神经网络(该网络使用经过处理的软组织图像和人工标记的roi位置进行训练)，进而获取roi的定位掩模。再通过深度学习网络进行提取和分割。

在一种实现方式中，步骤4可以通过以下集中方式实现，所述roi在多张二维投影平片的区域掩模以及多张不同角度的二维投影平片进行三维空间映射

在一个实施例中，可将多张二维投影平片的区域掩模和多张二维投影平片输入至生成对抗网络(gan)，直接生成roi的三维定位信息。

在另一个实施例中，构建各角度的成像系统矩阵a，进行二维三维空间信息的转换y＝ax，对应的即为求解的问题；该方法还可包括对图像信息的全变分先验项约束等，以获得更为精准的定位信息。

在又一个实施例中，还可以通过gan和成像该系统矩阵两个方法结合，利用gan进行初步定位信息提取，再利用图像先验项和成像矩阵投影，进一步迭代优化，最终生成精确的三维定位信息。

由此，本实施例提供的定位方法，能通过数张dr平片实现精确的roi三维定位，保证定位精度情况下，解决常规手术ct定位的剂量过高的问题。能够通过深度学习网络生成三维术中体位，直接生成模拟术中医学三维影像，无需多次ct照射即可实现roi的定位。使用深度学习神经网络，融合三维二维的图像特征利用术前ct分割结果，直接定位术中dr无法直接观测的roi信息，为精确术中定位提供新的技术思路。

参见图3所示，其为本实施例的术中预设区域的定位装置的结构示意图，包括：

提取模块1，用于获取预设区域的医学三维影像，并对所述医学三维影像进行感兴趣区域roi的提取，所述医学三维影像为ct或mr影像，所述roi为人体内具备临床诊断意义的特征区域或外部植入器械；

获取模块2，用于在手术中获取所述roi的多张不同角度的二维投影平片；

深度学习模块3，用于根据所述多张不同角度的二维投影平片、所述医学三维影像以及深度学习网络模型，生成所述roi与每一二维投影平片对应的区域掩模，其中，所述区域掩膜包括roi在二维投影平片中的二维轮廓定位信息；

映射模块4，用于对所述roi在多张不同角度的二维投影平片的区域掩模以及多张不同角度的二维投影平片进行三维空间映射，生成术中所述roi的三维定位信息；

定位模块5，用于根据所述roi的三维定位信息进行预设区域的定位。

在一种实施方式中，所述提取模块1用于在对所述医学三维影像进行感兴趣区域roi的提取之后，获得所述roi的三维空间掩膜。

所述深度学习模块3还用于：根据所述多张不同角度的二维投影平片生成术中的三维体位模型，所述三维体位模型包括皮肤、软组织、骨骼的分布信息和外轮廓信息；根据所述三维体位模型以及所述深度学习网络模型，对所述医学三维影像和三维空间掩膜进行形变，生成模拟的术中医学三维影像和模拟的术中三维空间掩膜；对所述模拟的术中医学三维影像和所述模拟的术中三维空间掩膜对应roi进行二维空间映射，生成所述roi与每一二维投影平片对应的区域掩模以及模拟的二维影像。

深度学习模块3进一步用于，对所述多张不同角度的二维投影平片进行预处理；对预处理后的二维投影平片进行重采样，根据重采样后的二维投影平片生成术中的三维体位模型。

本实施例的定位装置还包括精确模块6，精确模块6用于：根据所述区域掩膜以及与所述区域掩膜对应的二维投影平片，确定特定区域；通过软组织增强和边缘信息提取算法，对所述特定区域进行图像结构特征提取；根据特征提取后的数据，对所述模拟的二维影像进行相关性分析，确定精确的二维定位掩模。

本实施例提供的术中预设区域的定位装置，通过dr采集有限角度数张二维平片，并结合深度学习技术，提取术中体位形变信息，结合术前三维图像生成术中drroi的基本二维定位信息，最终生成精确的三维定位信息。解决了现有技术中常规手术ct定位的剂量过高、手术环境有较大限制、无法普及于常规的手术科室的问题，实现手术中精确、便捷、高效的定位需求。

本发明实施例还提供了一种存储介质，所述存储介质存储有计算机可执行指令，其包含用于执行上述术中预设区域的定位方法的程序，该计算机可执行指令可执行上述任意方法实施例中的方法。

其中，所述存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nandflash)、固态硬盘(ssd))等。

图4示出了本发明的另一个实施例的一种电子设备的结构框图。所述电子设备1100可以是具备计算能力的主机服务器、个人计算机pc、或者可携带的便携式计算机或终端等。本发明具体实施例并不对电子设备的具体实现做限定。

该电子设备1100包括至少一个处理器(processor)1110、通信接口(communicationsinterface)1120、存储器(memoryarray)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。

通信接口1120用于与上位机通信，下载数据等。

处理器1110用于执行程序。处理器1110可能是一个中央处理器cpu，或者是专用集成电路asic(applicationspecificintegratedcircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器1130用于可执行的指令。存储器1130可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。存储器1130存储的指令可被处理器1110执行，以使处理器1110能够执行上述任意方法实施例中的术中预设区域的定位方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。