一种基于增强现实的近红外荧光成像系统的制作方法

本发明涉及医疗成像系统领域，尤其涉及一种用于医疗的基于增强现实的近红外荧光成像系统。

背景技术：

近红外荧光成像技术在临床医疗领域有很多应用，例如乳腺癌和皮肤癌中的淋巴结定位。目前市面上相关产品也有很多，例如：美国的flare和日本的hypereye等。这些技术或产品的原理大致如下：首先使用近红外光激发荧光，然后使用近红外成像设备对荧光标志物成像，最后将成像信息显示在外接显示器上。这样的设备具有如下三个缺点：一是荧光信息显示在外接显示器上，需要医生同时观察显示器和患者组织两个位置，容易导致医生的注意力分散；二是设备庞大，只能应用在设备齐全的大型临床场所，便携性不佳；三是设备成本较高，需要大量的前期投入。

技术实现要素：

基于现有技术所存在的问题，本发明的目的是提供一种基于增强现实的近红外荧光成像系统，能解决现有医疗成像系统的荧光信息显示在外接显示器上，观看多个显示器不方便，设备庞大且成本较高的问题。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种基于增强现实的近红外荧光成像系统，包括：

近红外拍摄装置、荧光激光光源、主控处理设备和增强现实显示设备；其中，

所述近红外拍摄装置和荧光激光光源，分别与所述主控处理设备通信连接；

所述主控处理设备，与所述增强现实显示设备通信连接，能通过所述近红外拍摄装置在荧光激光光源作用下采集所观测对象组织的荧光图像，并将所述荧光图像处理成伪彩荧光图像后向所述增强现实显示设备发送；

所述增强现实显示设备，能接收所述主控处理设备发送的伪彩荧光图像，并处理成虚拟三维组织图像后以增强现实方式进行显示。

由上述本发明提供的技术方案可以看出，本发明实施例提供的基于增强现实的近红外荧光成像系统，其有益效果为：

通过设置主控处理设备，并将近红外拍摄装置、荧光激光光源和增强现实显示设备通信连接起来，能在采集所观测对象组织的拍摄荧光图像后，与增强现实显示设备配合处理成虚拟三维组织图像后，在增强现实显示设备上以增强现实方式进行显示。该成像系统能实现将所观测的组织图像以增强现实方式显示给医生，使用医生不用同时观看显示器和所观测对象组织等多处，能为医生对患者的手术操作提供很大的方便；由于增强现实显示设备可采用头戴式设备，系统整体能做的很小，且成本较低。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于增强现实的近红外荧光成像系统的示意图；

图2为本发明实施例提供的基于增强现实的近红外荧光成像系统的成像处理流程图；

图3为本发明实施例提供的基于增强现实的近红外荧光成像系统的实际使用场景图；

图中各标记为：1-近红外拍摄设备；11-近红外相机；12-长通滤光片；2-荧光激光光源；3-主控处理设备；31-近红外图像采集模块；32-通信模块；4-增强现实显示设备；41-增强现实成像模块；42-增强现实显示装置；43-空间配准子模块；5-图像标志物；6-虚拟图像标志物；7-虚拟三维组织模型；8-患者组织；9-伪彩荧光图像。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

如图1所示，本发明实施例提供一种基于增强现实的近红外荧光成像系统，可以将近红外相机拍摄得到的荧光图像通过增强显示技术显示到头戴式显示设备上，实时方便地显示荧光标记物的位置和大小，包括：

近红外拍摄装置、荧光激光光源、主控处理设备和增强现实显示设备；其中，

所述近红外拍摄装置和荧光激光光源，分别与所述主控处理设备通信连接；

所述主控处理设备，与所述增强现实显示设备通信连接，能通过所述近红外拍摄装置在荧光激光光源作用下采集所观测对象组织的荧光图像，并将所述荧光图像处理成伪彩荧光图像后向所述增强现实显示设备发送；

所述增强现实显示设备，能接收所述主控处理设备发送的伪彩荧光图像，并处理成虚拟三维组织图像后以增强现实方式进行显示。

参见图2，上述成像系统中，主控处理设备包括：

近红外图像采集模块和通信模块；其中，

所述近红外图像采集模块，通过所述通信模块与所述显示端处理装置通信连接，能通过所述近红外拍摄装置在荧光激光光源作用下采集所观测对象组织的荧光图像，并将所述荧光图像处理成伪彩荧光图像后经所述通信模块向所述增强现实显示设备发送。

上述主控处理设备可采用计算机、单片机或移动终端等计算处理设备，其中的各模块可以是通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。该主控处理设备也可以采用由多个硬件处理器模块定制而成的专用计算处理设备，其中的各模块均可以是集成了对应程序的处理器模块。

上述成像系统中，增强现实显示设备包括：增强现实成像模块和增强现实显示装置；其中，

所述增强现实成像模块，与所述增强现实显示装置通信连接，能接收所述主控处理设备发送的伪彩荧光图像，并将所述伪彩荧光图像与预先获取的对应于所观测对象组织的虚拟三维组织模型进行空间配准后，将所述伪彩荧光图像贴合到所述虚拟三维组织模型表面得到虚拟三维组织图像，并将所述虚拟三维组织图像向所述增强现实显示装置发送；

所述增强现实显示装置，能以增强现实方式对所述虚拟三维组织图像进行显示。

进一步的，增强现实成像模块内包含空间配准子模块，用于将所述伪彩荧光图像与预先获取的对应于所观测对象组织的虚拟三维组织模型进行空间配准。

优选的，增强现实显示设备采用增强现实眼镜或增强现实头盔。

具体的，上述增强现实显示设备中的增强现实成像模块可以是通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。该空间配准模块也可以采用集成处理程序的处理器模块，只要能实现对应的功能即可。

上述成像系统中，近红外拍摄装置包括：

近红外相机，和安装在该近红外相机镜头上的长通滤光片。

上述成像系统中，长通滤光片的滤光波长为800nm。这种长通滤光片能滤除激发光源和可见光杂光。

上述成像系统中，荧光激光光源的激光波长为785nm。

上述成像系统中，增强现实显示设备采用增强现实眼镜或增强现实头盔。

本发明的成像系统通过增强现实技术在患者组织表面进行荧光成像，使用该系统时，医生仅需观察患者组织一个方向，使用更方便；由于增强现实显示设备可采用增强现实眼镜或增强现实头盔，均为头戴式设备，摆脱显示器设备，解决了目前市场上的设备体积庞大的问题；由于仅涉及一台近红外拍摄装置(可采用近红外成像工业相机)、荧光激光光源、一台主控处理设备(可采用处理数据的计算机)以及一台增强现实显示设备，总计成本低于目前市场上的近红外荧光成像设备。本发明的成像系统使用时，能得医生在进行手术过程中，可以方便地通过头戴式显示设备观察到荧光影像，指导医生进行手术。

下面结合附图和具体实施例对本发明的成像系统具体作进一步地详细描述。

参见图1，本发明实施例提供一种基于增强现实技术的近红外荧光成像系统，包括：近红外相机、长通滤光片、荧光激光光源、主控处理设备和增强现实显示眼镜；其中，

上述的主控处理设备内置windows操作系统，可以进行图像处理。

上述的近红外相机使用近红外波段的cmos，并且可以通过线缆与主控处理设备通信连接，该近红外相机的光轴应与水平面垂直。该近红外相机能在荧光激光光源的作用下，拍摄患者组织的荧光图像。

上述的长通滤光片配合安装在近红外相机的镜头上，该长通滤光片为800nm，用以滤除激发光源和可见光杂光。

上述的激光波长为785nm，位于近红外相机的侧面位置，用以激发荧光物质吲哚菁绿icg，以使近红外相机拍摄患者组织的荧光图像。

上述的增强现实显示眼镜用以将荧光图像显示并贴合在虚拟三维组织的表面。在增强现实显示眼镜将虚拟三维组织和真实患者组织进行配准后，荧光图像能和实际的患者组织贴合。

上述成像系统的显像过程由配合向生物组织中注射吲哚菁绿icg实现的，icg作为显影剂广泛用于现有的导航仪器中，其主要原理为，在生物组织中注入icg，外部用785nm的激光照射激发，在血流中发出波长为830nm的荧光在近红外波段成像的近红外相机便可以实时捕获组织中含有的icg图像，称为荧光图像。近红外相机镜头前配合一个800nm的长通滤光片，可以滤除785nm的荧光激光光源和可见光杂光，单独对荧光物质成像，得到准确的荧光图像。近红外相机拍摄得到的荧光图像通过网络传输至主控处理设备，在主控处理设备上对荧光图像进行伪彩处理，使得荧光区域呈现绿色，用于和皮肤血液组织进行区分；经过处理后的图像经由编写的基于udp传输协议的网络通信算法高速低延迟地传输到增强现实显示眼镜上；在增强现实显示眼镜处，图像经贴图处理贴合到虚拟三维物体表面并且实时更新，贴图的方向为竖直方向，与拍摄的方向保持一致，从而保证精度。最后虚拟三维物体和患者组织进行三维空间配准，三维物体便在患者组织的原位出现，而荧光图像则贴合到患者组织表面，从而达到增强显示的效果，使得医生在操作过程中能更加真实地对肿瘤或病灶组织进行定位和切除。

实施例

参考图1、2，本发明实施例主要由三个模块构成：近红外图像采集模块、通信模块和增强现实成像模块；其中，近红外图像采集模块除了相关硬件之外又包括采集端控制算法程序，近红外图像采集模块和通信模块设于主控处理设备中；增强现实成像模块除了相关硬件之外也包括成像端控制算法程序，增强现实成像模块设于增强现实显示设备中。

参考图2，本发明实施例的主控处理设备中，近红外图像采集模块和通信模块运行于图像采集端，增强现实成像模块运行于接收成像端，两者的工作流程如下：首先初始化近红外相机，包括设置帧率，曝光时间等；然后初始化socket为发送荧光图像做准备；初始化完成后拍摄一张荧光图像并进行伪彩图像处理后成为伪彩荧光图像，然后发送到接收成像端；最后更新近红外相机的状态，如果仍然保持开启，则重复上一步动作；如果关闭近红外相机则停止拍摄，关闭socket；增强现实显示设备的增强现实成像模块的处理算法如图2中右图所示：首先在增强现实显示设备上初始化场景，然后导入与患者组织对应的虚拟三维组织模型；初始化socket用以接收伪彩荧光图像，若连接未超时，循环以下动作：接受一张伪彩荧光图像，将伪彩荧光图像设置为患者组织对应的虚拟三维组织模型的贴图；若连接超时，说明图像采集端停止采集图像，此时关闭socket，结束整个成像处理流程。通信模块采用udp通信协议，并且使用socket来实现udp，能达到实时传输目的。

参考图3，在一个实施实例中，近红外相机1固定在患者正上方约50cm处，通过网线与主控处理设备3连接；长通滤光片12固定在近红外相机11的镜头处，起到滤除荧光激光光源2的激光和可见光杂光的作用，使得近红外相机11只对荧光标记组织8成像；荧光激光光源2是波长为785nm的半导体激光器，吲哚菁绿icg的激发波长为750nm至810nm，在血流中的荧光波长为830nm，使用该波长恰好可以激发荧光物质并且被长通滤光片12滤除；主控处理设备3接收到近红外相机11采集的荧光图像后，对荧光图像进行伪彩处理得到伪彩荧光图像9，通过网络通信算法借助wifi将伪彩荧光图像0传输到增强现实显示设备4中；增强现实显示设备4佩戴在手术医生的头部，现实影像投射至医生的眼里；增强现实显示设备4执行贴图操作，将伪彩荧光图像9贴合到对应于患者组织4的虚拟三维组织模型7上；图像标记物5是一张二维图像，用来和虚拟标志物6进行识别并配准，从而使虚拟三维组织模型7可以和患者组织8进行空间配准；经过整个流程，实现了将采集的伪彩荧光图像9贴合到对应于患者组织4的虚拟三维组织模型7表面形成虚拟三维组织图像，从而实现了在虚拟物体表面观察荧光图像的目的。

在一些实施过程中，图3中主控处理设备3可采用stm32单片机，将图像采集端和接收成像端的算法拷入单片机，可以将设备缩小，提升便携性。

在一些实施过程中，图3中荧光激光光源2采用785nm的led环形阵列，可以是照射区域亮度均匀，减少激光对人体的伤害。并且可以将荧光激光光源2和近红外相机11装配在一起。

本发明的成像系统至少具有以下有益效果，包括：

(1)由于使用了增强现实技术，使用该系统能够在患者皮肤表面显示荧光图像，外科医生不再需要分别注视显示器和患者皮肤两个位置，减小因为注意力分散而导致的潜在风险。

(2)头戴式增强现实显示设备没有外接线缆，重量比较轻(以hololens为例，重量为600g左右)，使用范围不局限于大型临床环境，可以方便的部署和使用。

(3)整套设备包含一台近红外工业相机、一个荧光激光光源、一片长通滤光片、一台计算机和一台增强现实显示设备。整套系统按现有价格大致在5万元人民币左右，相比于其它近红外荧光成像设备，该系统的成本是较低的。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。