多光谱医用多路成像方法及其系统与流程

本发明涉及医疗器械技术领域，特别涉及一种多光谱医用多路成像方法及其系统。

背景技术：

现有的大多数医用成像系统为普通彩色可见光成像系统，只能看到普通彩色的图像，存在无法观察到可见光谱之外的各种图像细节的问题；而多光谱成像技术的出现有效的解决了这一问题，它以多光谱照明为基础，通过对不同的疾病组织进行照射，结合对应的荧光试剂特性，得到可见光下无法清晰观察到的特定病灶部位的图像。并对特定的病灶图像加以处理，提高其病灶特征与非病灶区域的边界。这种成像技术自诞生至今，被广泛的应用在生物学临床手术，检查治疗中，并且成为精准医疗的主要成像显示方法。

但是，现有的多光谱成像系统，照明部分需要手动切换普通模式和多光谱模式，对于多光谱模式，它无法多种光谱同时成像，，在检查内部组织时需要不停切换模式，操作比较繁琐；多光谱模式在同一个时间只能显示一种特定的光，无法多种光谱同时成像，无法同时观察，且边界不清晰。多光谱图像没有与普通彩色图像形成融合，3d模式只能是单独成普通彩色3d图像，或者是单独的荧光3d成像，无法形成3d彩色多光谱图像，单独的荧光3d成像无法看清组织原本色彩，肉眼辨识度比较低，不便于进行特定的手术检查、手术切除与治疗。2d转3d的3d转换成像技术，左右的图像没有景深，也没有视角差，3d立体效果比较差，使用者观察时容易眩晕，不适合手术使用。拍照、录像等图像采集功能无法同时采集2d、3d两种彩色、荧光以及彩色荧光多光谱的图像，不便于手术检查、病变分析和数据采集。

技术实现要素：

本发明要解决的技术问题是提供一种多光谱医用多路成像方法及其系统，能够实现无接触智能化控制，操作简单快捷。

为了解决上述技术问题，本发明的技术方案如下：

为实现上述目的，本发明提出了一种多光谱医用多路成像方法，该方法包括：

采集待测物反射的多光谱照明光线，并对所述多光谱照明光线进行至少一路按预设光谱进行滤光处理；

根据滤光处理后的所述多光谱照明光线生成对应的图像；

对所述图像进行融合、叠加，形成多光谱荧光图像。

进一步的，所述采集待测物反射的多光谱照明光线的步骤之后，所述方法还包括：

根据所述多光谱照明光线生成所述待测物对应的白光彩色图像；

将所述白光彩色图像与所述多光谱荧光图像进行融合、叠加，形成彩色多光谱荧光图像。

进一步的，所述采集待测物反射的多光谱照明光线，并对所述多光谱照明光线进行至少一路按预设光谱进行滤光处理包括：

采用预设多种波长的光源对所述待测物进行照射，对所述多光谱照明光线进行分光形成至少一路光线，对每一路光线通过对应一种波长的滤波片进行处理。

进一步的，所述采用预设多种波长的光源对所述待测物进行照射的步骤包括：

利用多种不同的荧光试剂在光源处形成预设的多种单一光谱照明光源，多种所述单一光谱照明光源同时对所述待测物进行照射。

进一步的，所述根据滤光处理后的所述多光谱照明光线生成对应的图像之后，所述方法还包括：

对其中至少两路所述多光谱照明光线生成的图像进行3d融合，分别形成对应的单一光谱3d荧光图像、3d彩色图像、3d荧光彩色图像。

进一步的，所述对所述图像进行融合、叠加，形成多光谱荧光图像的步骤之后，所述方法还包括：

同时显示多个图像并对每一图像进行单独切换、调节处理。

此外，为实现上述目的，本发明还提供一种多光谱医用多路成像系统，所述系统包括：

光源发生器，用于利用多种不同的荧光试剂在光源处形成预设多种单一光谱照明光源，多种单一光谱照明光源同时对待测物进行照射。

分光棱镜，用于对待测物反射的多光谱照明光线进行分光处理，形成多路光线；

彩色传感器，用于采集每一路光线生成的白光彩色图像；

荧光传感器，用于采集每一路光线中单一光源照明光源对应的荧光图像。

进一步，所述系统还包括多个滤光片，所述滤光片设置在所述彩色传感器和所述荧光传感器的前端，用于使得特定光谱的光线进入到所述彩色传感器和所述荧光传感器。

进一步的，所述系统还包括3d图像合成模组，用于对其中至少两路所述多光谱照明光线生成的图像进行3d融合，分别形成对应的单一光谱3d荧光图像、3d彩色图像、3d荧光彩色图像。

进一步的，所述系统还包括：显示器，用于同时显示多个图像并对每一图像进行单独切换、调节处理。

采用上述技术方案，本发明的多光谱医用多路成像方法及其系统，通过使用特定波长的光照明，通过在传感器前放置特定波长通过，其余波长截止的滤波片，同时捕获特定波长的多光谱图像，以及普通的彩色图像，把多光谱图像与普通彩色图像进行融合、叠加，从而形成彩色荧光多光谱图像；再通过对双光路分光，将双目左/右光路成像分别进行分光，使用多个传感器成像，融合叠加成左/右都是彩色荧光的图像，从而形成了3d彩色荧光多光谱的图像。对于某些特定的疾病，使用这种特定的光照明并成像，使特定的组织呈现区别于正常组织的影像，以便于进行特定的手术检查、手术切除与治疗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的多光谱医用多路成像方法流程框图；

图2为本发明实施例的多光谱医用多路成像系统结构示意图；

图3为本发明实施例的多光谱医用多路成像系统使用原理流程图；

图4为本发明实施例的多光谱医用多路成像系统硬件结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1

如图1所示，本发明实施例提供了一种多光谱医用多路成像方法，该方法包括：

s101、采集待测物反射的多光谱照明光线，并对所述多光谱照明光线进行至少一路按预设光谱进行滤光处理。

采用预设多种波长的光源对所述待测物进行照射，对所述多光谱照明光线进行分光形成至少一路光线，对每一路光线通过对应一种波长的滤波片进行处理。

具体的，利用多种不同的荧光试剂在光源处形成预设的多种单一光谱照明光源，多种所述单一光谱照明光源同时对所述待测物进行照射。使用棱镜分光技术，通过棱镜后面放置多个图像传感器，每个图像传感器感应特定的光谱，同一时间可以获取到多种光谱成像。

s102、根据滤光处理后的所述多光谱照明光线生成对应的图像。

s103、对所述图像进行融合、叠加，形成多光谱荧光图像。

具体的，所述采集待测物反射的多光谱照明光线的步骤之后，所述方法还包括：

根据所述多光谱照明光线生成所述待测物对应的白光彩色图像；

将所述白光彩色图像与所述多光谱荧光图像进行融合、叠加，形成彩色多光谱荧光图像。

具体的，所述根据滤光处理后的所述多光谱照明光线生成对应的图像之后，所述方法还包括：

对其中至少两路所述多光谱照明光线生成的图像进行3d融合，分别形成对应的单一光谱3d荧光图像、3d彩色图像、3d荧光彩色图像。采用特定的多光谱混合，叠加算法，将几个多光谱图像叠加到一副画面中，使用者无需手动调节光谱，就可以形成边界分明的多光谱融合3d图像，对特定的手术检查、手术切除与治疗提供了极大的便利，采用左/右，上/下，帧交错等格式的3d成像技术，适合大部分的3d显示设备。拍照/录像等图像采集可以同时采集2d、3d两路图像的彩色、荧光以及彩色荧光多光谱3种不同的图像；3d成像可以增加医生的手术视野，能让医生深度感知信息，从而下刀更精准。

可选的，所述对所述图像进行融合、叠加，形成多光谱荧光图像的步骤之后，所述方法还包括：同时显示多个图像并对每一图像进行单独切换、调节处理。使用多种光谱混合照明技术，同一时间可以实现多种光谱照明，且每一种光都可以进行独立控制，使用者可以对其进行打开/关闭操作，还可以对光照的强度进行调节；荧光伪彩的颜色可以自定义，使用者可以选择多种不同的伪彩颜色进行叠加，比如绿色、紫色、蓝色、青色等，这样可以提高图像的辨识度和层次感；荧光图像的荧光强度区域选择对比，荧光强度实时以曲线的形式呈现在画面上，使用者可以根据情况对荧光强度进行调节。

通过使用特定波长(400nm，480nm，780nm,白光等)的光照明，通过在传感器前放置(635nm，520nm，820nm，380～650nm等)特定波长通过，其余波长截止的滤波片，同时捕获(635nm，520nm，820nm，380～650nm等)特定波长的多光谱图像，以及普通的彩色图像，把多光谱图像与普通彩色图像进行融合、叠加，从而形成彩色荧光多光谱图像；再通过对双光路分光，将双目左/右光路成像分别进行分光，使用多个传感器成像，融合叠加成左/右都是彩色荧光的图像，从而形成了3d彩色荧光多光谱的图像。对于某些特定的疾病，使用这种特定的光照明并成像，使特定的组织呈现区别于正常组织的影像，以便于进行特定的手术检查、手术切除与治疗。

实施例2

如图2、3、4所示，本发明实施例提供的一种多光谱医用多路成像系统，所述系统包括：

光源发生器20，用于利用多种不同的荧光试剂在光源处形成预设的多种单一光谱照明光源，多种单一光谱照明光源同时对待测物10进行照射。

分光棱镜50，用于对待测物10反射的多光谱照明光线进行分光处理，形成多路光线；

彩色传感器，用于采集每一路光线生成的白光彩色图像；可选的，彩色传感器可以包括左路彩色传感器70和右路彩色传感器80。

荧光传感器，用于采集每一路光线中单一光源照明光源对应的荧光图像。具体的，荧光传感器可以分为左路荧光传感器90和右路荧光传感器100。

可选的，所述系统还包括多个滤光片60，所述滤光片60设置在所述彩色传感器和所述荧光传感器的前端，用于使得特定光谱的光线进入到所述彩色传感器和所述荧光传感器。依据不同的荧光试剂(5-ala，荧光纳素，icg等)在不同多种特定光谱(400nm，480nm，780nm等)照明下，会发出相对应的特定的波长(635nm，520nm，820nm等)的光，采用特定波长的滤光片，使用者无需手动调节光谱，图像传感器会自动捕获特定波长的多光谱图像。

彩色图像、荧光图像采集方式：手术/检查前根据手术的需求，提前注射对应的荧光显影物(5-ala,荧光纳素，icg等)，使用多光谱光源进行照明，采集同一路光，并通过分光棱镜把光进行一分为二(或者一分为多路)，然后在采集可见光的图像传感器前放置可见光(400～700nm)通过，其余的光截至的滤光片。在采集荧光的传感器前放置对应荧光波长(635nm，520nm，820nm等)通过，其余截至的滤光片；同时采集可见光图像，荧光图像。

荧光图像分析、边界提取方式：把荧光的图像进行分析，把获取到的yuv格式的图像根据图像的亮度值进行筛选，把y值大于预先设定的阀值的像素，作为有效部分保留；y值小于预设定部分的像素去掉。

荧光图像伪彩处理方式：把有效部分的像素，根据预设的伪彩颜色把对应像素的uv值设置成绿色、蓝色、青色等颜色对应的值。

彩色图像与荧光伪彩图像进行融合：把荧光图像有效的像素的uv值替换彩色图像对应坐标的uv值，y值保留不变。

把以上采集，处理得到的彩色，荧光，融合这几种图像同时显示在屏幕上。

具体的，所述系统还包括3d图像合成模组110，用于对其中至少两路所述多光谱照明光线生成的图像进行3d融合，分别形成对应的单一光谱3d荧光图像、3d彩色图像、3d荧光彩色图像。使用多个传感器同时采集彩色与荧光图像，解决了无法同时观看两种图像的问题，并与普通彩色图像进行融合、叠加，从而形成彩色荧光多光谱图像，使得可以在同一画面上既能看到彩色图像，也能看到荧光图像，还能看到彩色荧光融合的图像。根据以上模式，同时采集左/右光路成像分别进行多光路成像，从而形成了双目真3d彩色荧光多光谱的图像。

彩色3d图像采集方式：将上述采集到的左路彩色图像，与右路彩色图像进行3d合成，在同一个画面上同时显示左右两幅图像，左边/右边图像各占一半，然后通过调整左/右彩色摄像机安装的位置，保证左右图像的水平方向一致，垂直方向的视角差，调整到符合人体双目观察最佳效果。然后将左/右格式的3d视频显示在支持3d左/右格式的3d显示设备上，就能观察到3d的彩色图像。

单色荧光3d图像采集方式：将上述采集到的左路单色荧光图像，与右路单色荧光图像进行3d合成，在同一个画面上同时显示左右两幅图像，左边/右边图像各占一半，然后通过调整左/右荧光摄像机安装的位置，保证左右图像的水平方向一致，垂直方向的视角差，调整到符合人体双目观察最佳效果。然后将左/右格式的3d视频显示在支持3d左/右格式的3d显示设备上，就能观察到3d的单色荧光图像。

彩色荧光3d图像采集方式：将上述采集到的左路彩色荧光图像，与右路彩色荧光图像进行3d合成，在同一个画面上同时显示左右两幅图像，左边/右边图像各占一半，然后通过调整左/右彩色摄像以及左/右荧光摄像机安装的位置，保证左右图像的水平方向一致，垂直方向的视角差，调整到符合人体双目观察最佳效果。然后将左/右格式的3d视频显示在支持3d左/右格式显示设备上，就能观察到3d的彩色荧光图像。

具体的，所述系统还包括：显示器120，用于同时显示多个图像并对每一图像进行单独切换、调节处理。

另外，在待测物之前设置有双目荧光镜30、光学调整器件40，待测物10反射的多光谱照明光线通过双目荧光镜30、光学调整器件40进入到分光棱镜50中进行分别处理形成多路光线，然后利用滤波片60形成预设光谱的光线进入到传感器器件，形成对应的图像。该系统在多光谱模式可以在同一时间实现多光谱图像混合，形成边界分明的多光谱融合图像，而不是单一颜色的多光谱图像，且多光谱融合图像能与普通彩色图像形成融合，形成色彩鲜明的彩色荧光多光谱图像；同时可以把彩色，荧光，彩色与荧光融合的2d/3d图像同时显示，并且可以对每种图像进行单独切换、放大，还可以单独调节每一种图像的各种参数，达到最理想的效果。同时采集左右双目图像，可以合成带有视觉差的双目多光谱图像，合成3d图像。给我医生更好，更精准的图像还原，辅助医生更好的完成检查、手术。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。