云端医疗图像分析系统与方法与流程

本发明涉及一种云端医疗图像分析系统与方法。

背景技术

一般来说，在医疗的领域中，通常会使用电脑辅助检测(computeraideddetection,cade)模块来检测可疑的病灶或使用电脑辅助诊断(computeraideddiagnosis,cadx)模块来判断病灶的特性。然而，执行电脑辅助检测模块与电脑辅助诊断模块通常需要较大的运算量，因此若要使用电脑辅助检测模块与电脑辅助诊断模块来取得诊断结果，通常需要耗费许多的运算资源与时间。

技术实现要素：

本发明提供一种云端医疗图像分析系统与方法，通过云端运算的方式，传送医疗图像的特征值至云端医疗分析平台运算，藉此可以降低数据的传输量与执行电脑辅助检测模块与电脑辅助诊断模块的运算时间。

本发明提出一种云端医疗图像分析系统。此医疗图像分析系统具有云端医疗分析平台与电子装置。电子装置取得医疗图像，电子装置对医疗图像进行量化以取得第一特征值，电子装置传送第一特征值至云端医疗分析平台，云端医疗分析平台将第一特征值输入至分析模块以取得分析结果，云端医疗分析平台传送分析结果至电子装置，其中分析模块使用自我学习模型(例如深度学习模型)且分析模块通过多个训练图像进行训练。

本发明提出一种云端医疗图像分析方法。此方法用于具有云端医疗分析平台与电子装置的云端医疗图像分析系统。所述方法包括：通过电子装置取得医疗图像；通过电子装置对医疗图像进行量化以取得第一特征值；通过电子装置传送第一特征值至云端医疗分析平台；通过云端医疗分析平台将第一特征值输入至分析模块以取得分析结果；以及通过云端医疗分析平台传送分析结果至电子装置，其中分析模块使用自我学习模型(例如深度学习模型)且分析模块通过多个训练图像进行训练。

基于上述，本发明的云端医疗图像分析系统与方法可以通过电子装置根据医疗图像产生特征值，而云端医疗分析平台根据此特征值来执行电脑辅助检测模块和/或电脑辅助诊断模块的功能，并回传肿瘤的位置和/或肿瘤的诊断结果给电子装置，甚至云端医疗分析平台亦可基于来自电子装置的反馈而具有自我学习的机制，从而优化云端医疗分析平台。通过此方式，电子装置可以不用实际执行电脑辅助检测模块和/或电脑辅助诊断模块，可以有效地降低电子装置的运算量。此外，由于电子装置仅需传送特征值至云端医疗分析平台进行分析，电子装置不需要传送完整的医疗图像至云端医疗分析平台，故可以有效地降低数据的传输量，并且可以降低系统的回应时间。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依据本发明一实施例所显示的云端医疗图像分析系统的示意图；

图2是依照本发明一实施例所显示的电子装置的方块图；

图3是依照本发明一实施例所显示的云端医疗分析平台的方块图；

图4是依照本发明一实施例所显示的云端医疗图像分析方法的流程图。

附图标记说明：

1000：云端医疗图像分析系统

100：电子装置

120：云端医疗分析平台

200：图像取得装置

20、30：处理单元

22、32：通讯单元

24、34：存储单元

24a：图像输入模块

24b：特征值取得模块

36：分析模块

36a：电脑辅助检测模块

36b：电脑辅助诊断模块

s401：电子装置取得医疗图像的步骤

s403：电子装置对医疗图像进行量化以取得第一特征值的步骤

s405：电子装置传送第一特征值至云端医疗分析平台的步骤

s407：云端医疗分析平台将第一特征值输入至分析模块以取得分析结果的步骤

s409：云端医疗分析平台传送分析结果至电子装置的步骤

具体实施方式

图1是依据本发明一实施例所显示的云端医疗图像分析系统的示意图。请参照图1，云端医疗图像分析系统1000可以包括电子装置100以及云端医疗分析平台120。电子装置100以及云端医疗分析平台120两者可以通过有线或无线的网络进行通讯。

图2是依照本发明一实施例所显示的电子装置的方块图。请参照图2，电子装置100包括处理单元20、通讯单元22以及存储单元24。其中，通讯单元22以及存储单元24分别耦接至处理单元20。电子装置100例如是手机、平板电脑、笔记型电脑、机器人等电子装置，在此不设限。

处理单元20可以是中央处理单元(centralprocessingunit，cpu)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数码信号处理器(digitalsignalprocessor，dsp)、可程序化控制器、特殊应用集成电路(applicationspecificintegratedcircuit，asic)或其他类似元件或上述元件的组合。

通讯单元22可为支援全球行动通信(globalsystemformobilecommunication,gsm)、个人手持式电话系统(personalhandy-phonesystem,phs)、码多重撷取(codedivisionmultipleaccess,cdma)系统、宽频码分多址(widebandcodedivisionmultipleaccess,wcdma)系统、长期演进(longtermevolution,lte)系统、全球互通微波存取(worldwideinteroperabilityformicrowaveaccess,wimax)系统、无线保真(wirelessfidelity,wi-fi)系统或蓝牙的信号传输的元件。

存储单元24可以是任何型态的固定或可移动随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)或类似元件或上述元件的组合。

在本范例实施例中，电子装置100的存储单元24中存储有多个程序码片段，在上述程序码片段被安装后，会由处理单元20来执行。例如，存储单元24中包括图像输入模块24a以及特征值取得模块24b，通过这些模块来分别执行电子装置100应用于云端医疗图像分析系统1000中的各个运作，其中各模块是由一或多个程序码片段所组成。然而本发明不限于此，电子装置100的各个运作也可以是使用其他硬件形式的方式来实现。

在此须说明的是，电子装置100可以连接至图像取得(撷取)装置200，图像取得装置200例如是超音波扫描装置、磁共振显影(magneticresonanceimaging；mri)、数码乳房断层层析(digitalbreasttomosynthesis；dbt)、手持式超音波扫描器或自动乳房超音波系统(automatedbreastultrasoundsystem,abus)来对患者进行扫描并取得医疗图像。然而，在另一实施例中，图像取得装置200也可以是直接地整合在电子装置100中，电子装置100例如可以直接地以超音波扫描装置、磁共振显影(magneticresonanceimaging；mri)、数码乳房断层层析(digitalbreasttomosynthesis；dbt)、手持式超音波扫描器或自动乳房超音波系统(abus)的形式实作，并且电子装置100可以直接地对患者进行扫描以取得医疗图像。而在另一实施例中，电子装置100也可以是通过其他的方式来取得上述的医疗图像，本发明并不用于限定电子装置100取得医疗图像的取得方式。

存储单元24中的图像输入模块24a用以取得至少一片段的医疗图像。在本范例实施例中，医疗图像为乳房图像，此乳房图像可以是由上述图像取得装置200所取得的自动乳房超音波(automatedbreastultrasound；abus)、数码乳房断层层析(digitalbreasttomosynthesis；dbt)、磁共振显影(magneticresonanceimaging：mri)等针对乳房部位的二维或三维医疗图像。在筛检中，三维图像技术可为癌症风险提供更加可靠乳房密度评估，但本发明实施例不仅限于三维图像。而在另一实施例中，图像输入模块24a也可自存储单元24、通过通讯单元22(例如，wi-fi、乙太网络(ethernet))、医学图像扫描器(例如，abus扫描仪器、mri扫描仪器等)或存储装置(例如，dvd、随身盘、硬盘等)取得医疗图像。

图3是依照本发明一实施例所显示的云端医疗分析平台的方块图。请参照图3，本实施例的云端医疗分析平台120包括处理单元30、通讯单元32以及存储单元34。其中，通讯单元32以及存储单元34分别耦接至处理单元30。处理单元30、通讯单元32以及存储单元34可以分别是与上述处理单元20、通讯单元22以及存储单元24相类似的元件，在此并再不赘述。此外，云端医疗分析平台120例如是手机、平板电脑、笔记型电脑、机器人或伺服器等，在此不设限。在本范例实施例中，云端医疗分析平台120可以是运算能力优于电子装置100的一伺服器。

在本范例实施例中，云端医疗分析平台120的存储单元34中存储有多个程序码片段，在上述程序码片段被安装后，会由处理单元30来执行。例如，存储单元34中包括具有电脑辅助检测模块36a与电脑辅助诊断模块36b的分析模块36，处理单元30会运行分析模块36中的电脑辅助检测模块36a与电脑辅助诊断模块36b来分别执行云端医疗分析平台120应用于云端医疗图像分析系统1000中的各个运作，其中各模块是由一或多个程序码片段所组成。然而本发明不限于此，云端医疗分析平台120的各个运作也可以是使用其他硬件形式的方式来实现。

图4是依照本发明一实施例所显示的云端医疗图像分析方法的流程图。

请同时参照图1至图4，图4的云端医疗图像分析方法可以应用于上述图1中的云端医疗图像分析系统1000。在步骤s401中，电子装置100的图像输入模块24a可以取得医疗图像。在本范例实施例中，医疗图像为一超音波图像。然而，在其他范例实施例中，医疗图像也可以是依实际应用需求而为其他类型的图像。

接着，在步骤s403中，电子装置100可以通过特征值取得模块24b对此医疗图像进行量化以取得特征值(亦称为，第一特征值)。

举例来说，当电子装置100取得医疗图像后，特征值取得模块24b例如可以对医疗图像进行前处理(例如：组织分群、像素分群等)，并且将经前处理后的医疗图像的特征进行量化。其中，医疗图像的特征例如是纹理、亮度或形状等特征。然而本发明并不用于限定上述前处理的形式以及医疗图像中的特征。在另一实施例中，当电脑辅助检测模块36a与电脑辅助诊断模块36b是使用区域方面(region-wise)的演算法来进行运算时，特征值取得模块24b可以对应地使用分水岭(watershed)演算法来对医疗图像作切割以产生多个区域的医疗图像，特征值取得模块24b可以对所述些区域的医疗图像进行量化以产生对应的特征值。在又一实施例中，当电脑辅助检测模块36a与电脑辅助诊断模块36b是使用像素方面(pixel-wise)的演算法来进行运算时，特征值取得模块24b可以对应地对医疗图像中的每个像素进行量化以产生对应的特征值。

接着，在步骤s405中，电子装置100传送此第一特征值至云端医疗分析平台120。在步骤s407中，云端医疗分析平台120会将第一特征值输入至分析模块36中的电脑辅助检测模块36a以及电脑辅助诊断模块36b的至少其中之一以取得一分析结果。最后在步骤s409中，云端医疗分析平台120会传送此分析结果至电子装置100。

在此须说明的是，在本发明的范例实施例中，分析模块36的电脑辅助检测模块36a以及电脑辅助诊断模块36b可以分别使用自我学习模型(例如深度学习模型，但并不限制于此)来进行实作并通过多个训练图像来对深度学习模型进行训练。在一实施例中，深度学习模型是使用多解析度卷积神经网络(multi-resolutionconvolutionalneuralnetwork)。一般来说，深度学习模型中会包括多个层，例如多个卷积层(convolutionlayer)、多个池化层(poolinglayer)以及多个全连接层(fully-connectedlayer)。而上述多个层的运算时常需要使用具有较佳的运算能力的装置来执行才能有效地降低处理的时间。因此，当云端医疗分析平台120的运算能力优于电子装置100的运算能力时，可以让云端医疗分析平台120使用深度学习模型来执行电脑辅助检测模块36a或电脑辅助诊断模块36b的功能。再者，由于电子装置100仅传送特征值至云端医疗分析平台120进行分析，电子装置100不需要传送完整的医疗图像至云端医疗分析平台120，故可以有效地降低数据的传输量，提高系统的效能。

特别是，在一范例实施例中，分析模块36的深度学习模型中部分的层也可以先交由电子装置100来执行。例如，在上述步骤s403中，电子装置100的特征值取得模块24b可以将医疗图像输入至深度学习模型中一部分的层以取得上述的第一特征值。当云端医疗分析平台120取得第一特征值后，可以在步骤s407中将第一特征值输入至深度学习模型中另一部分的层以取得分析结果。通过此方式，可以提高深度学习模块的运作效能，并且让云端医疗图像分析系统1000的运作更有弹性。

然而须注意的是，本发明并不用于限定分析模块36中电脑辅助检测模块36a以及电脑辅助诊断模块36b的实作方式，在另一实施例中，电脑辅助检测模块36a以及电脑辅助诊断模块36b也可以依实际应用需求而分别使用机器学习演算法(例如，逻辑回归、支援向量机等)来进行实作并通过多个训练图像进行训练。

为了更清楚地描述云端医疗图像分析系统1000的运作方式，以下分别使用多个实施例来进行说明。

[第一实施例]

请同时参照图1至图3，在本发明的第一实施例中，电子装置100可以通过图像输入模块24a取得一医疗图像。之后，电子装置100可以通过上述产生第一特征值的方式来根据医疗图像取得特征值。在取得上述的特征值后，电子装置100可以采有线或无线的方式传送特征值至云端医疗分析平台120。云端医疗分析平台120会将所接收到的特征值输入至分析模块36中的电脑辅助检测模块36a以产生分析结果。其中，电脑辅助检测模块36a是用以根据上述的特征值判断医疗图像中肿瘤的位置并产生对应的分析结果。也就是说，电脑辅助检测模块36a所产生的分析结果用于表示上述医疗图像中肿瘤的位置。

之后，云端医疗分析平台120可以传送分析结果至电子装置100。电子装置100可以通过其本身的人机显示界面(例如，触控显示荧幕(未显示))来进行显示以让使用者(例如，医生)了解医疗图像中肿瘤的位置。

然而须注意的是，电子装置100也可以根据分析结果传送反馈信息至云端医疗分析平台120。云端医疗分析平台120使用此反馈信息与上述医疗图像的第一特征值让电脑辅助检测模块36a自我学习。例如，分析结果中可能会有误判的肿瘤位置或未判断出的肿瘤位置，而电子装置100的使用者(例如，医生)可以在反馈信息中加入关于误判的肿瘤位置以及圈选出未判断出的肿瘤位置，云端医疗分析平台120可以根据此反馈信息让电脑辅助检测模块36a自我学习。

也就是说，在第一实施例中，电子装置100可以取得特征值。云端医疗分析平台120会根据电子装置100所传送的特征值来执行电脑辅助检测模块36a并产生分析结果。电子装置100的使用者可以根据分析结果得知医疗图像中肿瘤的位置，并且可以提供反馈信息给云端医疗分析平台120以让电脑辅助检测模块36a自我学习。

[第二实施例]

请同时参照图1至图3，在本发明的第二实施例中，电子装置100可以通过图像输入模块24a取得一医疗图像。特别是，第二实施例中的医疗图像是肿瘤区域的医疗图像。例如，电子装置100可以通过第一实施例所回传的分析结果得知肿瘤的位置，电子装置100可以根据肿瘤的位置对第一实施例中的医疗图像进行切割以撷取肿瘤区域的医疗图像，以当作第二实施例的医疗图像。

在取得第二实施例的医疗图像后，电子装置100可以通过上述产生第一特征值的方式来根据医疗图像取得特征值并传送此特征值至云端医疗分析平台120。云端医疗分析平台120会将所接收到的特征值输入至分析模块36中的电脑辅助诊断模块36b以产生分析结果。其中，电脑辅助诊断模块36b是用以根据上述的特征值判断医疗图像中的肿瘤为良性或恶性，并产生对应的分析结果。也就是说，电脑辅助诊断模块36b所产生的分析结果用于表示第二实施例的医疗图像中的肿瘤为良性或恶性。

之后，云端医疗分析平台120可以传送分析结果至电子装置100。电子装置100可以通过其本身的人机显示界面(例如，触控显示荧幕(未显示))来进行显示，以让使用者(例如，医生)了解医疗图像中的肿瘤为良性或恶性。

然而须注意的是，电子装置100也可以根据分析结果传送反馈信息至云端医疗分析平台120。云端医疗分析平台120使用此反馈信息与上述医疗图像的第一特征值让电脑辅助诊断模块36b自我学习。例如，分析结果中可能会有将恶性的肿瘤误判为良性或将良性的肿瘤误判为恶性。电子装置100的使用者(例如，医生)可以在反馈信息中加入正确的判断结果，云端医疗分析平台120可以根据此反馈信息让电脑辅助诊断模块36b自我学习。

也就是说，在第二实施例中，电子装置100可以取得特征值。云端医疗分析平台120会根据电子装置100所传送的特征值来执行电脑辅助诊断模块36b并产生分析结果。电子装置100的使用者(例如，医生)可以根据分析结果得知医疗图像中的肿瘤为良性或恶性，并且可以提供反馈信息给云端医疗分析平台120让电脑辅助诊断模块36b自我学习。

[第三实施例]

请同时参照图1至图3，在本发明的第三实施例中，电子装置100可以通过图像输入模块24a取得一医疗图像，此医疗图像例如是第一实施例的医疗图像。在取得医疗图像后，电子装置100可以通过上述产生第一特征值的方式来根据医疗图像取得特征值。在取得上述的特征值后，电子装置100可以传送特征值至云端医疗分析平台120。云端医疗分析平台120会将所接收到的特征值输入至分析模块36中的电脑辅助检测模块36a以判断医疗图像中肿瘤的位置。

举例来说，当电脑辅助检测模块36a是使用区域方面(region-wise)的演算法来进行运算时，电脑辅助检测模块36a可以使用从电子装置100所取得的特征值，判断此特征值所对应的医疗图像中肿瘤的位置。当电脑辅助检测模块36a是使用像素方面(pixel-wise)的演算法来进行运算时，电脑辅助检测模块36a可以使用从电子装置100所取得的特征值，判断此特征值所对应的医疗图像中的各个像素是否为肿瘤，并进而将可能为肿瘤的像素所组成的区域的位置判断为肿瘤的位置。

当判断出医疗图像中肿瘤的位置时，代表医疗图像中可能有肿瘤。此时，电脑辅助检测模块36a可以根据所接收到的特征值，再产生一第二特征值。其中，此第二特征值例如是相同于电脑辅助检测模块36a从电子装置100接收的特征值或者是另外再经处理后所产生的特征值，在此并不作限制。

之后，电脑辅助检测模块36a会将上述的第二特征值传送给电脑辅助诊断模块36b。电脑辅助诊断模块36b会根据第二特征值产生分析结果。其中，电脑辅助诊断模块36b是用以根据上述的第二特征值判断医疗图像中的肿瘤为良性或恶性，并产生对应的分析结果。也就是说，电脑辅助诊断模块36b所产生的分析结果用于表示医疗图像中的肿瘤为良性或恶性。

之后，云端医疗分析平台120可以传送分析结果至电子装置100。电子装置100可以通过其本身的人机显示界面(例如，触控显示荧幕(未显示))来进行显示，以让使用者(例如，医生)了解医疗图像中的肿瘤为良性或恶性。

类似地，电子装置100也可以根据分析结果传送反馈信息至云端医疗分析平台120，以使云端医疗分析平台120根据此反馈信息与上述医疗图像的第二特征值让电脑辅助诊断模块36b自我学习。

也就是说，在第三实施例中，电子装置100可以取得特征值。云端医疗分析平台120会根据电子装置100所传送的特征值来分别执行电脑辅助检测模块36a与电脑辅助诊断模块36b并产生分析结果。电子装置100的使用者(例如，医生)可以根据分析结果得知医疗图像中的肿瘤为良性或恶性，并且可以提供反馈信息给云端医疗分析平台120让电脑辅助诊断模块36b自我学习。

综上所述，本发明的云端医疗图像分析系统与方法可以通过电子装置根据医疗图像产生特征值，而云端医疗分析平台根据此特征值来执行电脑辅助检测模块和/或电脑辅助诊断模块的功能，并回传肿瘤的位置和/或肿瘤的诊断结果给电子装置，甚至云端医疗分析平台亦可基于来自电子装置的反馈而具有自我学习的机制，从而优化云端医疗分析平台。通过此方式，电子装置可以不用实际执行电脑辅助检测模块和/或电脑辅助诊断模块，可以有效地降低电子装置的运算量。此外，由于电子装置仅需传送特征值至云端医疗分析平台进行分析，电子装置不需要传送完整的医疗图像至云端医疗分析平台，故可以有效地降低数据的传输量，并且可以降低系统的回应时间。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视后附的申请专利范围所界定的为准。