一种基于线性融合神经网络的肝硬化分类方法及电子设备

1.本发明涉及超声信号处理技术领域，尤其涉及一种基于线性融合神经网络的肝硬化分类方法、电子设备及计算机可读存储介质。


背景技术：

2.肝硬化是常见的慢性进行性肝病，检测肝硬化程度对控制慢性肝病的发病过程尤其是预防癌变具有十分重要的意义。近年来，常采用超声对肝硬化进行诊断，超声诊断具有可以实时观察肝脏的优点。
3.但医生通过采集肝硬化的超声图像判断肝硬化程度，会受到医生主观经验的影响，具有主观性，并且细微变化肉眼很难辨认，因此采用图像识别技术结合神经网络进行训练学习。现有技术中肝硬化图像识别技术大多采用单一网络模型，致使肝硬化分类结果的准确度不高。


技术实现要素：

4.有鉴于此，有必要提供一种基于线性融合神经网络的肝硬化分类方法、电子设备及计算机可读存储介质，用以解决现有技术中肝硬化分类准确度不高的问题。
5.为了解决上述问题，本发明提供一种基于线性融合神经网络的肝硬化分类方法，包括：
6.获取肝硬化感兴趣区域的图像和对应的分类标签，根据所述图像和对应的分类标签生成数据集；
7.构建线性融合神经网络模型，利用所述数据集对所述线性融合神经网络模型进行训练，得到训练完备的线性融合神经网络模型；
8.获取待分类包含肝硬化区域的图像，根据所述待分类包含肝硬化区域的图像和所述训练完备的线性融合网络模型，得到分类结果。
9.进一步地，根据所述图像和对应的分类标签生成数据集，包括：
10.对所述图像进行图像增强，得到增强后的图像，将所述增强后的图像作为输入图像进行图像特征提取，得到提取图像特征后的输出图像；
11.对所述输出图像进行归一化处理，得到处理后的图像，利用所述处理后的图像和对应的分类标签生成数据集。
12.进一步地，对所述图像进行图像增强，包括：
13.利用全局直方图均衡算法和模糊算法对所述图像进行图像增强。
14.进一步地，将所述增强后的图像作为输入图像进行图像特征提取，得到提取图像特征后的输出图像，包括：
15.将所述增强后的图像作为输入图像，分别利用灰度共生矩阵、局部二值模式及harris角点对所述输入图像进行图像特征提取，得到对应的三组图像，利用所述三组图像组成提取图像特征后的输出图像。
16.进一步地，构建线性融合神经网络模型，利用所述数据集对所述线性融合神经网络模型进行训练，得到训练完备的线性融合神经网络模型，包括：
17.在线性融合神经网络模型第一层中利用所述数据集对第一神经网络和第二神经网络进行初次训练，得到初次训练后的第一神经网络和第二神经网络，以及对应的网络权重序列，利用所述对应的网络权重序列预测所述数据集组成新的数据集；
18.在线性融合神经网络模型第二层中利用所述新的数据集对所述初次训练后的第一神经网络和第二神经网络进行再次训练，得到再次训练后的第一神经网络和第二神经网络，根据所述再次训练后的第一神经网络和第二神经网络得到训练完备的线性融合神经网络模型。
19.进一步地，利用所述数据集对第一神经网络和第二神经网络进行初次训练，得到初次训练后的第一神经网络和第二神经网络，以及对应的网络权重序列，利用所述对应的网络权重序列预测所述数据集组成新的数据集，包括：
20.将所述数据集划分为训练集、验证集及测试集，利用部分训练集对第一神经网络和第二神经网络进行初次训练，得到初次训练后的第一神经网络和第二神经网络，以及对应的网络权重序列，利用所述对应的网络权重序列预测剩余训练集和验证集组成次级训练集和新的验证集。
21.进一步地，利用所述新的数据集对所述初次训练后的第一神经网络和第二神经网络进行再次训练，得到再次训练后的第一神经网络和第二神经网络，根据所述再次训练后的第一神经网络和第二神经网络得到训练完备的线性融合神经网络模型，包括：
22.利用次级训练集对所述初次训练后的第一神经网络和第二神经网络进行再次训练，得到再次训练后的第一神经网络和第二神经网络，将所述再次训练后的第一神经网络和第二神经网络融合得到二级网络模型，利用所述新的验证集和所述测试集对所述二级网络模型进行训练，得到训练后的二级网络模型，将所述训练后的二级网络模型放入元学习器得到训练完备的线性融合神经网络模型。
23.进一步地，所述第一神经网络为vgg16，第二神经网络为resnet50。
24.本发明还提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上述任一技术方案所述的基于线性融合神经网络的肝硬化分类方法。
25.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现如上述任一技术方案所述的基于线性融合神经网络的肝硬化分类方法。
26.采用上述实施例的有益效果是：本发明提供的基于线性融合神经网络的肝硬化分类方法，通过构建线性融合神经网络模型，利用大量数据集对所述线性融合神经网络模型进行训练，得到训练完备的线性融合神经网络模型，利用训练完备的线性融合神经网络模型对待分类包含肝硬化区域的图像进行识别得到肝硬化分类结果，提高了肝硬化分类的准确度。
附图说明
27.图1为本发明提供的基于线性融合神经网络的肝硬化分类装置的应用场景示意
图；
28.图2为本发明提供的基于线性融合神经网络的肝硬化分类方法一实施例的流程示意图；
29.图3为本发明实施例中提供的包含肝硬化区域的图像示意图；
30.图4为本发明实施例中提供的肝硬化感兴趣区域的图像分割后的图像示意图；
31.图5为本发明实施例中提供的线性融合神经网络模型的结构示意图；
32.图6为本发明实施例中提供的神经网络vgg16和resnet50的结构示意图；
33.图7为本发明提供的电子设备一实施例的结构框图。
具体实施方式
34.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
35.本发明提供了一种基于线性融合神经网络的肝硬化分类方法、电子设备及计算机可读存储介质，以下分别进行详细说明。
36.图1为本发明提供的基于线性融合神经网络的肝硬化分类装置的应用场景示意图，该系统可以包括服务器100，服务器100中集成基于线性融合神经网络的肝硬化分类装置，如图1中的服务器。
37.本发明实施例中服务器100主要用于：
38.获取肝硬化感兴趣区域的图像和对应的分类标签，根据所述图像和对应的分类标签生成数据集；
39.构建线性融合神经网络模型，利用所述数据集对所述线性融合神经网络模型进行训练，得到训练完备的线性融合神经网络模型；
40.获取待分类包含肝硬化区域的图像，根据所述待分类包含肝硬化区域的图像和所述训练完备的线性融合网络模型，得到分类结果。
41.本发明实施例中，该服务器100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本发明实施例中所描述的服务器100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(cloud computing)的大量计算机或网络服务器构成。
42.可以理解的是，本发明实施例中所使用的终端200可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端200可以是台式机、便携式电脑、网络服务器、掌上电脑(personal digital assistant，pda)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定终端200的类型。
43.本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本发明方案一种应用场景，并不构成对本发明方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的终端，例如图1中仅示出2个终端，可以理解的，该基于线性融合神经网络的肝硬化分类装置还可以包括一个或多个其他终端，具体此处不作限定。
44.另外，参照图1所示，该基于线性融合神经网络的肝硬化分类装置还可以包括存储
器200，用于存储数据，如肝硬化感兴趣区域的图像和对应的分类标签等数据。
45.需要说明的是，图1所示的基于线性融合神经网络的肝硬化分类装置的场景示意图仅仅是一个示例，本发明实施例描述的基于线性融合神经网络的肝硬化分类装置以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着基于线性融合神经网络的肝硬化分类装置的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
46.本发明实施例提供了一种基于线性融合神经网络的肝硬化分类方法,其流程示意图，如图2所示，所述基于线性融合神经网络的肝硬化分类方法包括：
47.步骤s201、获取肝硬化感兴趣区域的图像和对应的分类标签，根据所述图像和对应的分类标签生成数据集；
48.步骤s202、构建线性融合神经网络模型，利用所述数据集对所述线性融合神经网络模型进行训练，得到训练完备的线性融合神经网络模型；
49.步骤s203、获取待分类包含肝硬化区域的图像，根据所述待分类包含肝硬化区域的图像和所述训练完备的线性融合网络模型，得到分类结果。
50.一个具体的实施例中，利用b超机采集包含肝硬化区域的图像，包含肝硬化区域的图像示意图，如图3所示，方框内为医生圈出的感兴趣区域，利用阈值法提取出肝硬化感兴趣区域的图像，根据病理检测结果对所述肝硬化感兴趣区域的图像进行标记，分为0、1、2、3级，0级表示正常，1级表示轻度肝硬化，2级表示中度肝硬化，3级表示重度肝硬化，将提取出肝硬化感兴趣区域的图像分割为64*64大小，肝硬化感兴趣区域的图像分割后的图像示意图，如图4所示，得到肝硬化感兴趣区域的图像和对应的分类标签。
51.作为一个优选的实施例，根据所述图像和对应的分类标签生成数据集，包括：
52.对所述图像进行图像增强，得到增强后的图像，将所述增强后的图像作为输入图像进行图像特征提取，得到提取图像特征后的输出图像；
53.对所述输出图像进行归一化处理，得到处理后的图像，利用所述处理后的图像和对应的分类标签生成数据集。
54.需要说明的是，对图像进行增强处理提高图像的对比度，使得图像更加清晰，提取不同的图像特征能够拓充数据集并且提取多种特征有利于提高肝硬化分类结果的准确性。
55.作为一个优选的实施例，对所述图像进行图像增强，包括：
56.利用全局直方图均衡算法和模糊算法对所述图像进行图像增强。
57.一个具体的实施例中，将肝硬化感兴趣区域的图像作为输入图像，利用全局直方图均衡算法对所述输入图像进行处理得到输出图像，利用模糊算法对所述输出图像进行图像增强处理，得到增强后的图像。
58.作为一个优选的实施例，将所述增强后的图像作为输入图像进行图像特征提取，得到提取图像特征后的输出图像，包括：
59.将所述增强后的图像作为输入图像，分别利用灰度共生矩阵、局部二值模式及harris角点对所述输入图像进行图像特征提取，得到对应的三组图像，利用所述三组图像组成提取图像特征后的输出图像。
60.一个具体的实施例中，利用灰度共生矩阵提取图像特征时，选择5*5的滑动窗口，
采用d＝1的步距，取0
°
、45
°
、90
°
和135
°
四个方向作为灰度共生矩阵的方向，对四个方向的特征值取平均值作为灰度共生矩阵值；
61.利用局部二值模式提取图像特征时，选择3*3的滑动窗口，以窗口中心像素点的灰度值为阈值对该窗口内其他像素点进行二值化处理得到对应的lbp值，进行加权求和得到该窗口的lbp值；
62.利用harris角点提取图像特征时，提取输入图像中的harris角点点集，计算输入图像中的每个角点对应的兴趣值，在邻域中比较所述兴趣值选择最优点，得到最优点对应的兴趣值；
63.对所述灰度共生矩阵值、lbp值及兴趣值进行归一化处理，得到对应的三组图像组成提取图像特征后的输出图像。
64.作为一个优选的实施例，构建线性融合神经网络模型，利用所述数据集对所述线性融合神经网络模型进行训练，得到训练完备的线性融合神经网络模型，包括：
65.在线性融合神经网络模型第一层中利用所述数据集对第一神经网络和第二神经网络进行初次训练，得到初次训练后的第一神经网络和第二神经网络，以及对应的网络权重序列，利用所述对应的网络权重序列预测所述数据集组成新的数据集；
66.在线性融合神经网络模型第二层中利用所述新的数据集对所述初次训练后的第一神经网络和第二神经网络进行再次训练，得到再次训练后的第一神经网络和第二神经网络，根据所述再次训练后的第一神经网络和第二神经网络得到训练完备的线性融合神经网络模型。
67.一个具体的实施例中，线性融合神经网络模型的结构示意图，如图5所示，图中前4层为线性融合神经网络模型第一层，后3层为线性融合神经网络模型第二层。
68.作为一个优选的实施例，利用所述数据集对第一神经网络和第二神经网络进行初次训练，得到初次训练后的第一神经网络和第二神经网络，以及对应的网络权重序列，利用所述对应的网络权重序列预测所述数据集组成新的数据集，包括：
69.将所述数据集划分为训练集、验证集及测试集，利用部分训练集对第一神经网络和第二神经网络进行初次训练，得到初次训练后的第一神经网络和第二神经网络，以及对应的网络权重序列，利用所述对应的网络权重序列预测剩余训练集和验证集组成次级训练集和新的验证集。
70.一个具体的实施例中，采用数据集中80％作为训练集，10％作为验证集，10％作为测试集，将训练集平分记为d1和d2，验证集记为val，测试集记为test，利用训练集d1对第一神经网络和第二神经网络进行初次训练，得到初次训练后的第一神经网络m1和第二神经网络m2，和对应的网络权重，利用m1对应的网络权重对训练集d2和验证集val进行预测得到对应的训练集p1和验证集v1，利用m2对应的网络权重对训练集d2和验证集val进行预测得到对应的训练集p2和验证集v2，利用训练集p1、p2及d2组成次级训练集，利用验证集v1、v2及val组成新的验证集。
71.作为一个优选的实施例，利用所述新的数据集对所述初次训练后的第一神经网络和第二神经网络进行再次训练，得到再次训练后的第一神经网络和第二神经网络，根据所述再次训练后的第一神经网络和第二神经网络得到训练完备的线性融合神经网络模型，包括：
72.利用次级训练集对所述初次训练后的第一神经网络和第二神经网络进行再次训练，得到再次训练后的第一神经网络和第二神经网络，将所述再次训练后的第一神经网络和第二神经网络融合得到二级网络模型，利用所述新的验证集和所述测试集对所述二级网络模型进行训练，得到训练后的二级网络模型，将所述训练后的二级网络模型放入元学习器得到训练完备的线性融合神经网络模型。
73.一个具体的实施例中，再次训练后的第一神经网络记为m3和再次训练后的第二神经网络记为m4，将m3和m4融合得到二级网络模型，利用新的验证集和测试集test对所述二级网络模型进行训练，得到训练后的二级网络模型，将所述训练后的二级网络模型放入元学习器比较二级网络模型的输出结果，输出两个神经网络中对应更好的结果，得到训练完备的线性融合神经网络模型。
74.作为一个优选的实施例，所述第一神经网络为vgg16，第二神经网络为resnet50。
75.一个具体的实施例中，神经网络vgg16和resnet50的结构示意图，如图6所示。
76.如图7所示，上述基于线性融合神经网络的肝硬化分类方法，本发明还相应提供了一种电子设备，该电子设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子设备包括处理器10、存储器20及显示器30。
77.存储器20在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器20在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器20还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器20用于存储安装于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码等。存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于线性融合神经网络的肝硬化分类程序40，该基于线性融合神经网络的肝硬化分类程序40可被处理器10所执行，从而实现本发明各实施例的基于线性融合神经网络的肝硬化分类方法。
78.处理器10在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行基于线性融合神经网络的肝硬化分类程序等。
79.显示器30在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。显示器30用于显示在计算机设备的信息以及用于显示可视化的用户界面。计算机设备的部件10-30通过系统总线相互通信。
80.在一实施例中，当处理器10执行存储器20中基于线性融合神经网络的肝硬化分类程序40时实现以下步骤：
81.获取肝硬化感兴趣区域的图像和对应的分类标签，根据所述图像和对应的分类标签生成数据集；
82.构建线性融合神经网络模型，利用所述数据集对所述线性融合神经网络模型进行训练，得到训练完备的线性融合神经网络模型；
83.获取待分类包含肝硬化区域的图像，根据所述待分类包含肝硬化区域的图像和所述训练完备的线性融合网络模型，得到分类结果。
84.本实施例还提供了一种计算机可读存储介质，其上存储有基于线性融合神经网络的肝硬化分类程序，基于线性融合神经网络的肝硬化分类程序被处理器执行时实现以下步骤：
85.获取肝硬化感兴趣区域的图像和对应的分类标签，根据所述图像和对应的分类标签生成数据集；
86.构建线性融合神经网络模型，利用所述数据集对所述线性融合神经网络模型进行训练，得到训练完备的线性融合神经网络模型；
87.获取待分类包含肝硬化区域的图像，根据所述待分类包含肝硬化区域的图像和所述训练完备的线性融合网络模型，得到分类结果。
88.本发明公开的一种基于线性融合神经网络的肝硬化分类方法、电子设备及计算机可读存储介质，通过构建线性融合神经网络模型，利用大量数据集对所述线性融合神经网络模型进行训练，得到训练完备的线性融合神经网络模型，利用训练完备的线性融合神经网络模型对待分类包含肝硬化区域的图像进行识别得到肝硬化分类结果，提高了肝硬化分类的准确度。
89.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
90.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。