赤潮图像自动识别的方法及装置与流程

1.本发明涉及图像识别领域，更具体地说，涉及一种赤潮图像自动识别的方法及装置。


背景技术：

2.赤潮是因海洋中的浮游生物暴发性急剧繁殖造成海水颜色异常的现象。赤潮是海洋污染的信号，严重破坏海洋渔业和水产资源，严重的还会对人类身体健康和生命安全造成威胁。由于海洋污染日趋严重，赤潮发生的次数也愈益频繁，海湾和沿岸海域更为突出。为了及时的预防和鉴定赤潮的发生，需要对海洋中赤潮生物进行持续的监测观察。
3.由不同种类的浮游生物引起的赤潮有不同的颜色，传统的赤潮监测方式是对海水进行采样，利用显微镜对水样进行观察，确定浮游生物的种类和密度，这种监测方法耗时费力，对工作人员的专业要求较高。
4.基于图像识别的赤潮监测方法是最新研究的方向，但是由于赤潮生物的种类多种，缺乏相关数据库和图像识别系统，如何准确的从海洋图像中确定赤潮信息是急需解决的问题。因此，需要一种赤潮图像自动识别的方法，能够准确的从拍摄的海洋监测图片中准确的识别出赤潮的信息，准确的确定赤潮的位置，有效的节省赤潮监测的人力物力。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种赤潮图像自动识别的方法及装置，用以解决现有技术中无法准确从海洋图片中识别出赤潮，从而无法实现赤潮的及时有效监测的问题。
6.为了解决上述技术问题，现提出的方案如下：
7.一种赤潮图像自动识别的方法，包括：
8.(1)特征训练阶段；
9.(1.1)获取赤潮图像的像素点以及不同位置的局部图像，提取所述像素点的多项特征；
10.(1.2)将所述像素点分类标注为赤潮像素点和非赤潮像素点两种类型；
11.(1.3)分别对不同类型的像素点的每一项特征进行聚类，选取有区分度的至少一项特征组成赤潮像素点特征集合；
12.(1.4)基于所述局部图像训练赤潮像素点特征集合中各项赤潮像素点特征的权重；
13.(2)图像识别阶段
14.(2.1)获取新的赤潮图像，基于赤潮像素点特征集合计算所述赤潮图像的每一个像素点的赤潮像素点特征；
15.(2.2)基于设置的赤潮像素点特征的权重，确定每一个所述像素点的类型；
16.(2.3)对所述赤潮图像进行边缘检测，标注边缘检测点；
17.(2.4)基于所述边缘检测点分割所述赤潮图像，形成多组分割像素点集合，将每一组所述分割像素点集合中的所有像素点标注为相同的类型；
18.(2.5)输出赤潮图像识别结果。
19.优选的，所述像素点的多项特征，具体包括以下至少一个：
20.颜色特征、颜色聚合向量、局部颜色直方图，和/或局部颜色矩阵。
21.优选的，所述基于所述局部图像训练赤潮像素点特征集合中各项赤潮像素点特征的权重，具体包括：
22.获取所述局部图像的每个像素点的各项赤潮像素点特征和像素点类型；线性组合每个所述各项赤潮像素点特征；
23.动态调整所述各项赤潮像素点特征的权重系数，确定与每种像素点类型相匹配的所述各项赤潮像素点特征的权重系数。
24.优选的，所述调整所述各项赤潮像素点特征的权重系数，使得各像素点的所述各项赤潮像素点特征的组合与所述局部图像的特征相匹配，具体包括：
25.采用深度学习的方法，进行权重系数的学习训练，通过选择不同卷积函数，提取赤潮图像的空间相关信息。
26.优选的，所述获取新的赤潮图像，基于赤潮像素点特征集合计算所述赤潮图像的每一个像素点的赤潮像素点特征，具体包括：
27.获取新的赤潮图像，对所述赤潮图像进行图像预处理，其中，所述图像预处理包括图像增强和/或图像去噪；
28.针对预处理后的赤潮图像中的每一个像素点，计算出赤潮像素点特征集合中的特征。
29.优选的，所述基于边缘检测点分割所述赤潮图像，形成多组分割像素点集合，将每一组分割像素点集合中的所有像素点标注为相同的类型，具体包括：
30.根据所述边缘检测点，将所述赤潮图像中每一行像素分为m个行分割块，每一列像素分为n个列分割块，其中m＞0，n＞0；
31.计算每一个行分割块中各类型像素点的数量，将所有像素点统一标注为数量占优的像素点的类型；
32.计算每一个列分割块中各类型像素点的数量，将所有像素点统一标注为数量占优的像素点的类型；
33.重复所述行分割块和列分割块的计算步骤，直至每一个所述行分割块和列分割块中的像素点均为同一类型。
34.一种赤潮图像自动识别装置，包括：特征训练单元和图像识别单元；
35.所述特征训练单元包括：
36.特征获取模块，用于获取赤潮图像的像素点以及不同位置的局部图像，提取所述像素点和所述局部图像的多项特征；
37.特征标注模块，用于将所述像素点分类标注为赤潮像素点和非赤潮像素点两种类型；
38.特征聚类模块，用于分别对不同类型的像素点的每一项特征进行聚类，选取有区分度的至少一项特征组成赤潮像素点特征集合；
39.权重训练模块，用于基于所述局部图像的特征，设置赤潮像素点特征集合中各项赤潮像素点特征的权重；
40.所述图像识别单元包括：
41.图像采集模块，用于输入新的赤潮图像，基于赤潮像素点特征集合计算所述赤潮图像的每一个像素点的赤潮像素点特征；
42.像素分类模块，用于基于设置的赤潮像素点特征的权重，确定每一个所述像素点的类型；
43.边缘检测模块，用于对所述赤潮图像进行边缘检测，标注边缘检测点；
44.像素识别模块，用于基于所述边缘检测点分割所述赤潮图像，形成多组分割像素点集合，将每一组所述分割像素点集合中的所有像素点标注为相同的类型；
45.结果输出模块，用于输出赤潮图像识别结果。
46.优选的，所述像素识别模块，具体包括：
47.像素分割模块，用于根据所述边缘检测点，将所述赤潮图像中每一行像素分为m个行分割块，每一列像素分为n个列分割块，其中m＞0，n＞0；
48.行处理模块，用于计算每一个行分割块中各类型像素点的数量，将所有像素点统一标注为数量占优的像素点的类型；
49.列处理模块，用于计算每一个列分割块中各类型像素点的数量，将所有像素点统一标注为数量占优的像素点的类型；
50.循环控制模块，用于重复所述行分割块和列分割块的计算步骤，直至每一个所述行分割块和列分割块中的像素点均为同一类型。
51.一种赤潮图像自动识别的装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现赤潮图像自动识别的方法步骤。
52.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现赤潮图像自动识别的方法步骤。
53.一种赤潮图像自动识别的系统，包括赤潮图像自动识别装置、移动/固定底座、能源供电装置、光学/高光谱相机、识别算法芯片、数据存储芯片、通讯芯片和姿态控制装置；
54.所述移动/固定底座，用于为所述自动识别装置提供稳定基座，实现所述自动识别装置长时间对海水状态的检测；
55.所述能源供电装置，用于为所述自动识别装置提供电源支持，同时支持自身的电池电压检测；
56.所述光学/高光谱相机，用于获取海上赤潮图像；
57.所述识别算法芯片，用于将自动识别算法固化在单片机系统中，用于实时赤潮图像的检测；
58.所述数据存储芯片，用于保存所述光学/高光谱相机获取的所述赤潮图像，便于事后资料的处理；
59.所述通讯芯片，用于为所述自动识别装置提供的网络通讯能力，在发生报警事件后能够及时发出预警，所述报警事件包括赤潮事件发生，和/或电池供电不足；
60.所述姿态控制装置，用于控制所述光学/高光谱相机的拍摄角度，以便获取到最佳
的拍摄图像。
61.从上述的技术方案可以看出，本申请实施例提供的赤潮图像自动识别的方法，通过对现有的赤潮图片进行特征提取、赤潮像素标注、赤潮特征提取、赤潮特征权重训练，通过深度学习的方式，确定与赤潮相关联的特征及权重，进而对监测获取的海洋图片进行像素点特征分析和图像处理，自动识别出海洋图片中的赤潮信息，解决了现有技术中无法准确从海洋图片中识别出赤潮，无法实现赤潮的及时有效监测的问题，实现了对赤潮的高精度、低成本的及时监测。
附图说明
62.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
63.图1是本发明的赤潮图像自动识别方法的流程图之一。
64.图2是本发明的赤潮图像自动识别方法的流程图之二。
65.图3是本发明的赤潮图像自动识别方法的流程图之三。
66.图4是本发明的赤潮图像自动识别装置结构示意图之一。
67.图5是本发明的赤潮图像自动识别装置的结构示意图之二。
68.图6是本发明的赤潮图像自动识别装置的结构示意图之三。
69.图7是本发明的赤潮图像自动识别系统的结构示意图。
具体实施方式
70.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
71.本发明提供的赤潮图像自动识别的方法适用于图像识别领域，更具体地涉及对海洋图像进行赤潮信息的自动识别。
72.赤潮又称红潮，因海洋中的浮游生物暴发性急剧繁殖造成海水颜色异常的现象，是近海常见的重要灾害之一。不同的浮游生物引起海水不同的颜色，赤潮只是各种颜色潮的总称。过于丰富的营养元素导致藻类生物的大量繁殖，而引起缺氧是产生赤潮的主要原因。由于海洋污染日趋严重，赤潮发生的次数也愈益频繁，海湾和沿岸海域更为突出。赤潮是海洋污染的信号，赤潮期河，鱼、虾、蟹、贝类大量死亡，对水产资源破坏很大，严重的还会因形成沉积物而影响海港建设。
73.赤潮监测是海洋生态环境监测的重要项目，对赤潮发生、发展和消失过程进行赤潮生物种类、影响范围、当地海水的物理化学条件及其他有关的环境要素等的监测。传统的赤潮监测方式是对海水进行采样，利用显微镜对水样进行观察，确定浮游生物的种类和密度，这种监测方法耗时费力，对工作人员的专业要求较高。
74.高光谱成像技术是基于非常多窄波段的影像数据技术，它将成像技术与光谱技术
相结合，探测目标的二维几何空间及一维光谱信息，获取高光谱分辨率的连续、窄波段的图像数据。
75.图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。图像的传统识别流程分为四个步骤：图像采集
→
图像预处理
→
特征提取
→
图像识别。
76.目前图像识别的主要研究方向是人脸识别和物品识别，在赤潮监测方面，基于图像识别的赤潮监测方法是最新研究的方向，但是由于赤潮生物的种类多种，缺乏相关数据库和图像识别系统，如何准确的从海洋图像中确定赤潮信息是急需解决的问题。
77.如图1所示，本发明提供的赤潮图像自动识别的方法，具体包括：
78.步骤100，特征训练阶段，选取已有的赤潮图像，标注赤潮点，进行深度学习训练，获取与赤潮的特定相关的图像特征以及特征的权重。
79.步骤101，获取赤潮图像的像素点以及不同位置的局部图像，提取像素点的多项特征。
80.选取已有的赤潮图像，提取图像中不同位置的局部图像，以及所有像素点的多项特征。提取的多项特征具体包括以下特征：
81.颜色特征、颜色聚合向量、局部颜色直方图，和/或局部颜色矩阵。
82.其中，颜色直方图，反映的是图像中颜色的组成分布，是不同色彩在整幅图像中所占的比例，特别适于描述那些难以进行自动分割的图像。
83.颜色聚合向量是直方图改进算法中一个较为复杂的方法，它将直方图中每一个颜色簇划分成聚合的和非聚合的两部分。在图像相似性比较过程中，分别比较它们的相似性，然后综合权衡后得到一个相似值，从而得出结果。
84.步骤102，将像素点分类标注为赤潮像素点和非赤潮像素点两种类型。
85.采取自动标注，人工修正的方式，将赤潮图像中的所有像素点分类标注为两种类型。
86.步骤103，分别对不同类型的像素点的每一项特征进行聚类，选取有区分度的至少一项特征组成赤潮像素点特征集合。
87.由于获取的赤潮图像通常是高光谱成像，赤潮在高光谱成像中具有特定的光谱，与其他海洋杂质，例如油污等有明显的不同。因此，需要提取出这些有区分度的特征作为赤潮的特有特征。
88.具体来说，根据图像特征和像素点标注，对赤潮像素点和非赤潮像素点两种类型的像素点的特征分别进行聚类分析，选取赤潮像素点有区分度的特征，去除无关和冗余特征，有效降低特征空间维度，消除特征之间的相关性。
89.特征提取的方法可采用主成分分析法，线性判别分析法，核方法，流型学习法等。
90.步骤104，基于局部图像训练赤潮像素点特征集合中各项赤潮像素点特征的权重。
91.具体包括，如图2所示：
92.步骤1041，获取局部图像的每个像素点的各项赤潮像素点特征和像素点类型；
93.步骤1042，线性组合每个各项赤潮像素点特征；
94.步骤1043，动态调整各项赤潮像素点特征的权重系数，确定与每种像素点类型相匹配的各项赤潮像素点特征的权重系数。
95.这里可以采用深度学习的方法，进行权重系数的学习训练，通过选择不同卷积函数，提取赤潮图像的空间相关信息。
96.步骤200，图像识别阶段，从监测相机中获取新的海洋图像，基于训练的赤潮相关特征及权重，对新的图像进行边缘检测、图像分割、像素点聚类，输出赤潮图像的识别结果。
97.步骤201，获取新的赤潮图像，基于赤潮像素点特征集合计算赤潮图像的每一个像素点的赤潮像素点特征。
98.获取新的赤潮图像，对赤潮图像进行图像预处理，其中，图像预处理主要包括图像增强和图像去噪。
99.根据训练的结果，选取与赤潮特点相关的特征，针对预处理后的赤潮图像中的每一个像素点，计算出赤潮像素点特征集合中的特征。
100.步骤202，基于设置的赤潮像素点特征的权重，确定每一个像素点的类型。
101.基于训练得出的特征的权重系数，线性组合每个各项赤潮像素点特征，计算出每一个像素点匹配的类型。
102.步骤203，对赤潮图像进行边缘检测，标注边缘检测点。
103.可以使用canny边缘检测算法，整体嵌套边缘检测法等，对赤潮图像进行边缘检测计算，标注出图像中位于边缘位置的像素点。
104.步骤204，基于边缘检测点分割赤潮图像，形成多组分割像素点集合，将每一组分割像素点集合中的像素点标注为相同的类型。
105.具体来说，如图3所示：
106.步骤2041，根据边缘检测点，将赤潮图像中每一行像素分为m个行分割块，每一列像素分为n个列分割块，其中m＞0，n＞0；
107.步骤2042，计算每一个行分割块中各类型像素点的数量，将所有像素点统一标注为数量占优的像素点的类型；
108.步骤2043，计算每一个列分割块中各类型像素点的数量，将所有像素点统一标注为数量占优的像素点的类型；
109.步骤2044，重复行分割块和列分割块的计算步骤，直至每一个行分割块和列分割块中的像素点均为同一类型。
110.步骤205，输出赤潮图像识别结果。
111.基于本发明前文提供的一种赤潮图像自动识别方法的相同构思，本发明还提供一种赤潮图像自动识别装置，如图4所示，该装置包括：特征训练单元100和图像识别单元200。
112.所述特征训练单元100包括：
113.特征获取模块101，用于获取赤潮图像的像素点以及不同位置的局部图像，提取像素点和局部图像的多项特征。
114.特征标注模块102，用于将像素点分类标注为赤潮像素点和非赤潮像素点两种类型。
115.特征聚类模块103，用于分别对不同类型的像素点的每一项特征进行聚类，选取有区分度的至少一项特征组成赤潮像素点特征集合。
116.权重训练模块104，用于基于局部图像的特征，设置赤潮像素点特征集合中各项赤潮像素点特征的权重。
117.所述图像识别单元200包括：
118.图像采集模块201，用于输入新的赤潮图像，基于赤潮像素点特征集合计算赤潮图像的每一个像素点的赤潮像素点特征。
119.像素分类模块202，用于基于设置的赤潮像素点特征的权重，确定每一个像素点的类型。
120.边缘检测模块203，用于对赤潮图像进行边缘检测，标注边缘检测点。
121.像素识别模块204，用于基于边缘检测点分割赤潮图像，形成多组分割像素点集合，将每一组分割像素点集合中的所有像素点标注为相同的类型。
122.结果输出模块205，用于输出赤潮图像识别结果。
123.其中，如图5所示，像素识别模块204具体包括：
124.像素分割模块2041，用于根据边缘检测点，将赤潮图像中每一行像素分为m个行分割块，每一列像素分为n个列分割块，其中m＞0，n＞0。
125.行处理模块2042，用于计算每一个行分割块中各类型像素点的数量，将所有像素点统一标注为数量占优的像素点的类型。
126.列处理模块2043，用于计算每一个列分割块中各类型像素点的数量，将所有像素点统一标注为数量占优的像素点的类型。
127.循环控制模块2044，用于重复行分割块和列分割块的计算步骤，直至每一个行分割块和列分割块中的像素点均为同一类型。
128.基于本发明前文提供的一种赤潮图像自动识别方法的相同构思，本发明还提供一种赤潮图像自动识别装置，如图6所示，该装置包括：存储器101、处理器102以及存储在所述存储器中并可在处理器102上运行的计算机程序。处理器102执行计算机程序时实现标志牌模糊检测的方法步骤。
129.基于本发明前文提供的一种赤潮图像自动识别方法的相同构思，本发明还提供一种赤潮图像自动识别系统，如图7所示，该系统包括：赤潮图像自动识别装置1、移动/固定底座2、能源供电装置3、光学/高光谱相机4、识别算法芯片5、数据存储芯片6、通讯芯片7和姿态控制装置8。
130.所述移动/固定底座2，用于为自动识别装置1提供稳定基座，实现自动识别装置1长时间对海水状态的检测。
131.所述能源供电装置3，用于为自动识别装置1提供电源支持，同时支持自身的电池电压检测。
132.所述光学/高光谱相机4，用于获取海上赤潮图像。
133.所述识别算法芯片5，用于将自动识别算法固化在单片机系统中，用于实时赤潮图像的检测。
134.所述数据存储芯片6，用于保存所述光学/高光谱相机4获取的赤潮图像，便于事后资料的处理。
135.所述通讯芯片7，用于为自动识别装置1提供的网络通讯能力，在发生报警事件后能够及时发出预警，其中，报警事件包括赤潮事件发生，和/或电池供电不足；
136.所述姿态控制装置8，用于控制光学/高光谱相机4的拍摄角度，以便获取到最佳的拍摄图像。
137.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语
″
包括
″
、
″
包含
″
或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句
″
包括一个......
″
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
138.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
139.本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
140.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
141.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
142.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
143.附图中的流程图和框图显示了根据本发明的多个实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图和框图中的每个方框可以代表一个模块、程序段或代码的一部分，包含一个或多个用于实现逻辑功能的计算机可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。也要注意的是，框图和流程图中的每个方框或方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。