一种基于图像处理技术的机场道面fod异物检测方法
【专利摘要】本发明提供一种基于图像处理技术的机场道面FOD异物检测方法，所述方法包括：采用GPS加惯性导航的综合定位技术对检测车辆进行位置定位，并控制千兆网工业相机进行图像采集，得到采集的图像数据和定位数据；对采集的图像进行预处理；对预处理后的图像采用基于SR的显著性模型算法提取并划分显著性区域，基于卷积神经网络对划分的显著性区域进行分类，确定显著性区域内的FOD异物。能够快速精确的对检测车辆进行定位，对采集的图像进行预处理能够有效去除图像受光照不均的影响和拉槽的干扰，快速准确的提取道面图像中的显著区域，从而快速准确的确定显著区域中的FOD异物。
【专利说明】
一种基于图像处理技术的机场道面FOD异物检测方法
技术领域
[0001] 本发明涉及机场道路检测技术领域，特别是指一种基于图像处理技术的机场道面 F0D异物检测方法。
【背景技术】
[0002] 近年来，F0D(Foreign Object Debris)可以理解是跑道运行过程中所有出现在跑 道上可能对运行安全造成危害的物品，常见的F0D包括道面脱落的碎块、石子，航空器、勤务 车辆丢失的零件或碎片或者从其他地方带来并丢失在跑道上的物品如货物行李的包装扎 带，人员在跑道上活动时遗失的随身物品，鸟或者其他小动物尸体，以及可能被风吹来的生 活垃圾。F0D来源广泛，形状和类型众多，形态特征复杂。
[0003] 道面异物可能以三种形式直接影响航空安全:在气流的作用下打击高速运动的飞 机，造成蒙皮损伤;或者被吸进发动机，造成发动机损伤;划伤或者刺伤高速运动的飞机轮 胎，严重时造成爆胎，进而可能导致机毁人亡的事故。2000年7月25日法航4590航班"协和" 式超音速客机起飞时坠毁事件，是道面异物危害航空安全的典型案例。
【发明内容】
[0004] 本发明要解决的技术问题是提供一种基于图像处理技术的机场道面F0D异物检测 方法，能够基于图像处理快速准确的机场道面F0D异物。
[0005] 为解决上述技术问题，本发明的实施例提供一种基于图像处理技术的机场道面 F0D异物检测方法，所述基于图像处理技术的机场道面F0D异物检测方法包括：
[0006] 采用GPS加惯性导航的综合定位技术对检测车辆进行位置定位，并控制千兆网工 业相机进行图像采集，得到采集的图像数据和定位数据；
[0007] 对采集的图像进行预处理，所述预处理包括对采集图像中机场道面图像增强、机 场道面图像分割和机场道面拉槽角度的计算中的至少一种；
[0008] 对预处理后的图像采用基于SR的显著性模型算法提取并划分显著性区域，基于卷 积神经网络对划分的显著性区域进行分类，确定显著性区域内的F0D异物。
[0009] 优选的，所述采用GPS加惯性导航的综合定位技术进行位置定位，并控制千兆网工 业相机进行图像采集，包括：
[0010] 利用差分GPS基站与检测车辆上的差分GPS移动站配合，结合MEMS惯导技术对检测 车辆的位置和车辆姿态进行定位；
[0011] 基于检测车辆的位置定位控制千兆网工业相机按照预先设定的间隔距离阈值进 行图像采集。
[0012] 优选的，所述采用GPS加惯性导航的综合定位技术对检测车辆进行位置定位，并控 制千兆网工业相机进行图像采集，得到采集的图像数据和定位数据包括：
[0013] 利用四台千兆网工业相机进行图像采集。
[0014] 优选的，所述对采集图像中机场道面图像增强，包括：
[0015] 采用直方图均衡化方法对道面图像进行处理；
[0016] 采用频域增强的方法对拉槽进行过滤。
[0017] 优选的，所述对采集图像中机场道面图像分割，包括：
[0018] 利用边缘检测算子和CB形态学对采集图像中机场道面图像分割。
[0019] 优选的，所述对采集图像中机场道面拉槽角度的计算，包括：
[0020] 利用Radon变换计算采集图像中机场道面拉槽角度。
[0021]优选的，所述对预处理后的图像采用基于SR的显著性模型算法提取并划分显著性 区域，包括：
[0022]对输入图像I(x)进行二维离散傅里叶变换，将图像从空间谱变换到频率谱，然后 计算图像的幅值，并对幅值取对数，得到log谱L(f)。
[0023]均值化的频谱：
[0024] A(f)=R(S[I(x)])
[0025] 相谱：
[0026] P(f)=X(S[I(x)])
[0027] A(f):图像I(x)的傅里叶变换的频谱
[0028] P(f):图像I(x)的傅里叶变换的相谱
[0029] 对数频谱：
[0030] L(f)=log(A(f))
[0031]谱冗余：
[0032] R(f)=L(f)-hn(f)*L(f)
[0033] hn(f):大小为n*n均值模板
[0034] 显著图：
[0035] S(x)= |F_1[exp{R(f)+P(f)}] |2
[0036]优选的，所述基于卷积神经网络对划分的显著性区域进行分类，确定显著性区域 内的F0D异物，包括：
[0037]根据现有机场道面数据设计卷积神经网络。
[0038] 优选的，所述卷积神经网络包括:3个卷积层和3个pooling层，卷积层和pooling层 相互交替，每个卷积层后都有一个非线性层ReLU层，最后一个Pooling层连接两个全连接 层，卷积神经网络各层配置参数如下：
[0039] 第一层为卷积层，卷积层的Pad为0，Stride为1，kernel为256*5*5;
[0040]第二层为Max Pooling层，Pad为0，stride为2，kernel为256*2*2;
[0041 ] 第三层为卷积层，卷积层的Pad为0，stride为0，Kernel为512*5*5;
[0042]第四层为Max Pooling层，Pad为0，stride为2，kernel为512*2*2;
[0043] 第五层为卷积层，卷积层的Pad为1，stride为3，Kernel为1024*3*3;
[0044]第六层为Max Pooling层，Pad为0，stride为2，kernel为 1024*2*2;
[0045] 第七层为全连接层(full connection)，隐含层神经元数量为4096;
[0046]第八层为全连接层(full connection)，隐含层神经元数量为3;
[0047]第九层为sof tmax层，输出每个类别的概率。
[0048]优选的，所述对预处理后的图像采用基于SR的显著性模型算法提取并划分显著性 区域，基于卷积神经网络对划分的显著性区域进行分类，确定显著性区域内的FOD异物之 后，包括：
[0049]采用图像金字塔结构存储并管理采集的图像数据、定位数据和F0D检测数据。
[0050] 本发明的上述技术方案的有益效果如下：
[0051] 上述方案中，利用GPS加惯性导航的综合定位技术对检测车辆进行位置定位，能够 快速精确的对检测车辆进行定位，利用千兆网工业相机进行图像采集能够快速获取高质量 的图像数据，对采集的图像进行预处理能够有效去除图像受光照不均的影响和拉槽的干 扰，基于SR的显著性模型算法提取并划分显著性区域，能够快速准确的提取道面图像中的 显著区域，基于卷积神经网络对划分的显著性区域进行分类，能够快速准确的确定显著区 域中的F0D异物。
【附图说明】
[0052]图1为本发明实施例的基于图像处理技术的机场道面F0D异物检测方法流程图。
【具体实施方式】
[0053]为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具 体实施例进行详细描述。
[0054]如图1所示，本发明实施例一种基于图像处理技术的机场道面F0D异物检测方法， 所述基于图像处理技术的机场道面F0D异物检测方法包括：
[0055] 步骤101:采用GPS加惯性导航的综合定位技术对检测车辆进行位置定位，并控制 千兆网工业相机进行图像采集，得到采集的图像数据和定位数据。
[0056] 其中，所述采用GPS加惯性导航的综合定位技术进行位置定位，并控制千兆网工业 相机进行图像采集，可以包括：
[0057]利用差分GPS基站与检测车辆上的差分GPS移动站配合，结合MEMS惯导技术对检测 车辆的位置和车辆姿态进行定位；
[0058]具体的，差分GPS移动站可以设置有精确的位置脉冲同步系统。差分GPS移动基于 差分GPS和MEMS惯导技术敏感检测车的精确位置和车辆姿态，位置精度可以为2cm，姿态精 度可以为0.1° ;同时可以与车载计算机进行实时通信。
[0059] 采用GPS加惯性导航的综合定位技术其性能指标可以下：
[0060] 1基于差分GPS，使车辆位置精度优于2cm，车辆姿态精度优于0.1°。
[0061] 2相机驱动脉冲发生时刻与差分GPS的数据解算时刻的同步误差小于2ms。
[0062] 3综合时间误差、延迟误差和GPS定位误差，使相机照片的位置误差优于10cm。
[0063] 4相机驱动脉冲发生速度根据车辆速度自动调整。
[0064] 5GPS移动站的最高输出频率需达到100Hz。
[0065]基于检测车辆的位置定位控制千兆网工业相机按照预先设定的间隔距离阈值进 行图像采集。
[0066]具体的，可以利用四台千兆网工业相机进行图像采集，千兆网工业相机可以选用 大恒GT2050相机，并可以通过千兆网口传输数据。千兆网工业相机相机触发可以按照位置 进行同步触发，即检测车行驶设定的距离之后，控制器触发相机拍摄一帧图片。车速变快， 行驶设定距离所花费的时间变短，则相机的触发间隔也随之变短;车速变慢，行驶设定距离 所花费的时间变长，则相机的触发间隔也随之变长。在相机进行照射前可以采用TenenGrad 对焦算法、Vol lath对焦算法和Squared-Gradient对焦算法中的至少一种进行对焦，并选取 14-16帧之间的图像认定为清晰图像。
[0067]步骤102:对采集的图像进行预处理，所述预处理包括对采集图像中机场道面图像 增强、机场道面图像分割和机场道面拉槽角度的计算中的至少一种。
[0068]其中，优选的，所述对采集图像中机场道面图像增强，可以包括：
[0069]采用直方图均衡化方法对道面图像进行处理；
[0070] 采用频域增强的方法对拉槽进行过滤；
[0071] 对采集图像中机场道面图像分割，可以包括：
[0072] 利用边缘检测算子和CB形态学对采集图像中机场道面图像分割；
[0073] 对采集图像中机场道面拉槽角度的计算，可以包括：
[0074]利用LBP算子和Radon变换计算采集图像中机场道面拉槽角度。
[0075]步骤103:对预处理后的图像采用基于SR的显著性模型算法提取并划分显著性区 域，基于卷积神经网络对划分的显著性区域进行分类，确定显著性区域内的F0D异物。
[0076]其中，可以在进行位置定位和图像采集的同时，对采集的图像进行预处理，并对预 处理后的图像进行F0D异物检测，当检测到F0D异物时发出警报，还可以利用GPU加速对预处 理后的图像采用基于SR的显著性模型算法提取并划分显著性区域，基于卷积神经网络对划 分的显著性区域进行分类，确定显著性区域内的F0D异物。
[0077]本发明实施例的基于图像处理技术的机场道面F0D异物检测方法，利用GPS加惯性 导航的综合定位技术对检测车辆进行位置定位，能够快速精确的对检测车辆进行定位，利 用千兆网工业相机进行图像采集能够快速获取高质量的图像数据，对采集的图像进行预处 理能够有效去除图像受光照不均的影响和拉槽的干扰，基于SR的显著性模型算法提取并划 分显著性区域，能够快速准确的提取道面图像中的显著区域，基于卷积神经网络对划分的 显著性区域进行分类，能够快速准确的确定显著区域中的F0D异物。
[0078] (1)检测精度:可检测宽度方向最小尺寸多2mm的道面异常，包括道面异物。
[0079] (2)道面异物检测响应速度:彡5秒
[0080] (3)单程检测宽度可以为:5m [0081 ] (4)检测车时速可以为:50km
[0082] (5)单程宽度可以为：5m
[0083]本发明实施例的基于图像处理技术的机场道面F0D异物检测方法，对采集的图像 进行预处理过程中，采用直方图均衡化方法对道面图像进行处理，可以包括：
[0084]步骤201:列出原始图像的灰度级fj，j = 0，l，…，L-1，其中L是灰度级的个数。
[0085]步骤202:统计各灰度级的像素数目如，j = 0，1，…，L-1。
[0086]步骤203:计算原始图像直方图各灰度级的频数Pf(fj)=nj/n，j = 0，l，…，L-1，其 中n为原始图像总的像素数目。 k
[0087] 步骤204:计算累计分布函数. ni ,, j=0 ，y = 0，l,…，1一1〇
[0088]步骤205:应用以下公式计算映射输出图像的灰度级gi，i=0，l，…，P-1，P为输出 图像灰度级的个数：
[0089] gi = INT [ ( gmax-gmin) C ( f ) +gmin+0.5 ]
[0090] 其中，INT为取整符号。
[0091] 步骤206:统计映射后各灰度级的像素数目m，i = 0，1，…，p-l。
[0092] 步骤207:计算输出图像直方图_ i = O
[0093]步骤208:用灼和gl的映射关系修改原始图像的灰度级，从而获得直方图近似为均 匀分布的输出图像。
[0094] 本实施例中，通过进行采用直方图均衡化方法对道面图像进行处理，增强了原始 图像对比度，有利于后续拉槽角度的计算。
[0095] 采用频域增强的方法对拉槽进行过滤，可以包括：
[0096] 设函数f(x，y)与线性位不变算子h(x，y)的卷积结果是g(x，y)，即有g(x，y)=h(x， y)*f (x，y)，那么根据卷积定理在频域的性质有：
[0097] G(u，v) =H(u，v)F(u，v)
[0098] 其中，G(u，v)，H(u，v)，F(u，v)分别是g(x，y)，h(x，y)，f(x，y)的傅里叶变换。
[0099]从线性系统理论的角度看，H(u，v)为转移函数。在具体的增强应用中，f(x，y)是给 定的（所以F(u，v)可利用变换得到），需要确定的是H(u，v)，这样具有所需特性的g(x，y)就 可由式:G(u，v) =H(u，v)F(u，v)算出G(u，v)，从而得到：
[0100] g(x,y) =F_1[H(u,v)F(u,v)]
[0101] 根据以上的讨论，在频率域中进行增强是相当可观的，其主要步骤有：
[0102] (1)计算需增强图的傅立叶变换；
[0103] (2)将其与1个转移函数相乘；
[0104] (3)再将结果傅立叶反变换以得到增强的图。
[0105] 常用频域增强方法有:低通滤波、高通滤波、带通和带阻滤波、同态滤波。
[0106] (a)低通滤波
[0107] 图像中的边缘和噪声都对应图像傅立叶变换中的高频部分，所以如要在频域中削 弱其影响就要设法减弱这部分频率的分量。根据式6(1 1，7)=11(11，7奸(11，7)我们需要选择1 个合适的H(u，v)以得到削弱F(u，v)高频分量G(u，v)。
[0108]理想低通滤波器
[0109] 1个2-D理想低通滤波器的转移函数满足下列条件：
[\,D(u,v)<D0
[0110] H(u,v) = \ \〇,D(u,v)>D0
[0111] 其中，Do为1个非负整数。
[0112] (2)巴特沃斯低通滤波器
[0113]物理上可与实现的一种低通滤波器是巴特沃斯低通滤波器。一个阶为n，截断频率 为Do的巴特沃斯低通滤波器的转移函数为：
[0115]阶为1的巴特沃斯低通滤波器在高低频率间的过渡比较光滑，所以用巴特沃斯滤 波器得到的输出图其振铃效应不明显。
[0116] (a)高通滤波
[0117] (b)理想高通滤波器
[0118] 1个2-D理想高通滤波器的转移函数满足下列条件：
[0119]
[l,D(u,v)>D0
[0120] (1)巴特沃斯高通滤波器
[0121] 一个阶为n，截断频率为Do的巴特沃斯高通滤波器的转移函数为：
[0123] 阶为1的巴特沃斯高通滤波器与巴特沃斯低通滤波器类似，高通的巴特沃斯滤波 器在通过和滤掉的频率之间也没有不连续的分界。由于在高低频率间的过渡比较光滑，所 以用巴特沃斯滤波器得到的输出图其振铃效应不明显。
[0124] (a)带通和带阻滤波
[0125] 带通滤波器允许一定频率范围内的信号通过而阻止其它频率范围内的信号通过。 与此相对应，带阻滤波器阻止一定频率范围内的信号通过而允许其它频率范围内的信号通 过。一个用于消除以uo+vo为中心，Do为半径的区域内所有频率的理想带阻滤波器的转移函 数为： \〇,D(u,v)<D0
[0126] H(U,V) = \ ° \l,D(M，v)>D0
[0127] 其中，D(u，v) = [ (u-u0)2+(v_vo)2]1/2
[0128] 考虑到傅立叶变换的对称性，为了消除不是以原点为中心的给定区域内率，带阻 滤波器必须两两对称地工作，即上两式需要改成：
[0129] =
[_1,其他
[0130] 其中，
[0131 ] Di(u,v) = [ (u-u0)2+(v-vo)2]1/2
[0132] D2(u，v) = [ (u-u0)2+(v_vo)2]1/2
[0133] 带阻滤波器也可设计成能除去以原点为中心的频率。这样一个放射对称的理想带 阻滤波器的转移函数是： 1, D(u,v)<D0-W/2
[0134] H(u,v)=' 0,D0-W/2<D(u,v)<D0+W/2 l,D(u,v)>D0+W/2
[0135] 其中W为带的宽度，Do为放射中心。
[0136] 类似的n阶放射对称的巴特沃斯带阻滤波器的转移函数为
[0138] 其中，W和Do同上。
[0139] 带通滤波器和带阻滤波器是互补的。所以，如设Hr(u，v)为带阻滤波器的转移函 数，则对应的带通滤波器Hp (u，v)只需将Hr (u，v)翻转即可：
[0140] Hp(u，v)=-[Hr(u，v)_1] = 1_Hr(u，v)
[0141]本实施例中，通过采用频域增强的方法对拉槽进行过滤，能够有效去除平行拉槽。
[0142] 利用边缘检测算子和CB形态学对采集图像中机场道面图像分割，可以包括：
[0143] 在经典形态学中，对不含噪灰度图像进行边缘检测，常用的算子有以下三种：
[0144] G = {f ?b)- f
[0145] G = f-(f 0b)
[0146] G = (f?b)-(J?b)
[0147] 其中，f?b为结构元素 b对信号f?的腐蚀，/?6为结构元素 b对信号f?的膨胀。
[0148] 以上三种形态学边缘检测算子可以分别提取图像外边缘、内边缘和骑跨在实际欧 氏边界上的边缘。
[0149] 根据CB形态学定义，由于/?部從S/?6,以上算子可改进如下：
[0150] G = (/十劼)-/
[0151 ] G = f-(f@db)
[0152] G = (J?db、-(f?db)
[0153] 上式在去噪和边缘定位精度方面均优于经典形态学边缘检测算子。
[0154] 对于含噪图像，因此考虑引入开、闭运算来抑制噪声。CB形态学的腐蚀和开运算可 滤除负噪声，膨胀和闭运算可滤除正噪声，以级联形式得到抗噪型边缘检测算子：
[0155] G = (/?6)十 a6-(/?6)x6
[0156] G = (/x 6)0 56 -(/x 6)036
[0157] G = (/ ? 6) ? 36 - (/ x b)?db
[0158] CB形态运算结果还与连通分量的周围环境有关。一般来说，对小结构元素，周围环 境要求较弱，但它可删除的分量较小，而对大结构元素则反之，因此引入多结构元素可进一 步改善效果。通过多次实验证明，进行二次迭代即可达到较好效果。对于个别尺寸较大、噪 声信号较强的可进行三次迭代。由CB形态学原理和经典形态学边缘检测算式可得下式：
[0159] G = [(/0咚)十匀]十部2 -[(/十两)?6J0油2
[0160] g=[(/?%)十6】十部2]十部3 -[(/十两]?az>3
[0161] 利用下式对采集图像中机场道面图像分割：
[0162] G ^[(/?^)十h]十部2 -[(/?^?fcJQah
[0163] G = [(/036,)?6, ? ]?db3 -[(/?dbx)?bx?db2]?56,
[0164] 利用Radon变换计算采集图像中机场道面拉槽角度，可以包括：
[0165] 利用下式进行二维空间的Radon变换：
[0166] R{fix,y)} = g{t,0) = ^ J f{x,y)8{xQ,os0-\-ysm6-t)dx(fy
[0167] 其中，0<t<+①和O<0<Ji，t代表沿着直线上的距离。
[0168] 对道面图像进行0°~180°的投影；
[0169 ] (2)计算Radon变换域空间的一阶微分；
[0170] (3)计算Radon变换域空间微分后的累加和，累加和最大的角度为a，a经过下面的 计算后，即为拉槽的倾斜角0，拉槽方向为逆时针。 ^ fa-90°,90o<a<180° 0171] 0 = < I a+90o,0o；^a<90o
[0172]本发明实施例的基于图像处理技术的机场道面F0D异物检测方法，
[0173]所述对预处理后的图像采用基于SR的显著性模型算法提取并划分显著性区域，可 以包括：
[0174]对输入图像I(x)进行二维离散傅里叶变换，将图像从空间谱变换到频率谱，然后 计算图像的幅值，并对幅值取对数，得到log谱L(f)。
[0175] 均值化的频谱：
[0176] A(f)=R(S[I(x)])
[0177] 相谱：
[0178] P(f)=X(S[I(x)])
[0179] A(f):图像I(x)的傅里叶变换的频谱
[0180] P(f):图像I(x)的傅里叶变换的相谱
[0181] 对数频谱：
[0182] L(f)=log(A(f))
[0183] 谱冗余：
[0184] R(f)=L(f)-hn(f)*L(f)
[0185] hn(f):大小为n*n均值模板
[0186] 显著图：
[0187] S(x)= |F_1[exp{R(f)+P(f)}] |2
[0188] 本实施例中，对预处理后的图像采用基于SR的显著性模型算法提取并划分显著性 区域的检测结果如下表：
[0189] (1)运行时间（图像2048*2048):
[0191] (2)检测性能对比：
[0195]对预处理后的图像采用基于SR的显著性模型算法提取并划分显著性区域，检出率 更高检测速度更快。
[0196] 所述基于卷积神经网络对划分的显著性区域进行分类，确定显著性区域内的F0D 异物，可以包括：
[0197] 根据现有机场道面数据设计卷积神经网络。
[0198] 所述卷积神经网络包括:3个卷积层和3个pooling层，卷积层和pooling层相互交 替，每个卷积层后都有一个非线性层ReLU层，最后一个Pool ing层连接两个全连接层，卷积 神经网络各层配置参数如下：
[01"] 第一层为卷积层，卷积层的Pad为0，Stride为1，kernel为256*5*5;
[0200]第二层为Max Pooling层，Pad为0，stride为2，kernel为256*2*2;
[0201] 第三层为卷积层，卷积层的Pad为0，stride为0，Kernel为512*5*5;
[0202]第四层为Max Pooling层，Pad为0，stride为2，kernel为512*2*2;
[0203] 第五层为卷积层，卷积层的Pad为1，stride为3，Kernel为1024*3*3;
[0204]第六层为Max Pooling层，Pad为0，stride为2，kernel为 1024*2*2;
[0205] 第七层为全连接层(full connection)，隐含层神经元数量为4096;
[0206]第八层为全连接层(full connection)，隐含层神经元数量为3;
[0207]第九层为softmax层，输出每个类别的概率。
[0208]本实施例中，基于卷积神经网络对划分的显著性区域进行分类，确定显著性区域 内的F0D异物，能够快速准确的对显著性区域进行分类，区分F0D异物和其他干扰物，识别率 更高，识别速度更快。
[0209]本发明实施例的基于图像处理技术的机场道面F0D异物检测方法，所述对预处理 后的图像采用基于SR的显著性模型算法提取并划分显著性区域，基于卷积神经网络对划分 的显著性区域进行分类，确定显著性区域内的F0D异物之后，包括：
[0210]采用图像金字塔结构存储并管理采集的图像数据、定位数据和F0D检测数据。
[0211]其中，原始图像数据与F0D检测结果可以分别用三个文件存储相关信息，每行格式 如下：
[0212] (1)原始GPS数据文件:GPS数据采集时间，经度，维度。
[0213] (2)F0D检测结果文件:相机号，图像序列号，图像采集时间，F0D类型。
[0214] ⑶原始图像数据文件:相机号，图像序列号，图像采集时间（原始图像按照年_月_ 日_时_分_秒_相机号_张数的格式进行命名）。
[0215] 使用入库工具对四个文件进行分析，对比，最终得到每一张图片的综合信息，把原 始图像数据导入到服务器中，把相关图像信息导入到原始图像表中。
[0216] 本方法共设计六张表对数据进行管理，其中虚拟道面的第3，4，5层为矢量图。
[0217] (1)原始图像表
[0218]图像序列号:年_月_日_时_分_秒_相机号_张数
[0219]数据字段包括图像序列号、图像日期、图像时间、方位角、图像中心点经度、图像中 心点炜度、图像分辨率(每次标定，）、分类结果、描述文件地址、图像存储位置。
[0220] (2)1*1 图像表
[0221] 首先从原始图像数据表中读取图片，同一批图，如果出现重复采集的情况，原始图 像数据库中会有不同图像有相同坐标位置，判断图像是否为感兴趣区，优先选择感兴趣区 图像入库，如果都是或者都不是，将较新的图像入库。
[0222] (3)5*5 图像表
[0223] 将1*1图像降采样5倍再存入数据表中。
[0224] (4)虚拟道面的第3,4,5层图像表
[0225] 虚拟数据表为事先画好的矢量图。
[0226] 本实施例中，由于机场道面特殊的几何分布，其长宽比能达到在60:1甚至更高，所 以在显示机场道面全景时，无需使用真实图像，只需机场仿真图即可。则图像金字塔部分可 采用虚实结合的技术，在金字塔下面几层使用真实图像显示，在金字塔顶端几层采用虚拟 图像显示。虚拟图像较真实图像而言，结构简单、数据量小，在显示与调度上更加方便与快 捷。
[0227] 本发明实施例的基于图像处理技术的机场道面F0D异物检测方法，机场道面按照 其复杂程度，可以分为三类，分别为正常道面，带标志线道面和带轮胎印道面。
[0228] 进行显著性区域划分结果如下：
[0229] (1)运行时间（图像2048*2048):
[0230] 表1运行时间对比
[0232] ~(2)检测性能对比:
[0233] 表2检测性能对比
[0237] 综上所述:SR模型性能最优，使用SR模型对机场道面异物进行更具体分析，分别对 正常机场道面、带标志线道面、带轮胎印道面三种典型道面(见下图）进行显著性检测，检验 SR显著性模型性能，具体见下表：
[0238] 表3 SR检测结果
[0239] 正常道面
[0245] CNN分类结果如下：
[0246] Caffe深度学习开源库是一个CPU与GPU无缝切换的库，运行速度很快，本实验采用 GTX980型号的显卡。
[0247] 表4 CNN分类结果
[0249]以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员 来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也 应视为本发明的保护范围。
【主权项】
1. 一种基于图像处理技术的机场道面FOD异物检测方法，其特征在于，所述基于图像处 理技术的机场道面FOD异物检测方法包括： 采用GPS加惯性导航的综合定位技术对检测车辆进行位置定位，并控制千兆网工业相 机进行图像采集，得到采集的图像数据和定位数据； 对采集的图像进行预处理，所述预处理包括对采集图像中机场道面图像增强、机场道 面图像分割和机场道面拉槽角度的计算中的至少一种； 对预处理后的图像采用基于SR的显著性模型算法提取并划分显著性区域，基于卷积神 经网络对划分的显著性区域进行分类，确定显著性区域内的FOD异物。2. 根据权利要求1所述的基于图像处理技术的机场道面FOD异物检测方法，其特征在 于，所述采用GPS加惯性导航的综合定位技术进行位置定位，并控制千兆网工业相机进行图 像采集，包括： 利用差分GPS基站与检测车辆上的差分GPS移动站配合，结合MEMS惯导技术对检测车辆 的位置和车辆姿态进行定位； 基于检测车辆的位置定位控制千兆网工业相机按照预先设定的间隔距离阈值进行图 像米集。3. 根据权利要求1或2任意一项所述的基于图像处理技术的机场道面FOD异物检测方 法，其特征在于，所述采用GPS加惯性导航的综合定位技术对检测车辆进行位置定位，并控 制千兆网工业相机进行图像采集，得到采集的图像数据和定位数据包括： 利用四台千兆网工业相机进行图像采集。4. 根据权利要求1所述的基于图像处理技术的机场道面FOD异物检测方法，其特征在 于，所述对采集图像中机场道面图像增强，包括： 采用直方图均衡化方法对道面图像进行处理； 采用频域增强的方法对拉槽进行过滤。5. 根据权利要求1所述的基于图像处理技术的机场道面FOD异物检测方法，其特征在 于，所述对采集图像中机场道面图像分割，包括： 利用边缘检测算子和CB形态学对采集图像中机场道面图像分割。6. 根据权利要求1所述的基于图像处理技术的机场道面FOD异物检测方法，其特征在 于，所述对采集图像中机场道面拉槽角度的计算，包括： 利用Radon变换计算采集图像中机场道面拉槽角度。7. 根据权利要求1所述的基于图像处理技术的机场道面FOD异物检测方法，其特征在 于，所述对预处理后的图像采用基于SR的显著性模型算法提取并划分显著性区域，包括： 对输入图像IU)进行二维离散傅里叶变换，将图像从空间谱变换到频率谱，然后计算 图像的幅值，并对幅值取对数，得到log谱； 均值化的频谱： A(f)=R(S[I(x)]) 相谱： P(f)=X(S[I(x)]) A(f):图像I(X)的傅里叶变换的频谱 P(f):图像I (X)的傅里叶变换的相谱 对数频谱： L(f ) = log(A(f)) 谱冗余： R(f)=L(f)-hn(f)*L(f) hn(f):大小为n*n均值模板 显著图： S(x)= |F_1[exp{R(f)+P(f)}] |28. 根据权利要求1或7任意一项所述的基于图像处理技术的机场道面FOD异物检测方 法，其特征在于，所述基于卷积神经网络对划分的显著性区域进行分类，确定显著性区域内 的FOD异物，包括： 根据现有机场道面数据设计卷积神经网络。9. 根据权利要求1所述的基于图像处理技术的机场道面FOD异物检测方法，其特征在 于，所述卷积神经网络包括:3个卷积层和3个pooling层，卷积层和pooling层相互交替，每 个卷积层后都有一个非线性层ReLU层，最后一个Pooling层连接两个全连接层，卷积神经网 络各层配置参数如下： 第一层为卷积层，卷积层的Pad为0, Stride为I ,kernel为256*5*5; 第二层为Max Pooling层，Pad为0，stride为2,kernel为256*2*2; 第三层为卷积层，卷积层的Pad为0，stride为0 ,Kernel为512*5*5; 第四层为Max Pooling层，Pad为0，stride为2,kernel为512*2*2; 第五层为卷积层，卷积层的Pad为I ,stride为3,Kernel为1024*3*3; 第六层为Max Pooling层，Pad为0，stride为2,kernel为 1024*2*2; 第七层为全连接层(full connection)，隐含层神经元数量为4096; 第八层为全连接层(full connection)，隐含层神经元数量为3; 第九层为softmax层，输出每个类别的概率。10. 根据权利要求1所述的基于图像处理技术的机场道面FOD异物检测方法，其特征在 于，所述对预处理后的图像采用基于SR的显著性模型算法提取并划分显著性区域，基于卷 积神经网络对划分的显著性区域进行分类，确定显著性区域内的FOD异物之后，包括： 采用图像金字塔结构存储并管理采集的图像数据、定位数据和FOD检测数据。
【文档编号】G06T7/00GK105931217SQ201610210938
【公开日】2016年9月7日
【申请日】2016年4月5日
【发明人】李红伟, 曹晓光, 张莉, 徐盛辉, 齐俊, 刘迪, 朱鸿宇, 陈柯宇, 向园, 余林佳, 龚国平
【申请人】李红伟