本文公开的主题涉及用于检查资产(例如,涡轮发动机的叶片)的方法和装置。
可以使用视频检查装置(或光学装置),例如视频内窥镜或管道镜,来检查对象的表面以识别和分析所述对象上的可能由于(例如)损坏、磨损、腐蚀或不恰当的安装而引起的异常(例如,凹点或凹陷)。可以使用视频检查装置来捕获和显示所观看的对象的表面的示出所述异常的二维图像,从而确定所述表面上的异常的尺寸。可以使用所述表面的此二维图像来产生所述表面的三维数据,所述三维数据提供所述表面上的多个点的三维坐标(例如,(x,y,z))。
可以使用各种现有的技术来提供二维图像中的表面点的三维坐标(例如,立体成像方法和结构光方法,例如相移分析、相移云纹、激光点投射等)。这些技术中的一些技术,包括结构光方法,需要循序地捕获多个图像(例如,3至6个图像)。在使用结构光方法来检查旋转经过视频检查装置的旋转对象(例如,涡轮叶片)的过程中,将必须使旋转对象停止以允许检查员拍摄所需的多个图像,此操作不甚理想。在检查这些旋转对象的过程中可以使用立体成像以提供表面点的三维坐标,因为通常需要使用彼此同步的多个传感器在单个时间点拍摄的立体图像。因为立体成像取决于发现表面上的相同的点,所以具有最少纹理的表面(例如,具有陶瓷热障涂层的表面)可能导致错误的匹配和不准确的三维映射。
在一个示例中,可以使用视频检查装置来检查飞行器上的发动机的涡轮叶片或发电涡轮机的涡轮叶片。通常穿过涡轮机中的静止翼之间的管道镜端口插入视频检查装置来检查旋转的涡轮叶片的相邻级的涡轮叶片。在将视频检查装置固定在原位时,使涡轮的芯旋转,以使得涡轮叶片通过视频检查装置的视场。常常记录视频以示出经过的涡轮叶片。另外,还可以在所述检查期间捕获选定的涡轮叶片(例如,具有检查员注意到的异常的涡轮叶片)的二维静态图像。因为捕获所有涡轮叶片的二维静态图像需要大量数据,所述大量数据难以传输和管理,所以检查可能不捕获每个涡轮叶片的二维图像,从而阻止检查获得每个涡轮叶片的三维数据。
此外,检查的视频一般经过压缩,这可能会导致压缩伪影,从而减少了所述视频用于自动化分析的有用性。因为视频和静态图像仅提供二维数据,所以任何自动化分析一般依赖于色彩、边缘检测等以试图评估涡轮叶片状况。此外,任何自动化分析还可以执行复杂的三维模型匹配或者作出关于放大倍率、光学扭曲等的假设,以便将所识别的指示的大小定量,因为视频检查装置相对于涡轮叶片的位置在检查期间和之间可能会变化。
技术实现要素:
公开了一种用于检查资产的方法和装置。在一个实施方案中,所述检查装置可以包括纹理图案投射系统,所述纹理图案投射系统用于将纹理图案投射到对象表面上以提供额外的表面细节从而提高立体图像匹配。在另一实施方案中,所述检查装置可以被配置成在所述对象在不同的照明模式下位于选定位置或触发位置时保存旋转对象的选定图像。可以传输所保存的选定图像并且将所保存的选定图像存储在基于云的服务器中且通过自动化方式进行分析。
可以在实践检查装置的一些所公开的实施方案的过程中实现的优势是收集检查中的每个旋转的工业资产(例如,涡轮叶片)的高质量图像,其中从一致的角度和位置拍摄每个图像,从而实现对旋转对象的自动化分析。通过仅保存帧中的选定观看位置的涡轮叶片的选定图像,可以保存每个涡轮叶片的图像并且使用所述图像产生每个涡轮叶片的三维表面图,而不需要传递或存储过多量的数据。实现对工业资产的自动化分析可以允许预测性维护和资产性能管理。另外,将纹理图案添加至对象表面提供了足够的表面细节,以允许经由原本不具有足够的细节的表面上的提高的立体匹配而产生更准确的三维表面图。
在一个实施方案中,公开了一种用于检查资产的装置。所述装置包括:探头,所述探头包括具有第一视场的第一图像传感器和具有第二视场的第二图像传感器,所述第一图像传感器和所述第二图像传感器被配置成获得立体图像;一个或多个检查模式光发射器,所述一个或多个检查模式光发射器被配置成在检查模式期间提供工业资产的照明;以及纹理图案投射系统,所述纹理图案投射系统用于将纹理图案投射于所述工业资产上。在一个实施方案中,所述纹理图案投射系统包括:一个或多个测量模式光发射器,所述一个或多个测量模式光发射器被配置成在测量模式期间提供工业资产的照明;纹理图案,所述纹理图案定位成靠近所述一个或多个测量模式光发射器;以及纹理图案光学系统,所述纹理图案光学系统用于将所述纹理图案投射到所述工业资产上,其中所述纹理图案位于所述一个或多个测量模式光发射器与所述纹理光学系统之间。
在另一实施方案中,公开了一种用于使用检查装置来检查资产的方法。所述方法包括:在第一照明模式下操作所述检查装置;捕获所述第一照明模式下的所述工业资产的图像;确定所述工业资产是否处于所述图像中的预定触发位置;当所述工业资产处于所述预定触发位置时保存所述第一照明模式下的所述工业资产的第一图像;在第二照明模式下操作所述检查装置;捕获所述第二照明模式下的所述工业资产的第二图像;以及保存所述第二照明模式下的所述工业资产的所述第二图像。
以上实施方案仅为示例。其他实施方案处于所公开的主题的范围内。
附图说明
因此可以通过参考某些实施方案而具有可以理解本发明的特征的方式、对本发明的详细描述,所述实施方案中的一些实施方案说明于附图中。然而,应注意,图式仅说明本发明的某些实施方案且因此将不被视为限制本发明的范围,因为所公开的主题的范围还涵盖其他实施方案。图式不一定按比例,一般着重于说明本发明的某些实施方案的特征。在图式中,相同的数字用于指示所有各种视图中的相同的部分。
图1是示例性视频检查装置的框图;
图2是探头的示例性头部组件的示意图;
图3是在图2中示出的示例性第一光学系统和第一图像传感器的正视图;
图4说明示例性纹理图案;
图5说明涡轮叶片的立体图像;
图6说明在将纹理图案投射到涡轮叶片上的情况下的立体图像;
图7说明用于在第一照明模式和第二照明模式下捕获和保存选定位置(触发位置)的旋转工业资产的图像的示例性方法;
图8说明在对象处于触发位置之前捕获的第一立体图像;
图9说明在对象处于触发位置之前捕获的第二立体图像;
图10说明在对象处于触发位置的情况下捕获的第三立体图像;
图11说明用于确定对象是否处于所捕获的图像中的触发位置的示例性方法;以及
图12说明在对象处于触发位置的情况下捕获的图像。
具体实施方式
所公开的主题的实施方案提供了用于执行对资产的检查的技术。所述检查装置可以包括纹理图案投射系统,所述纹理图案投射系统用于将纹理图案投射到对象表面上以提供额外的表面细节从而提高立体图像匹配。所述检查装置可以被配置成在所述对象位于选定位置或触发位置时保存旋转对象的选定图像,而不是保存所有图像。可以传输所保存的选定图像并且将所保存的选定图像存储在基于云的服务器中且使用自动化方式进行分析。其他实施方案处于所公开的主题的范围内。
图1是示例性视频检查系统100的框图,所述视频检查系统100可以包括视频检查装置101和基于云的服务器190。在图1中示出的视频检查装置101是示例性的,且本发明的范围不限于任何特定的视频检查装置101或视频检查装置101内的部件的任何特定配置。
视频检查装置101可以包括细长探头102,所述细长探头包括插入管110和设置在插入管110的远端处的头部组件120。插入管110可以是柔性或刚性管状区段,穿过所述区段传递头部组件120与探头电子器件144之间的所有互连。头部组件120可以包括第一图像传感器171和第二图像传感器172以便执行立体成像。第一图像传感器171和第二图像传感器172可以是用于捕获所观看的对象的图像的固态ccd或cmos图像传感器。可以使用第一光学系统121将来自所观看的对象的光导引和聚焦到第一图像传感器171上。可以使用第二光学系统131将来自所观看的对象的光导引和聚焦到第二图像传感器172上。
头部组件120还可以包括检查模式光发射器(例如,led)160,以便在检查模式期间提供对象表面的漫射照明。探头电子器件144可以包括检查模式光发射器(led)驱动器163,以便按照微控制器140所引导来驱动检查模式光发射器160。头部组件120还可以包括测量模式光发射器(例如,led)165,以便在测量模式期间提供对象的照明。如将关于图2更详细地论述,可以将纹理图案166放置成靠近测量模式光发射器165,使得来自测量模式光发射器165的照明穿过纹理图案166,其中通过纹理图案投射光学系统167将纹理图案166聚焦到被检查的对象上。探头电子器件144可以包括测量模式光发射器(led)驱动器164,以便按照微控制器140所引导来驱动测量模式光发射器165。在替代性实施方案中,可以使用单个驱动电路经由开关元件(未示出)向检查模式光发射器160或测量模式光发射器165供电。另外且如将关于图2和图11更详细地论述,头部组件120还可以包括投射光发射器(例如,激光器或led)198,以便将与图像传感器171、172偏移的光图案投射到对象上。探头电子器件144可以包括投射光驱动器199,以便按照微控制器140所引导来驱动投射光发射器198。
图像传感器171、172可以包括按照多个行和列形成的多个像素,并且可以产生呈模拟电压的形式的图像信号,所述模拟电压表示入射于图像传感器171、172的每个像素上的光。所述图像信号可以传播到成像器线束112,所述成像器线束提供用于图像传感器与探头电子器件144之间的控制信号和视频信号的电线。在替代性实施方案中,图像传感器171、172可以包括模拟电压的芯片上模拟-数字转换,使得使用标准接口格式通过成像器线束112将表示所述模拟电压的数字信号传输到探头电子器件144,所述标准接口格式例如为移动行业处理器接口摄像头串行接口(mipicsi)或低压差分信令(lvds)等。探头电子器件144可以提供用于操作视频检查装置101的功能集合。探头电子器件144还可以包括存储器142,所述存储器可以存储(例如)探头102的校准数据。探头电子器件144还可以确定并设定增益和曝光设定、存储并读取校准数据,以及控制输送到对象的光。
视频检查装置101可以包括一体显示器170,所述一体显示器可以是构建于视频检查装置101中的用于向检查员显示各种图像或数据(例如,所观看的对象的图像、菜单、光标、测量结果)的lcd屏幕。
微控制器140可以向cpu150提供/从所述cpu接收命令、状态信息、流式传输视频、静态视频图像以及图形覆盖,并且可以包括提供多个功能的fpga、dsp或其他处理元件,所述功能例如为图像捕获、图像增强、图形覆盖合并、失真校正、帧平均、缩放、数字变焦、覆盖、合并、翻转、运动检测以及视频格式转换和压缩。
除了提供众多其他功能(包括图像、视频和音频存储和调用功能、系统控制和测量处理)之外,可以通过经由操纵杆180、按钮182、小键盘184和/或麦克风186接收输入而使用cpu150管理用户接口。用户可以对操纵杆180进行操纵以执行例如菜单选择、光标移动、滑块调整和探头102的清晰度控制等操作,并且可以包括按钮功能。还可以使用按钮182和/或小键盘184用于菜单选择且向cpu150提供用户命令(例如,锁定或保存静态图像)。检查员可以使用麦克风186提供语音指令来锁定或保存静态图像。
cpu150还可以与cpu程序存储器152通信以便存储由cpu150执行的程序。另外,cpu150可以与易失性存储器154(例如,ram)和非易失性存储器156(例如,快闪存储器装置、硬盘驱动器、dvd或eprom存储器装置)通信。非易失性存储器156是流式传输视频和静态图像的主要存储装置。
cpu150还可以与计算机i/o接口158通信,所述计算机i/o接口提供到外围装置和网络的各种接口,例如usb、firewire、以太网、音频i/o和无线收发器。可以使用此计算机i/o接口158来保存、调用、传输和/或接收静态图像、流式传输视频或音频。举例来说,可以将usb“拇指驱动器”或compactflash存储器卡插入计算机i/o接口158中。另外,视频检查装置101可以被配置成将图像数据或流式传输视频数据的帧发送到外部计算机或服务器,包括通过到基于云的服务器190的无线连接进行发送。视频检查装置101可以并入有tcp/ip通信协议套件并且可以并入于包括多个本地计算机和远程计算机的广域网中,所述计算机中的每一者还并入有tcp/ip通信协议套件。在并入有tcp/ip协议套件的情况下,视频检查装置101并入有包括tcp和udp的若干传输层协议以及包括http和ftp的若干不同层协议。微控制器140和cpu150可以通过许多不同的方式通信,包括pciexpress、usb、以太网等。
将理解,虽然在图1中已经将特定部件示出为单个部件(例如,微控制器140和cpu150),但可以使用多个单独的部件来执行那些所描述的功能。
图2是探头102(例如,刚性圆柱形探头)的示例性头部组件120的示意图。示例性立体成像系统包括两个图像传感器171、172和与图像传感器171、172相关联的两个光学系统121、131以提供两个或更多个视场(例如,左边和右边)。第一光学系统121可以包括定位在第一棱镜123前方的第一透镜122,所述第一透镜邻近于包括位于第一棱镜123与第一图像传感器171之间的第二透镜124和第三透镜125的透镜组。第一光学系统121可以包括第一图像传感器171的第一有效区域173的顶部上的第二棱镜126。在图3中示出第一光学系统121和第一图像传感器173的正视图。在图3中可以看到,来自被检查的对象的光穿过第一透镜122、被第一棱镜123反射、穿过第二透镜124和第三透镜125,并且被第二棱镜126反射到第一图像传感器171的有效区域173上,所述有效区域连接到图像传感器基板175。可以调整第一棱镜123的棱镜角度127以提供立体视场的期望的会聚角度。在一个实施方案中,第一棱镜122和/或第二棱镜126可以是直角棱镜。在另一实施方案中,棱镜角度127可以小于直角(例如,80度),使得视场会聚。在另一实施方案中,可以使第一图像传感器171的第一有效区域173旋转90度以消除对第二棱镜126的需要。
返回到图2,第二光学系统131可以包括定位在第一棱镜133前方的第一透镜132,所述第一透镜邻近于包括位于第一棱镜133与第二图像传感器172之间的第二透镜134和第三透镜135的透镜组。第二光学系统131可以包括第二图像传感器172的第二有效区域174的顶部上的第二棱镜136。
在图2和图3中示出的刚性探头102的示例性实施方案具有以下益处:在使探头102的直径最小化的同时仍然允许相对长的透镜组。将理解,示例性第一探头光学器件121和第二探头光学器件131仅为可以使用的透镜和棱镜的布置的一个示例。举例来说,在一个实施方案中,如果不需要方向上的反射或变化,那么探头光学器件121、131仅可以包括透镜且不包括棱镜。此外,通过改变棱镜或透镜上的角度,视图可以被配置成以期望的角度会聚于对象表面上。
在图2中示出的探头102的示例性头部组件120的检查模式光发射器160(图1)可以包括第一检查模式led161和第二检查模式led162。在一个实施方案中,检查模式led161、162是一个或多个白色led且提供漫射光以照射对象。在示例性实施方案中,第一检查模式led161位于头部组件120的靠近第一图像传感器171的第一(左)侧上(在图2中面向外),第二检查模式led162位于头部组件120的靠近第二图像传感器172的与第一检查模式led161相对的第二(右)侧上。在一个实施方案中,光学系统(未示出)可以与检查模式led161、162联合工作以将漫射照明聚焦于对象上。
在立体成像和测量中,从略微不同的角度捕获对象表面的两个视场图像(例如,左边图像和右边图像)。为了对两个图像执行立体测量,处理器识别所述两个图像中的匹配点,所述处理器可以容纳在视频检查装置内或远程地定位在(例如)云服务器中。可以使用立体成像来检查涡轮叶片。许多涡轮叶片具有由具有最少表面细节的陶瓷热障涂层提供的平滑表面。因为立体成像取决于发现两个立体图像中的表面上的相同的点,所以具有最少表面细节的此类表面可能导致错误的匹配和不准确的三维映射。除了试图识别涡轮叶片上的异常之外,对涡轮叶片的另一潜在的检查是检查陶瓷蠕变仪,所述陶瓷蠕变仪置于涡轮叶片上以检测叶片的伸长率。使用也具有最少表面细节的这些陶瓷蠕变仪上的立体成像也可能导致错误的匹配和不准确的三维映射。
为了解决与具有最少细节的表面的立体成像相关联的问题,返回到图1和图2,视频检查装置101的探头102的示例性头部组件120包括纹理图案投射系统168,所述纹理图案投射系统用于将纹理图案投射到对象表面上以提供更多的表面细节,以便实现更可靠的立体匹配。示例性纹理图案投射系统168位于第一图像传感器171与第二图像传感器172中间,并且还位于第一检查模式led161与第二检查模式led162之间。在图2中示出的此示例性配置中,第一图像传感器171位于纹理图案检查系统168与第一检查模式led161之间,并且第二图像传感器172位于纹理图案检查系统168与第二检查模式led162之间。
示例性纹理图案投射系统168包括一个或多个测量模式光发射器(例如,led)165、定位成靠近测量模式光发射器165(例如,在顶部上)的纹理图案166,以及纹理图案投射光学系统167。可以将纹理图案166施加为沉积在玻璃窗上的不透明铬图案,其中所述玻璃窗位于led的表面的顶部上。在一个实施方案中,使用随机或半随机的布置,其中改变点的密度以实现表面上的所投射的纹理图案的更均匀的低频亮度分布。在图4中示出示例性纹理图案166。所述纹理图案可以包括通过一种方式组织的高频光区域和暗区域,使得相对于当仅提供漫射照明时,提高了立体匹配过程确定正确的匹配差异的能力。
来自测量模式光发射器165的照明穿过纹理图案166,通过纹理图案投射光学系统167将所述照明聚焦和投射到被检查的对象上。在一个实施方案中,纹理图案投射光学系统167包括用于将纹理图案的图像聚焦到对象上的一个或多个透镜。将纹理图案的图像添加至具有最少细节的表面会添加表面细节并且允许立体图像中的更好的匹配,这产生对象表面的更准确的三维数据(例如,表面图)。
图5示出当检查模式光发射器160提供漫射光以照射涡轮叶片10时所捕获的涡轮叶片10的立体图像200。立体图像200包括来自第一视场的第一(左边)图像201和来自第二视场的第二(右边)图像202。在图5中可以看到,因为涡轮叶片10具有最少的表面细节,所以立体匹配可能比较困难且可能导致错误的匹配,从而损害所得的三维数据和测量结果。
图6示出当测量模式光发射器165提供涡轮叶片10的照明时所捕获的涡轮叶片10的立体图像。立体图像300包括来自第一视场的第一(左边)图像301和来自第二视场的第二(右边)图像302。在图6中可以看到,当来自测量模式光发射器165的照明穿过纹理图案166且通过纹理图案投射光学系统167将所述照明聚焦和投射到涡轮叶片10上时(图1和图2),立体图像现在具有投射到涡轮叶片10上的纹理图案169。在图6中可以看到,因为投射于涡轮叶片10上的纹理图案169提供更多的表面细节,所以增强了立体匹配准确度。
在图1至图4中示出的示例性视频检查装置101可以在检查模式和测量模式下操作,在所述检查模式下,检查模式光发射器160(例如,第一和第二检查模式led161、162)提供对象的漫射照明(图5),在所述测量模式下,测量模式光发射器165提供对象的照明,从而将纹理图案169投射到对象上(图6)。在执行对旋转的工业资产(例如,涡轮叶片)的检查的过程中,视频检查装置101可以在检查模式下捕获和保存对象的静态二维图像(图5),并且还捕获和保存测量模式下的对象的静态二维图像(图6),其中在测量模式下捕获的图像用于提供对象表面的三维图。
在一个实施方案中,测量模式光发射器165可以发射窄频谱光(例如,绿色)以提供单色照明,以便通过消除在由白色led提供的宽频谱光的情况下在观看光学器件中可能出现的色彩分离效应而实现从立体图像获得的更高准确度的三维数据。在这些应用(例如,供电应用)中,图像传感器171、172可以是黑白的而不是彩色的。在例如可能需要色彩传感器的检查航空涡轮叶片等应用中,可以使用白色led用于测量模式光发射器165。在一个实施方案中,为了使由于旋转涡轮叶片而导致的任何模糊最小化,可以脉冲触发用于照射对象表面的检查模式光发射器160和/或测量模式光发射器165。
为了减小在检查期间所捕获和保存的图像所需的数据量,在一个实施方案中,视频检查装置101仅保存帧中的选定观看位置(或触发位置)的涡轮叶片的选定图像。图7说明用于在第一照明模式和第二照明模式下捕获和保存选定位置(触发位置)的旋转工业资产(例如,涡轮叶片)的图像的示例性方法700。在执行检查的过程中,视频检查装置101可以(例如)在每秒60帧的速率下捕获静态二维图像。
在图7中示出的方法700的第一所描述的实施方案中,第一照明模式是检查模式且第二照明模式是测量模式。在步骤710处,视频检查装置101经过配置且在第一照明模式下(检查模式)操作,其中检查模式光发射器160(例如,第一检查模式led161和第二检查模式led162)提供对象表面的漫射照明(图1和图2)。在步骤720处,视频检查装置101的图像传感器171、172中的一者或多者在所述第一照明模式下捕获对象表面的二维静态图像(例如,立体图像)。如将在下文关于图11更详细地论述,在步骤730处,视频检查装置101确定对象是否处于用于检查对象的所捕获的图像帧中的选定位置或触发位置。举例来说,为了检查旋转的涡轮叶片,所述触发位置可以是帧中的涡轮叶片的位置,在那个位置,可以看到所有或大部分涡轮叶片,并且所述涡轮叶片不被其他结构(例如,其他涡轮叶片、叶片、护罩等)阻碍并且与视频检查装置101相距适当的距离。
如果对象不处于触发位置,那么丢弃对象表面的所捕获的二维静态图像并且方法700可以返回到步骤720,其中视频检查装置101的图像传感器171、172中的一者或多者在所述第一照明模式下捕获对象表面的另一二维静态图像。随后可以重复步骤730。当视频检查装置101在步骤730处确定对象处于触发位置时,方法700前进到步骤740,其中视频检查装置将所述第一照明模式下的对象表面的所捕获的二维静态图像保存在(例如)非易失性存储器中。可以使用在检查模式下捕获的对象表面的此所保存的二维静态图像来执行对象表面的视觉分析。
在步骤750处,视频检查装置101切换至第二照明模式(测量模式),其中测量模式光发射器(例如,一个或多个led)165提供对象的照明,从而将纹理图案投射到对象上(图1和图2)。在步骤760处,视频检查装置101的图像传感器171、172中的一者或多者在所述第二照明模式下捕获对象表面的二维静态图像(例如,立体图像)。方法700前进到步骤770,其中视频检查装置将所述第二照明模式下的对象表面的所捕获的二维静态图像保存在(例如)非易失性存储器中。可以使用在测量模式下捕获的具有所投射的纹理表面的对象表面的此所保存的二维静态图像来提供对象表面的三维图。既然已经保存了处于或接近触发位置的对象的两个图像:所述第一照明模式下的第一图像和所述第二照明模式下的第二图像,视频检查装置101便可以切换回到步骤710中的第一照明模式且可以针对下一个对象(例如,下一个涡轮叶片)重复所述方法。
在图7中示出的方法700的第二所描述的实施方案中,第一照明模式是测量模式且第二照明模式是检查模式。在步骤710处,视频检查装置101在第一照明模式(测量模式)下经过配置,其中测量模式光发射器(例如,一个或多个led)165提供对象的照明,从而将纹理图案投射到对象上(图1和图2)。在步骤720处,视频检查装置101的图像传感器171、172中的一者或多者在所述第一照明模式下捕获对象表面的二维静态图像(例如,立体图像)。在步骤730处,视频检查装置101确定对象是否处于用于检查对象的所捕获的图像帧中的选定位置或触发位置。
如果对象不处于触发位置,那么丢弃对象表面的所捕获的二维静态图像并且方法700可以返回到步骤720,其中视频检查装置101的图像传感器171、172中的一者或多者在所述第一照明模式下捕获对象表面的另一二维静态图像。随后可以重复步骤730。当视频检查装置101在步骤730处确定对象处于触发位置时,方法700前进到步骤740,其中视频检查装置将在所述第一照明模式下捕获的对象表面的二维静态图像保存在(例如)非易失性存储器中。可以使用在测量模式下捕获的具有所投射的纹理表面的对象表面的此所保存的二维静态图像来提供对象表面的三维图。
在步骤750处,视频检查装置101切换至第二照明模式(检查模式),其中检查模式光发射器160(例如,第一检查模式led161和第二检查模式led162)提供对象表面的漫射照明(图1和图2)。在步骤760处,视频检查装置101的图像传感器171、172中的一者或多者在所述第二照明模式下捕获对象表面的二维静态图像(例如,立体图像)。方法700前进到步骤770,其中视频检查装置将在所述第二照明模式下捕获的对象表面的二维静态图像保存在(例如)非易失性存储器中。可以使用在检查模式下捕获的对象表面的此所保存的二维静态图像来执行对象表面的视觉分析。既然已经保存了处于或接近触发位置的对象的两个图像:所述第一照明模式下的第一图像和所述第二照明模式下的第二图像,视频检查装置101便切换回到步骤710中的第一照明模式且针对下一个对象(例如,下一个涡轮叶片)重复所述方法。
在上文描述的一个实施方案中,在检查模式期间,可以开启检查模式光发射器160且可以关闭测量模式光发射器165。类似地,在测量模式期间,可以开启测量模式光发射器165且可以关闭检查模式光发射器160。
在另一实施方案中,在检查模式期间,开启检查模式光发射器160和测量模式光发射器165,其中检查模式光发射器160的亮度超过测量模式光发射器165的亮度。类似地,在测量模式期间,开启测量模式光发射器165和检查模式光发射器160,其中测量模式光发射器165的亮度超过检查模式光发射器160的亮度。
通过基于涡轮叶片的触发位置在两种照明模式之间切换,捕获每个叶片的两个或更多个所保存的图像(即,从检查模式保存的一个图像和从测量模式保存的一个图像),随后可以将所述图像用于自动化分析,包括自动缺陷辨识(adr)。还可以保存整个检查的视频记录并且将所述视频记录用于自动化分析。此外,可以针对每个涡轮叶片执行自动化分析,因为每个涡轮叶片的图像是从相对于叶片的表面的探头摄像机的一致位置拍摄的,因为所述图像是在触发位置处或附近拍摄的。因为所有涡轮叶片的这些图像是从一致的角度拍摄的,所以这可以允许用于自动化分析的算法更可靠地工作。
可以使用每个涡轮叶片的二维图像和三维数据来评估涡轮叶片的状况。在自动化分析的一个示例中,可以分析在检查模式期间保存的图像以识别对象表面上的任何变色,同时可以使用在测量模式期间保存的图像(具有纹理图案)以产生对象表面的三维图,从而确定所述变色是否指示异常。在另一示例中,因为可以得到每个涡轮叶片的三维图,所以可以将第一涡轮叶片的三维图与第二叶片的三维图进行比较以确定在涡轮叶片之间是否存在指示异常(缺失的隅角、缺失的涂层、凹痕、凹点等)的差异。举例来说,可以将两个三维图之间的差值与阈值进行比较,且如果所述差值超过阈值,那么提供异常的指示。
由于通过仅保存处于理想的触发位置的涡轮叶片中的每一者的选定图像而产生的效率,可以无线地或使用有线接口将那些图像和所得的三维数据传输至基于云的服务器190(图1),可以在那里执行自动化分析,包括adr。具有与每个涡轮叶片相关联的图像和数据可以使得能够使用趋势、预测性维护和可以采用的其他技术。
再次返回到图7,步骤730涉及确定对象是否处于所捕获的图像中的触发位置。在一个实施方案中,使用立体成像完成触发位置的确定。由于立体成像中的视差效应,两个图像中的匹配点之间的水平间距或差异值取决于距对象表面的距离,这允许计算所述表面的三维坐标。举例来说,较靠近图像传感器的对象表面上的点的右边图像位置与左边图像位置之间的差异值将小于较远离图像传感器的对象表面上的点的右边图像位置与左边图像位置之间的差异值。
图11说明用于确定对象(例如,涡轮叶片)是否处于所捕获的图像中的触发位置的示例性方法。图8和图9说明在对象(第二涡轮叶片12)处于触发位置之前所捕获的第一立体图像800(图8)和第二立体图像900,而图10说明在对象(第二涡轮叶片12)处于触发位置的情况下所捕获的第三立体图像1000。在用于确定对象(例如,涡轮叶片)是否处于触发位置的示例性实施方案中,视频检查装置101采用边缘检测来确定图像中的第二涡轮叶片12(在图8至图10中从右向左旋转)的前向(左边)边缘13是否处于用于检查的理想位置。在图8至图11中说明的示例性实施方案中,视频检查装置101通过监测连续帧中的左边图像与右边图像之间的差异值的显著变化(例如,大于阈值变化值的阶跃变化)来检测第二涡轮叶片12的前向(左边)边缘13。
返回到图7和图11,在步骤720处,视频检查装置101的图像传感器171、172中的一者或多者(图1和图2)在所述第一照明模式下捕获二维静态第一立体图像800(图8)。虽然在图8至图10中未示出纹理图案,将理解,所述第一照明模式可以是上文描述的检查模式或测量模式。如图8中所示,第一立体图像800包括来自第一视场的左边图像801和来自第二视场的右边图像802。被检查的对象是具有静止翼20、第一涡轮叶片和具有前向(左边)边缘13的第二涡轮叶片12的涡轮发动机。在步骤731处(图11),在处于某一位置的左边图像801中识别像素30的触发位置块(例如,9x9块),在那个位置,第二涡轮叶片12的前向(左边)边缘13可以位于理想或触发位置,以便在叶片在图8至图10中示出的视图中从右向左旋转时捕获并保存第二涡轮叶片12的图像。在所述视场中的一者(例如,图8中的左边图像801)中,可以由操作者手动地或者经由预定义的检查脚本自动地识别触发位置块13。
在步骤732处,视频检查装置101识别右边图像802中的像素31的第一匹配的触发位置块,并且确定所述匹配的块30、31之间的水平间距或第一差异值(d1)41。当触发位置块30位于另一涡轮叶片(第一涡轮叶片11)上时,与在触发位置块30较靠近视频检查装置101的情况相比,在匹配的块30、31之间存在更大的水平间距或差异值。
如图9中所示,第二立体图像900包括来自第一视场的左边图像901和来自第二视场的右边图像902。当涡轮叶片11、12从右向左移动(与图8至图9中的涡轮叶片11、12的位置相比)且触发位置块30仍然位于另一第一涡轮叶片11上时,水平间距或差异值将在帧之间继续略微增加。如图9中所示,在左边图像901中识别像素30的触发位置块。在步骤732处(图11),视频检查装置101识别右边图像902中的像素32的第二匹配的触发位置块。在步骤733处(图11),视频检查装置101确定匹配的块30、32之间的水平间距或第二差异值(d2)42。
通过比较图8和图9可以看到,第二差异值(d2)42(图9)略微大于第一差异值(d1)41(图8),使得第一立体图像800与第二立体图像900之间的差异值的变化(δd)是正数(δd=d2-d1>0)。还通过图8中的第一匹配的块31到图9中的第二匹配的块32的位置的变化来示出差异值的此增加。当涡轮叶片11、12从右向左移动(与图8至图9中的涡轮叶片11、12的位置相比)且触发位置块30仍然位于另一第一涡轮叶片11上时,水平间距或差异值将在帧之间继续略微增加(即,(δd>0),直到触发位置块30位于更靠近的第二涡轮叶片12上(例如,前向(左边)边缘13上)为止,如图10中所示。从第一立体图像800(图8)(即,前一图像)到第二立体图像900(图9)的差异值的此正变化(δd>0)以及所述变化的量值或绝对值(|δd|)小于(即,不大于)差异值的变化的阈值(|δd|<δdth)的事实指示了在步骤734处(图11)尚未检测到差异值阶跃,从而致使所述方法返回到在步骤720处捕获另一立体图像。
如图10中所示,第三立体图像1000包括来自第一视场的第一(左边)图像1001和来自第二视场的第二(右边)图像1002。当涡轮叶片11、12从右向左移动(与图9至图10中的涡轮叶片11、12的位置相比)且触发位置块30现在位于更靠近的第二涡轮叶片12上时,水平间距或第三差异值(d3)43可以相对于前一帧显著减小。如图10中所示,在左边图像1001中识别像素30的触发位置块。在步骤732(图11)处,视频检查装置101识别右边图像1002中的像素33的第三匹配的触发位置块,并且确定所述匹配的块30、33之间的水平间距或第二差异值(d3)43。
通过比较图9和图10可以看到,第三差异值(d3)43(图10)显著小于第二差异值(d2)42(图9),使得第二立体图像900与第三立体图像1000之间的差异值的变化(δd)是负数(δd=d3-d2<0)。还通过图9中的第二匹配的块32到图10中的第三匹配的块33的位置的变化来示出差异值的此减小。当涡轮叶片11、12从右向左移动(与图9至图10中的涡轮叶片11、12的位置相比)且触发位置块30现在位于更靠近的第二涡轮叶片12上时,水平间距或差异值可以显著减小(即,(δd<0)。从第二立体图像900(图9)到第三立体图像1000(图10)的差异值的此负变化(δd<0)以及所述变化的量值或绝对值(|δd|)大于差异值的变化的阈值(|δd|<δdth)的事实指示了在步骤734处(图11)已经检测到差异值阶跃,从而致使所述方法前向移动到步骤740且保存在第二涡轮叶片处于触发位置的情况下的第三立体图像1000。
在图8至图11中所说明的示例性实施方案的概要中,视频检查装置101比较连续帧的匹配的块之间(即,前一图像与稍后图像之间)的差异值,且如果差异值的变化为负且那个变化的绝对值大于预定阈值,那么视频检查装置101确定对象处于触发位置且保存最新的图像。
在另一实施方案中,在涡轮叶片的前向(左边)边缘将位于理想或触发位置的地方略微左边的位置处的左边图像中识别第一像素块,并且在涡轮叶片的前向(左边)边缘可以位于理想或触发位置的地方略微右边的位置处的右边图像中识别第二像素块。视频检查装置101使用立体成像来识别右边图像中的匹配的像素块。当涡轮叶片从右向左移动时,视频检查装置可以确定所述第一像素块的差异值和所述第二像素块的差异值并且将所述差异值进行比较。当第一像素块和第二像素块在图像中位于同一涡轮叶片上(例如,另一涡轮叶片(第一涡轮叶片)上)时,在所述两个差异值之间可能仅存在微小的差值。然而,在触发位置,第一像素块(位于恰在第二涡轮叶片的前边缘左边的第一涡轮叶片上)的差异值可以显著高于第二像素块(位于恰在第二涡轮叶片的前边缘右边的第二涡轮叶片上)的差异值,并且可以指示所述涡轮叶片位于触发位置。
在另一实施方案中,触发位置块的差异值与检查装置与对象表面之间的距离相关联。对于每个帧,将与那个帧的差异值相关联的那个距离与阈值进行比较。当相关联的距离下降到所述阈值以下时,确认触发位置且保存图像。
虽然已经在这些示例性实施方案中使用了像素块来识别触发位置,但可以通过沿着叶片的边缘形成触发线的多个块来识别所述触发位置。而且,虽然在这些示例性实施方案中使用单个触发位置来保存在那个触发位置处获得的单个图像,但在另一实施方案中,可以识别多个触发位置,每个触发位置触发对立体图像的捕获。举例来说,如果涡轮叶片的前向边缘通过开始触发位置,那么可以按照预先界定的间隔捕获和保存立体图像,直到涡轮叶片的前向边缘通过停止触发位置为止。在另一实施方案中,对通过视场的涡轮叶片进行计数,并且所捕获的图像和所保存的图像与涡轮叶片数目相关联。在另一方面,被检查的级中的涡轮叶片的数目是已知的,并且视频检查装置在已经捕获了所有涡轮叶片的图像时通知操作者。
为了说明确定对象是否处于所捕获的图像中的触发位置的另一实施方案,图12说明在对象(例如,涡轮叶片10)处于触发位置1201的情况下所捕获的图像1200。返回到图1和图2,视频检查装置101可以包括投射光发射器(例如,激光器或led)198,所述投射光发射器用于将与图像传感器171、172偏移的所投射的光图案投射到对象上。将理解,采用投射光发射器198的此实施方案可以用于立体图像和非立体图像。
如图12中所示,视频检查装置101使用所投射的光图案(例如,激光点或线)来确定对象(例如,涡轮叶片10)是否处于触发位置。如图2和图12中所示,探头102包括投射光发射器198,所述投射光发射器从与图像传感器171、172的位置偏移的位置投射光图案(例如,点或线),使得所述所投射的光图案出现在所捕获的图像中的不同位置,这取决于距从其反射所投射的光图案的对象表面(即,涡轮叶片10的表面)的距离。举例来说,如图2中所示,当投射光发射器198位于探头102的左侧且向右投射所投射的光图案(例如,与视场成20度的角度)时,当所述所投射的光图案与视频检查装置101接近地接触涡轮叶片10的对象表面(图12)时,所投射的光图案位置51处于图像1201中的左边。当所投射的光图案与视频检查装置101较远地接触涡轮叶片10的对象表面(图12)时,所投射的光图案位置52处于图像1201中的右边。
视频检查装置101可以被配置成识别由图像传感器171、172产生的实况视频流中的所投射的光图案位置51、52、53。当所投射的光图案位于触发位置1201(例如,涡轮叶片10的边缘13上的图12中的位置53)时,视频检查装置可以保存所述图像以供进一步处理,如上文所论述。
鉴于前述内容,视频检查装置的实施方案可以收集工业资产的高质量图像以便进行检查。技术效果是:与其他实施方案相比,确定旋转对象(例如,涡轮叶片)何时处于用于图像捕获的期望的位置可能所需的图像处理水平有所降低。这允许从一致的角度和位置拍摄每个图像,从而实现对旋转对象的自动化分析。通过仅保存帧中的选定观看位置的涡轮叶片的选定图像,可以保存每个涡轮叶片的图像并且使用所述图像产生每个涡轮叶片的三维表面图,而不需要传递或存储大量或过多量的数据。实现对工业资产的自动化分析可以允许预测性维护和资产性能管理。另外,将纹理图案添加至对象表面可以提供足够的表面细节,以允许经由原本不具有足够的细节的表面上的提高的立体匹配而产生更准确的三维表面图。
本领域技术人员将了解,本发明的各方面可以体现为系统、方法或计算机程序产品。因此,本发明的各方面可以采用以下形式:完全硬件实施方案、完全软件实施方案(包括固件、驻留软件、微代码等),或组合了软件和硬件方面的实施方案,所述软件和硬件方面一般可以全部在本文被称作“服务”、“电路(circuit)”、“电路(circuitry)”、“模块”和/或“系统”。此外,本发明的各方面可以采用计算机程序产品的形式,所述计算机程序产品在一个或多个计算机可读介质中体现,所述一个或多个计算机可读介质具有在上面体现的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是(例如)(但不限于)电子、磁性、光学、电磁、红外线或半导体系统、设备或装置,或前述各者的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下各者:具有一个或多个电线的电连接、便携式计算机软磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便携式压缩光盘只读存储器(cd-rom)、光学存储装置、磁性存储装置或前述各者的任何合适的组合。在此文献的上下文中,计算机可读存储介质可以是可以含有或存储程序以供指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合的任何有形介质。
可以使用任何适当的媒体来传输在计算机可读介质上体现的程序代码和/或可执行指令,所述媒体包括(但不限于)无线、有线、光纤电缆、rf等,或前述各者的任何合适的组合。
可以通过一种或多种编程语言的任何组合来编写用于执行本发明的各方面的操作的计算机程序代码,所述编程语言包括面向对象的编程语言(例如,java、smalltalk、c++等)和常规的程序性编程语言,例如,“c”编程语言,或类似的编程语言。程序代码可以完全在用户的计算机(装置)上执行、部分地在用户的计算机上执行、作为独立的软件包、部分地在用户的计算机上且部分地在远程计算机上或者完全在远程计算机或服务器上执行。在后一种情景下,远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机,或者可以形成到外部计算机的连接(例如,使用因特网服务提供商通过因特网)。
本文参考根据实施方案本发明的方法、设备(系统)和计算机程序产品的流程图说明和/或框图而描述了本发明的各方面。将理解,可以通过计算机程序指令来实施流程图说明和/或框图的每个框,以及流程图说明和/或框图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以生产机器,使得经由计算机或其他可编程数据处理设备的处理器执行的指令会产生用于实施流程图和/或框图的框中指定的功能/动作的构件。
这些计算机程序指令还可以存储在计算机可读介质中,所述计算机程序指令可以引导计算机、其他可编程数据处理设备或其他装置以特定方式起作用,使得存储在计算机可读介质中的指令产生制品,所述制品包括实施在流程图和/或框图的框中指定的功能/动作的指令。
还可以将计算机程序指令加载到计算机、其他可编程数据处理设备或其他装置上,以致使在计算机、其他可编程设备或其他装置上执行一连串操作步骤,从而产生计算机实施的过程,使得在计算机或其他可编程设备上执行的指令提供用于实施在流程图和/或框图的框中指定的功能/动作的过程。
就权利要求参考多个元素来叙述短语“……中的至少一者”而言,这意在是指所列出的元素中的至少一者或多者,并且不限于每个元素中的至少一者。举例来说,“元素a、元素b和元素c中的至少一者”意在单独地指示元素a,或单独地指示元素b,或单独地指示元素c,或其任何组合。“元素a、元素b和元素c中的至少一者”无意受限于元素a中的至少一者、元素b中的至少一者以及元素c中的至少一者。
此书面描述使用示例来公开本发明,包括最佳模式,并且还使得本领域技术人员能够实践本发明,包括制作和使用任何装置或系统且执行任何并入的方法。本发明的可取得专利权的范围是由权利要求书界定,并且可以包括本领域技术人员想到的其他示例。如果此类其他示例具有不与权利要求书的字面语言不同的结构要素,或者如果此类其他示例包括具有相对于权利要求书的字面语言的非实质性差异的等效结构要素,那么此类其他示例意在权利要求书的范围内。