使用增强现实的工具侵蚀检测系统的制作方法

本公开大体上涉及工具侵蚀检测系统，且更具体而言，涉及一种使用增强现实的工具侵蚀检测系统。

背景技术：

移动机器(如挖掘机、轮式和履带式装载机、采矿铲、反铲装载机和/或其它机器)具有工具系统，所述工具系统包括由液压致动器驱动的连杆系统和连接到连杆系统的作业工具。一些作业工具(如铲斗)包括多个“尖端”，其附接到铲斗的边缘，以用于破穿各种类型的材料，如土壤、岩石、集料堆、拆除碎屑和/或其它类型的材料。不同类型的尖端通常设计成并用于执行特定任务或用于破穿特定类型的材料。随着时间的推移，作业工具的尖端会因其使用而磨损，这会导致尖端变钝、长度变短，并且产生更圆化的特征。取决于磨损率和任务要求，通常定期或根据需要而更换磨损的尖端。

在某些情况下，操作员或现场维护人员确定更换作业工具尖端的最佳时间可能具有挑战性。尽管希望足够频繁更换尖端以防止对尖端安装系统和作业工具的其它部分的损坏，但在更换它们之前，利用一组尖端的全部使用寿命在经济上也是有利的。然而，对于现场或远离维护设施的操作员来说，精确地确定何时更换工具尖端可能是困难的，因为并非所有操作员都熟悉工具尖端的磨损特性。另外，可能难以熟悉若干不同类型的工具尖端，所述工具尖端可能各自具有不同的磨损特性。

在2015年11月26日公布的lim等人的美国专利申请公开号2015/0339810a1('810公开案)中论述了一种检测附接到作业工具的破损或磨损的齿的方法。‘810公开案的方法包括通过捕获齿的连续图像来检测破损或磨损的齿。接收并分析当前工具图像以确定齿的特征特性。当检测到某些特征特性时，将当前图像与齿的多个先前分析的图像进行比较。齿的先前分析的图像各自与预定的磨损水平相关联。如果当前图像与先前分析的图像足够类似，则齿被确定为处于与先前分析的图像相关联的磨损水平，并且如果齿被充分磨损，则生成警告。

虽然‘810公开案的系统可使检测到的齿特征与先前确定的磨损水平相关联，但其可能不是最佳的。例如，使用‘810公开案的方法产生的警报可能没有足够的时间向操作员传递磨损信息，以计划在临界磨损之前改变齿的可能性。此外，使用‘810公开案的方法对于定期接合多台机器并需要有利的分析工具的用户而言可能并不有效或方便。

所公开的工具侵蚀检测系统旨在克服上述一个或多个问题和/或现有技术的其它问题。

技术实现要素：

一方面，本公开涉及一种用于具有地面接合工具的机器的工具侵蚀检测系统。工具侵蚀检测系统可包括配置成在显示器装置上生成地面接合工具的第一图像的相机、配置成接收用户输入的输入装置，以及与相机和输入装置通信的控制器。控制器可配置成产生地面接合工具的增强现实视图。增强现实视图可包括由相机生成的地面接合工具的第一图像和叠加在第一图像上且与所选磨损水平相关联的地面接合工具的第二图像，其中所选磨损水平基于用户输入。

另一方面，本公开涉及一种检测具有地面接合工具的机器上的工具侵蚀的方法。所述方法可包括生成地面接合工具的第一图像，经由输入装置接收用户输入，以及在显示器装置上生成地面接合工具的增强现实视图。增强现实视图可包括地面接合工具的第一图像。该方法可进一步包括在地面接合工具的第一图像上叠加地面接合工具的第二图像，叠加第二图像与所选磨损水平相关联，其中所选磨损水平基于用户输入。

又一方面，本公开涉及一种用于具有地面接合工具的工具侵蚀检测系统。工具侵蚀检测系统可包括配置成在显示器装置上生成地面接合工具的第一图像的相机、配置成接收用户输入的输入装置，以及与相机和输入装置通信的控制器。控制器可配置成产生地面接合工具的增强现实视图。增强现实视图可包括由相机生成的地面接合工具的第一图像，第一图像包括地面接合工具的实时视频图像和所捕获静止图像中的一个。增强现实视图还可包括叠加于第一图像上且与所选磨损水平相关联的地面接合工具的第二图像。所选磨损水平可基于用户输入，且第二图像可包括地面接合工具的图形单侧视图和地面接合工具的图形透视图中的一个。控制器可进一步配置成在显示器装置上生成磨损水平指示物，磨损水平指示物指示所选磨损水平。

附图说明

图1是示例性公开的机器的透视图；

图2是可与图1的机器一起使用的示例性公开的作业工具的透视图；

图3是示例性公开的工具侵蚀检测系统的示意图；以及

图4是可用以确定地面接合工具的侵蚀的示例性工具侵蚀检测装置的图解说明；

图5是可由图3的工具侵蚀检测系统生成的图形用户界面的图解说明；

图6是可由图3的工具侵蚀检测系统生成的图形用户界面的另一图解说明；

图7是可由图3的工具侵蚀检测系统生成的图形用户界面的另一图解说明；以及

图8是示出检测地面接合工具的工具侵蚀的示例性方法的框图。

具体实施方式

图1中示出机器10的示例性实施例。机器10可为例如挖掘机、轮式或履带式装载机、采矿铲、反铲装载机或本领域已知的任何其它类型的机器。作为挖掘机，机器10可包括安装到框架14且配置成驱动一个或多个牵引装置16的动力源12(例如，发动机、电动机、电池组等)，以用于推动机器10跨过工作现场。牵引装置16可安装或可移动地联接到框架14，且可包括例如履带、轮和/或其组合。框架14还可支承操作员站18，所述操作员站构造成容纳例如操作员的座椅和用于控制机器10的各种功能的一个或多个机器控制装置。

作为挖掘机，机器10还可包括连杆系统20和连接到连杆系统20的作业工具22。连杆系统20可包括可枢转地连接到框架14的吊杆24、枢转地连接到吊杆24的棒26、以及可枢转地连接作业工具22和棒26的连杆28。作业工具22可包括可枢转地连接到连杆28的铲斗30和连接到铲斗30的多个地面接合工具组件32。

如图2中所示，多个地面接合工具组件32可连接到铲斗30的基底边缘34。每个地面接合工具组件32可包括构造成接合铲斗30的基底边缘34的适配器36。每个地面接合工具组件32还可包括地面接合尖端38，其可移除地附接到适配器36作为地面接合工具。尖端38承受由与工作材料接合引起的大部分冲击和磨损，并且比适配器36更快地磨损以及更频繁地断裂。因此，多个尖端38可在一段时间内磨损并被更换。

在许多情况下，尖端38在使用的时间段内磨损或侵蚀，由此需要定期更换。尖端更换可定期进行，如在定期维护期间，或在一段时间后，如每周、每月、每季度、每年等。为了确保利用尖端38的全部使用寿命，从而最大化每个尖端的经济价值，机器操作员、所有者、维修人员或经销商可能希望定期观察尖端38的持续侵蚀量或“磨损水平”，并且根据需要更换每个尖端或尖端38的组(例如，仅在一旦达到某个磨损水平或侵蚀阈值时)。因为存在具有不同构造(例如，通用、尖锐、尖头等)以及不同尺寸和占空比(dutylevel)的许多不同类型的尖端38(例如，铲斗尖端、穿透尖端、磨蚀尖端等)，所以人员可能难以快速识别出尖端38中的一个的磨损水平以达到确定何时替换尖端38的目的。

图3示出了可用以快速且容易地确定尖端38的磨损水平的示例性工具侵蚀确定系统(“系统”)40。系统40可以包括侵蚀确定装置(“装置”)42，其包括显示器装置44、一个或多个输入装置46、相机48、通信装置50，以及连接到装置42的其它部件的控制器52。装置42可包括便携式电子计算机装置，例如，智能手机、平板电脑、个人数字助理(pda)、笔记本计算机、专用电子装置或配置成执行计算机功能的另一类型的装置。在其它实施例中，装置42可为固定的装置，如台式计算机、后台办公计算机、服务器等。

显示器装置44可为或包括led显示器、lcd显示器、crt显示器或配置成接收信号和/或显示与信号相关联的信息的其它类型的显示器装置。例如，显示器装置44可为智能手机、平板电脑、pda、笔记本计算机等的内置显示器。输入装置46可包括一个或多个接口装置，其配置成允许用户提供用于与装置42或其部件交互和/或控制其功能的输入。例如，输入装置46可包括一个或多个按钮、触摸板、开关、刻度盘或多功能显示器。在一些实施例中，显示器装置44可为多功能显示器，如触摸屏装置，其配置成经由与另一物体(如触笔或用户的手指)接触来接收用户输入。

相机48可配置成捕捉视频图像数据和/或静止图像数据以显示在显示器装置44上。在一些实施例中，相机48可为装置42的内置相机，如智能手机、平板电脑、笔记本计算机、pda等的相机。在其它实施例中，相机48可为单独的装置，其经由诸如无线连接(例如，蜂窝网络、ieee802.15.1、ieee802.11或者另一类型的无线通信标准)或有线连接的数据连接可连接到控制器52。相机48可配置成与显示器装置44和控制器52结合使用，例如，以使得用户能够在显示器装置44上查看实时或“直播”图像数据。相机48还可包括使得相机48能够用于捕获视频和/或静止图像数据所需的附加硬件和/或软件。

通信装置50可配置成通过无线协议(例如，蜂窝网络、ieee802.15.1、ieee802.11、或者另一类型的无线通信标准)或有线连接来传送电子数据(例如，计算机可读数据)。通信装置50可为单独的装置，或者可包括作为控制器52的一部分(例如，内置通信装置)。通信装置50可配置成通过通信网络(例如，蜂窝网络、因特网、局域网(lan)、广域网(wan)等)与其它装置(如场外计算机54)通信(例如，交换电子计算机可读数据)。

控制器52可与系统40的其它部件通信并且配置成接收输入并生成输出。如本文中所使用，术语“控制器”(例如，参照控制器52和/或本文所描述的其它控制器)可指具有单个微处理器或多个微处理器、计算机存储器(例如，非暂时性计算机可读媒体)的计算装置(例如，计算机)，和/或配置成接收来自系统40的其它部件的输入且基于输入生成输出信号的其它部件。例如，控制器52可包括存储器56、辅助存储装置、时钟以及用于完成根据本公开的任务的处理器58和/或其它处理硬件。许多市售的微处理器可配置成执行本文所述的控制器的功能。应了解，本文中所描述的控制器可容易地体现能够控制许多其它机器功能的通用机器控制器(例如，电子控制单元(ecu)、中央处理单元(cpu)等)。包括信号调节电路、通信电路和其它适当的电路的多种其它已知的电路可与本文所述的控制器相关联。

系统40可配置成允许用户使用增强现实将地面接合尖端38的视频或静止图像数据与地面接合尖端(例如，新的或磨损的尖端)的图形图像进行比较。亦即，为快速确定尖端38的磨损水平，系统40可允许用户将地面接合尖端的计算机生成的图形图像与附接到机器10或与机器10相关联的实际地面接合尖端38进行比较。例如，图4示出了装置42如何用于收集图像数据(例如，经由附接到装置42的相机48—图4中未示出相机48)的一个方面。在一些实施例中，用户可指示尖端38处的装置42，使得相机48能够接收尖端38的图像数据以在显示器装置44上显示给用户。如下文所解释，系统40可配置成产生尖端38的增强现实视图，从而使得用户能够确定尖端38的磨损水平和/或执行其它任务或功能。

图5示出地面接合尖端38作为地面接合工具的示例性增强现实视图60。增强现实视图60可为由控制器52生成的图形图像，其在增强现实中体现尖端38的视图。例如，控制器52可配置成生成包括增强现实视图60的图形用户界面(gui)62。增强现实视图60可包括由相机48生成的尖端38的第一图像64(和/或经由相机48观察到的其它空间或对象)。在一些实施例中，尖端38的第一图像64可为如由相机48感知和生成的尖端38的实时视频图像(例如，当相机48是摄像机和/或包括视频功能时)。亦即，第一图像64可为在经由相机48捕捉的实时视频流的显示器装置44上生成的图像。在其它实施例中，第一图像64可为经由相机48生成的尖端38的静止图像(例如“图片”)。

增强现实视图60还可包括叠加在第一图像64上的第二图像66。第二图像66可为地面接合工具(例如，地面接合尖端)的图形图像(例如，图形描绘或渲染)。例如，控制器52可配置成在显示器装置44上生成地面接合尖端(例如，使用存储在存储器56中的图像数据)的图形图像。第二图像66可仍相对于gui62和/或显示器装置44静止，或者可在gui62和/或显示器装置44上响应于经由输入装置46接收的输入信号而选择性地移动。第一图像64和第二图像66可通过移动相机48(或与其附接的装置42)或通过以上文解释的方式选择性地移动第二图像66而对齐。以此方式，第一图像64和第二图像66可在第二图像66叠加在第一图像64上时对齐。

第二图像66可与所选磨损水平相关联(例如，对应于尖端38磨损水平的磨损水平)。例如，控制器52可配置成基于对应于或表征已被磨损到某一程度的地面接合尖端(如尖端38)的数据生成第二图像66(例如，可持续磨损的百分比、侵蚀距离等)。以此方式，系统40可使得用户能够快速地可视化并将第一图像64(即，尖端38的图像)与已经磨损到已知程度的尖端38的图形表示进行比较。这可允许用户获得尖端38的磨损水平的快速和准确的理解。

第二图像66的所选磨损水平可基于经由输入装置46接收的用户输入。例如，控制器52可配置成经由输入装置46接收用户输入，并使输入与第二图像66的磨损水平的用户选择相关联。例如，当输入装置46包括一个或多个按钮或其它接口装置时，控制器52可配置成将按钮或其它接口装置的某些用户致动解释为指示选择第二图像66的某个磨损水平。控制器52接着可基于所选磨损水平生成第二图像66。即，控制器52可配置成生成第二图像66，使得第二图像66表示与所选磨损水平相关联的地面接合尖端的图像。

在一些实施例中，控制器52可配置成在显示器装置44上生成磨损水平指示物68。磨损水平指示物68可为指示所选磨损水平(即，由用户选择的第二图像66的磨损水平)的图形对象。例如，磨损水平指示物68可为配置成以视觉方式传送所选磨损水平的图形对象。在图5的实例中，磨损水平指示物68是配置成定位在由用户选择的磨损水平处或上方的滑动指示物(例如，圆、点、条等)。在其它实施例中，磨损水平指示物可体现不同形状或图像，如图形刻度盘、文本框、渐进条等。如本文中所使用，术语“磨损水平”可以指尖端38被磨损或侵蚀的程度的指示。例如，尖端38的磨损水平可以指剩余可用材料的百分比或量(例如，长度)。举例来说，在图5的实例中，磨损水平指示物68指示尖端38的剩余可用(即，非磨损)材料的百分比。在其它实施例中，磨损水平指示物68可指示例如已经从尖端38磨掉的材料的百分比或量。

在一些实施例中，磨损水平指示物68可通过输入装置46由用户选择性地移动，例如，作为用户能够提供指示所选磨损水平的输入的手段。即，装置42可配置成允许用户将磨损水平指示物68滑动到期望的磨损水平以指示第二图像66的所选磨损水平。例如，响应于经由输入装置46接收到的用户输入(例如，当用户将手指横跨磨损液位指示物68滑动时)，控制器52可配置成重新定位磨损水平指示物68。在图5的实例中，将磨损水平指示物68移动到50％磨损水平(例如，50％剩余、50％的磨损等)。在图6的实例中，磨损水平指示物68已移动到25％磨损水平(例如，25％剩余、25％的磨损等)。因此，图6中的第二图像66与图5中的第二图像66相比可指示或绘出额外的25％磨损。以此方式，用户可能够移动磨损水平指示物68，直到第二图像66匹配或以其它方式类似于第一图像64。当第一图像64和第二图像66由用户“匹配”时，用户可通过磨损水平指示物68观察尖端38的磨损水平。

控制器52还可配置成在显示器装置44上生成指示尖端38的物理尺寸的标度70，这可使得使用者能够容易地使尖端38的磨损水平与对应的物理尺寸相关联。标度70可为表示测量标度(例如，长度标度)或比较标度(例如，无单位标度)的图形对象。例如，在一些实施例中，标度70可包括定位在第一图像64和第二图像66附近的尺子72。尺子72可指示任何合适的单元(例如，英寸、厘米等)。在其它实施例中，标度70还可或替代地包括比较标度，所述比较标度74配置成实现例如由控制器52或场外计算机54的尖端38的自动量纲分析。例如，比较标度74可包括一组均匀间隔开的条或其它特征，其可与已知的或确定的间距和/或其它物理关系相关联，其它物理关系可指示可与第一图像64和/或第二图像66相关联的物理测量(例如，长度)。

例如，系统40可配置成存储与增强现实视图60相关联的图像数据，其可用于尖端38的后续分析。例如，控制器52可配置成从用户(例如，经由输入设备46)接收指示记录图像数据(例如，视频和/或静止图像)的请求的输入，并且存储(例如，在存储器中)56)图像数据用于进一步分析。图像数据可包括表示第一图像64和第二图像66的数据、所选磨损水平、标度70和/或其它信息(例如，尖端38的类型、用户信息、机器信息、位置信息、时间和日期信息等)。在一些实施例中，控制器52可进一步配置成经由通信装置50将与增强现实视图60相关联的图像数据传输到其它装置。例如，控制器52可配置成将图像数据传输到场外计算机54或另一电子装置(例如，智能手机、平板电脑、pda、笔记本型计算机或台式计算机、服务器等)以供进一步处理(例如，量纲分析、统计收集和分析、磨损或失效模式分析等)。备选地，控制器52可配置成例如结合存储器56和/或处理器58进行图像数据的此类进一步分析。

如图5和图6的实例中所示，第二图像66可包括地面接合工具(例如，尖端38)的图形单侧视图76(例如，俯视图)。如本文中所使用，术语“侧面”(例如，当提及“单侧”视图时)可指对象或图像的任何单一侧，如顶侧、横向侧(例如，左侧或右侧)、前侧或后侧，或底侧。在图5和6的实例中，用户可以能够将相机48(或装置42)定位在尖端38上方，以确保收集尖端38的俯视图图像(即，第一图像64)，第二图像66(作为单侧视图76)可适当地与俯视图图像相比。在其它实施例中，如图7所示，控制器52可配置成使得用户能够相对于尖端38的一个或多个表面成角度地定位相机48(或装置42)，以产生地面接合工具(例如，尖端38)的透视图78。例如，控制器52可配置成生成第二图像66，使得第二图像66(作为透视图78)在几何形状上类似于尖端38的第一图像64出现。以此方式，可使用户能够从方便的位置(如相对于尖端38成角度)检测尖端38的磨损水平，同时确保准确结果。

在一些实施例中，控制器52可配置成接收指示调整第二图像66的定向(例如，感知的空间或几何定向)的命令的用户输入，以使得第二图像66能够与第一图像64正确匹配。例如，控制器52可配置成经由输入装置46接收输入，且将所述输入解译为指示操纵第二图像66的期望(例如，在一个或多个轴线上旋转)。在一些实施例中，如图7中所示，控制器52可配置成在显示器装置44上产生定向控制对象80，以用于操纵或调整第二图像66的定向。定向控制对象80可为配置成由用户经由输入装置46接合(例如，当显示器装置44是多功能显示器装置时)并且可用于根据需要旋转第二图像66以便于使第一图像64与第二图像匹配的图形对象。

工业适用性

所公开的工具侵蚀检测系统在期望快速认识附接到作业工具或移动机器工具的地面接合工具磨损的程度的任何情况下发现潜在应用。所公开的工具侵蚀检测系统在现场、经销商和服务中心应用中具有特定适用性，其中用户可能希望快速了解地面接合工具的磨损程度，例如，在确定是否使用新工具更换磨损的工具时。然而，所属领域的技术人员将认识到，所公开的工具侵蚀检测系统可关于经受磨损和侵蚀的其它机器部件使用，该机器部件可或可不与作业工具或地面接合工具相关联。现在将参考图8和过程800解释检测具有地面接合工具的机器上的工具侵蚀的方法。

在机器10的操作期间，尖端38最终可能由于切割穿过或以其它方式与工作材料接合而受到冲击和磨蚀而侵蚀或磨损。操作员或其它人员可定期替换尖端38，但可能希望仅在尖端38已达到或几乎达到其完整使用寿命时才替换尖端38。然而，可能难以视觉地确定尖端38已侵蚀的程度(即，尖端38的磨损水平)。为了帮助用户快速且容易地确定尖端38的磨损水平，系统40可例如与装置42结合使用，以允许用户将真实尖端38与在已知的磨损水平下相同类型的尖端的图形图像进行比较。

例如，用户可例如通过打开计算机应用程序或启动另一类型的可执行计算机过程(计算机可读指令，其可以存储在装置42的存储器56中)启动系统40。然后，可提示用户选择尖端38的类型，例如，从表格列表、下拉菜单、绘画列表或尖端38类型的另一集合。尖端38的选择还可或备选地结合机器类型、工具类型或其它信息来制造。尖端类型的列表可存储在存储器56中并由处理器58或控制器52的其它部件访问，或者备选地，当此信息存储在不同的装置上时，可经由网络(例如，互联网)访问。

在选择尖端38类型后，用户然后可定位相机48(或与其附接的装置42)，并且控制器52可生成地面接合工具(例如，尖端38)的第一图像(框802)。第一图像可包括作为第一图像64生成的尖端38的单侧视图或透视图。然后，控制器52可以以任何顺序操作经由输入装置接收用户输入(框804)，该输入指示磨损水平，并且在显示器装置44上生成地面接合工具(例如，尖端38)的增强现实视图60(框806)。增强现实视图60可包括第二图像66和第一图像64。第二图像66可为与所选磨损水平相关联的地面接合尖端(例如，所选类型的地面接合尖端)的图形表示的单侧视图76或透视图78。在一些实施例中，控制器52还可在显示器装置44上生成标度70(例如，尺子72)(框808)，由此使得用户能够快速且容易地理解尖端38已磨损的程度。

控制器52可将第二图像66叠加在第一图像64上(框810)，从而使得用户能够将尖端38快速地与在某一磨损水平的相同类型的尖端的图像进行比较。控制器52可产生磨损水平指示物(框812)，例如磨损水平指示物68，以允许用户选择待与第二图像66相关联的磨损水平以与第一图像64比较。用户接着可通过经由输入装置46和/或结合磨损水平指示物68提供输入来选择与第二图像66相关联的磨损水平(例如，当磨损水平指示物配置成为可移动或可调整时)。例如，用户可将磨损水平指示物68滑动到左和右，从而减小和增大第二图像66的大小(且因此所感知的磨损水平)，直到第一图像64和第二图像66足够类似。磨损水平指示物68随后将准确地指示尖端38的磨损水平。

当控制器52生成第二图像66时，用户可通过移动(即，定向)相机48直到第一图像64和第二图像66充分对齐而使第二图像66与第一图像64对齐。当控制器52生成第二图像66的透视图78时，用户还可通过经由输入装置46和/或结合定向控制对象80调整第二图像66的定向来将透视图78与第一图像64对齐。当第一图像64和第二图像66正确对齐时，用户可将标度70参考为尖端38的物理长度的指示和/或作为已从尖端38侵蚀的材料量(例如，长度)的指示。

用户接着可提供输入(例如，经由输入装置46)，使得控制器52收集和存储增强现实视图60的图像数据。然后，控制器52可存储与增强现实视图60相关联的图像数据(框814)以供进一步处理。例如，图像数据可存储(例如，存储在存储器56中)且随后例如由控制器52或另一个装置分析。然后，控制器52可通过通信装置50，将图像数据传输到场外计算机(方框816)，例如场外计算机54或另一装置类型的装置。这可实现来自多个机器的数据收集，然后可结合努力收集和分析数据，以更好地理解、预测和/或防止地面接合工具的磨损。例如，收集到的数据可由制造商、经销商和/或其它实体进行分析，从而努力改善地面接合工具和/或为某些工作推荐适当的地面接合工具。

对于本领域技术人员显而易见的是，在不脱离本公开的范围的情况下，可对本公开的工具侵蚀检测系统进行各种修改。考虑到本文公开的工具侵蚀检测系统的说明书和实践，其它实施例对于本领域技术人员来说是显而易见的。说明书和实例应被视为仅是示例性的，本公开的真实范围由下文的权利要求及其等同物限定。