用于在线校准的方法和校准装置与流程

1.本发明涉及一种用于在线校准农用车辆的环境检测系统的方法。本发明还涉及一种用于执行这种方法的校准装置以及一种具有这种校准装置的农用车辆。


背景技术：

2.已知在农用车辆上设置传感器以检测农用车辆的周围环境。传感器可以设置在农用车辆上的不同位置处并且具有不同的定向。
3.在de 10 2015 119 078a1中描述了一种用于农用机械的控制系统，该控制系统提供了对传感器的校准。在传感器校准时计算特定于传感器的校正值，随后在该农用机械运行中考虑这些校正值。


技术实现要素：

4.本发明在一方面中涉及一种用于在线校准农用车辆的环境检测系统的方法。利用该方法可以在线校准环境检测系统的传感器。
5.环境检测系统可以布置在农用车辆上。环境检测系统可以具有成像传感装置和/或测距传感装置。利用成像传感装置可以获取农用车辆当前环境的图像。利用测距传感装置可以生成与当前停留在农用车辆的环境中的对象相关的点云。
6.环境检测系统可以具有至少两个传感器。该至少两个传感器可以具有任意组合的至少一个相机、至少一个激光扫描仪、至少一个雷达装置和至少一个超声波传感器中的至少两者。该至少两个传感器可以以不同的定向布置在农用车辆上。替代地或额外地，该至少两个传感器可以具有不同或不同布置的检测区域。替代地或额外地，该至少两个传感器可以布置在农用车辆上的不同位置处。这两个传感器彼此之间的相对位置可以在农用车辆运行期间发生变化。这两个传感器的绝对位置也可以在农用车辆运行期间发生变化。
7.在线校准环境检测系统可以包括：在线确定环境检测系统的校准参数。在线校准可以执行为环境检测系统的外部校准(extrinsisches kalibrieren)。在线校准可以包括：对环境检测系统进行动态校准。换言之，可以确立环境检测系统的外部校准参数。在此，可以确定环境检测系统的至少两个传感器彼此之间的相对位置或外部位置。此外，还可以确定环境检测系统的至少两个传感器的绝对位置。相反，可以预先确定内部校准参数。
8.农用车辆可以是被设计成用于对农用地进行耕作的车辆。农用车辆可以是例如拖拉机或农用喷雾装置。农用车辆也可以被设计为自主车辆或可自主操作的车辆。因此，该方法也可以被执行以自动在线校准可自动操作的农用车辆的环境检测系统。
9.该方法的步骤在农用车辆运行中执行。因此，可以在行驶模式或作业模式中执行该方法的步骤。换言之，该方法的步骤可以在农用车辆行驶期间执行。该方法可以在农用车辆在农用地上进行作业部署时执行。可以停下农用车辆以执行这些步骤中的至少一个步骤。替代地或额外地，农用车辆可以在要执行的步骤中的至少一个步骤期间移动。
10.在初始步骤中，农用车辆可以投入运行。然后可以在农用车辆投入运行后执行该
方法。在车辆及其环境检测系统投入运行后，可以实施另外的步骤。
11.要在农用车辆运行中执行的第一步骤包括：利用环境检测系统检测农用车辆的当前环境。
12.农用车辆的当前环境可以具有农用地的当前周围环境中的至少一个区域。当前环境或当前周围环境可以具有可被环境检测系统检测到的对象。对象可以是自然对象或人造对象。可以是自然对象的对象可以是农用地的土壤区域或植被区域。可以是人造对象的对象可以是农用地上的建筑物。因此，可以利用环境检测系统来检测例如田地上的耕种边缘或收割边缘和/或建筑物。检测步骤可以包括：利用环境检测系统检测农用车辆当前环境中的线状对象。例如，线状对象可以是车辙(spur)或边缘。
13.要在农用车辆运行中执行的另一步骤包括：基于检测到的当前环境确定当前外部校准参数以对环境检测系统进行在线校准。
14.当前外部校准参数可以与环境检测系统的至少两个传感器的当前相对位置有关。当前外部校准参数还可以与环境检测系统的传感器中的至少一者的绝对位置有关。当前外部校准参数可以具有相对校准参数和/或外校准参数。
15.当前外部校准参数可以在农用车辆运行中发生变化。换言之，在确定步骤中确定农用车辆运行中的非恒定的外部校准参数的变化并且在进行在线校准时考虑该变化。可以基于在农用车辆的当前环境中检测到的对象来执行该确定步骤。
16.要在农用车辆运行中执行的步骤可以连续地执行。因而可以在农用车辆在农用地上运行期间将在线校准执行为对环境检测系统的连续校准或持续校准。因此，与农用车辆运行之前的离线校准相比，可以在校准该环境检测系统时考虑在农用车辆运行中对环境检测系统的变化的运行影响。
17.因此，可以考虑环境检测系统的至少两个传感器在农用车辆运行中可变的相对位置。此外，还可以考虑环境检测系统的至少一个传感器在农用车辆运行中可变的绝对位置。该方法因此可以实施稳健的在线校准。
18.环境检测系统的至少两个传感器的变化的相对位置可以具有至少两个传感器之间的变化的距离和/或这两个传感器彼此之间的变化的相对定向或取向。环境检测系统的至少一个传感器的变化的绝对位置可以具有该至少一个传感器的变化的绝对取向。绝对取向可以是至少一个传感器相对于垂直或水平空间方向的取向。换言之，可以考虑至少两个环境检测传感器的变化的姿态。
19.农用车辆可以具有农用器具。环境检测系统可以布置在农用车辆上和/或在农用车辆上布置的农用器具上。环境检测系统的传感器可以相应地布置在农用车辆和/或农用器具上。
20.因此，利用该方法可以有利地考虑在农用车辆运行中发生在该农用车辆上并且变化的负载，这些负载会导致环境检测系统的传感器的相对位置和/或绝对位置发生变化。负载可以是例如重量负载、拉力负载和/或压力负载。这些负载可能会导致传感器的相对位置发生变化。如果农用车辆是喷雾装置，则喷雾装置的水箱中的水量减少可能会导致在喷雾装置运行期间喷雾装置上的负载发生变化。这些变化的负载可能会导致环境检测系统的传感器的相对位置和/或绝对位置发生变化。喷雾装置投入运行后经由该喷雾装置的喷嘴的喷水也可以产生上述结果。
21.利用该方法还可以有利地考虑在农用车辆运行中发生在该农用车辆上的振动或温度波动，这也可能会导致环境检测系统的传感器的相对位置和/或绝对位置发生变化。
22.此外，环境检测系统的至少两个传感器可以布置在农用车辆和/或农用器具的构件上。这些构件在农用车辆运行中可以相对于彼此移动，因此传感器的相对位置可以发生改变。例如，各个构件、行走机构和/或车辆底盘的高度可被调整，因此环境检测系统的传感器与农用车辆或农用地上的参考点或参考线的相对距离可能会发生变化。可以由农用车辆的轮轴(例如后轮轴)来限定参考线。在该方法的另一步骤中，可以基于检测到的环境检测系统的环境来确定这样的距离。
23.根据该方法的一个实施方式，检测步骤包括：检测农用车辆的当前环境中的几何特征。农用车辆的环境中的对象可以具有几何特征。几何特征可以是农用车辆的当前环境中对象的矢量和/或直线。例如，可以检测对象表面的法向量、两个对象之间的分界线或对象的对称线。法向量可以从点云或从对象表面上测量的多个点中导出。例如，对称线可以从检测到的柱形对象中导出。替代地或额外地，几何特征可以具有点。因此，例如可以从检测到的球形对象导出其中心点。
24.通过检测农用车辆的当前环境中对象的几何特征或参数，可以更可靠并且更准确地检测当前环境。如果环境检测系统的至少两个传感器检测到几何特征，则可以从这些几何特征确定这些传感器的相对位置并且因此确定这些传感器的当前外部校准参数。为此可以使用计算机视觉方法，例如透视投影方法。
25.根据前述实施方式，确定当前外部校准参数的步骤可以基于检测到的几何特征来执行。因此，当前外部校准参数可以根据冗余的、检测到的对象(即利用环境检测系统的至少两个传感器检测到的对象)来确定。
26.该方法的另一实施方式包括：从检测到的当前环境中提取线特征，来作为要在农用车辆运行中执行的另一步骤。线特征可以具有当前环境中对象的矢量和/或直线。线特征可以具有直线的几何参数。线特征还可以包括曲线(例如圆弧和/或样条曲线)的几何参数。提取步骤可以包括：提取当前环境的图像或当前环境的点云中的线。可以使用曲线拟合法来确定线。因此，线的参数可以是数学超定估计线的参数。
27.根据前述实施方式，确定步骤可以基于所提取的线特征来执行。可以将从环境检测系统的至少两个传感器的测量数据中提取的线叠加，以便导出该至少两个传感器彼此之间的相对位置。换言之，由此可以确定至少两个传感器的传感器坐标系彼此之间的相对位置。当前外部校准参数因此可以对应于环境检测系统的传感器坐标系之间的当前转换参数。
28.因此，该方法的一个优点可以是：当前外部校准参数或当前转换参数可以基于对象来确定，即仅基于农用车辆的环境中的对象来确定。为此可以不必在农用车辆的环境中安置测量目标或检查点，并且不必通过环境检测系统对其进行有针对性地检测。换言之，环境检测系统借助该方法因而基于本身存在于农用车辆的环境中的对象就可以执行。
29.该方法的另一实施方式包括：确立农用车辆的未来轨迹，来作为要在农用车辆运行中执行的另一步骤。未来轨迹可以是农用车辆将来要行驶的路线。未来轨迹可以是给定的，或者可以从农用车辆的当前环境中导出。未来轨迹也可以基于对农用车辆的位置确定或定位来确立。可以基于农用车辆的当前位置来预先计算路线。因此，确立可以包括：对未
来路线进行规划。还可以基于与农用车辆的环境有关的地图信息来确立所确立的未来轨迹。未来轨迹可以由农用车辆的驾驶员选择或由农用车辆的辅助系统给定。
30.根据该实施方式，可以执行确定所确立的未来轨迹的曲率，来作为要在农用车辆运行中执行的另一步骤。确定曲率可以包括：确定未来的曲率半径。替代地或额外地，确定曲率可以包括：从转向角预先给定值导出曲率。
31.此外，根据该实施方式，确定当前外部校准参数的步骤可以根据所确定的曲率来执行。因此，环境检测系统的在线校准可以根据农用车辆的未来轨迹的曲率来执行。这因此也可以考虑弯道行驶对环境检测系统的传感器的相对位置的影响。
32.该方法的另一实施方式包括：检验所确定的未来轨迹的曲率是否小于预定义的曲率极限值，来作为要在农用车辆运行中执行的另一步骤。根据该实施方式，如果所确定的曲率小于预定义的曲率极限值，则可以执行确定当前外部校准参数的步骤。因此可以有利地检验农用车辆的未来路线是否适合环境检测系统的在线校准。
33.如果未来轨迹的曲率小于预定义的曲率极限值或者未来轨迹所具有的曲率半径大于预定义的曲率半径，则该未来轨迹可以适合在线校准。相反，如果未来轨迹的曲率大于预定义的曲率极限值或者未来轨迹所具有的曲率半径小于预定义的曲率半径，则该未来轨迹可能不适合在线校准。
34.因此，如果未来轨迹的曲率小于预定义的曲率极限值，则可以执行在线校准。相反，如果未来轨迹的曲率大于预定义的曲率极限值，则不能执行在线校准。可检测的几何特征和可提取的线特征还可以与未来轨迹的曲率相关或相互制约。因此，如果未来轨迹具有直线轨迹区段，则例如直线的行驶车辙或行驶道路或耕种边界(例如收割边缘)沿行驶方向在农用车辆前方可能以更高的概率出现。
35.该方法的另一实施方式包括：确定所提取的线特征的质量参数，来作为要在农用车辆运行中执行的另一步骤。质量参数可以描述对几何特征和/或所提取的线特征的检测的可靠性、准确性和/或完整性。因此，质量参数例如可以包括对测量点沿所提取的线的散布的度量。此外，质量参数可以给出针对所提取的线所具有的长度和/或所提取的线是否具有无测量点的中断的度量。所提取的线特征的质量参数可以从线特征的计算中导出，也可以直接进行检测。在此，质量参数可以与直线或曲线有关。例如，质量参数还可以描述可被提取为线的多项式的参数的可靠性或准确性。
36.根据前述实施方式，可以在农用车辆运行中作为另一步骤来执行检验所确定的质量参数是否大于预定义的质量极限值。根据前述实施方式，如果所确定的质量参数大于预定义的质量极限值，则可以执行确定当前外部校准参数的步骤。换言之，如果可以以足够的几何或随机可靠性确定所提取的线特征，则可以将所提取的线特征用于确定当前外部校准参数。因此，可以提高所确定的当前外部校准参数的准确度并由此也提高在线校准的准确度。
37.根据该方法的另一实施方式，农用车辆具有农用器具。在农用车辆运行中，该农用车辆可以移动(例如拉动)农用器具。农用器具也可以作为农用车辆上的安装部件来提供。农用器具在农用车辆运行中可以相对于该农用车辆移动。由此农用器具相对于农用车辆的相对位置可以发生改变。
38.根据前述实施方式，环境检测系统可以具有布置在农用器具上的至少一个传感
器。如果农用器具相对于车辆移动或反过来，则因此可以在考虑这种位置变化的情况下确定当前外部校准参数。如果农用车辆上有环境检测系统的另一传感器，则因此可以通过再校准来考虑这两个传感器之间的相对位置变化。
39.根据另一实施方式，环境检测系统可以具有布置在农用器具上的至少两个传感器。该至少两个传感器可以布置在农用器具的能够相对于彼此移动的不同构件上。如果构件相对于彼此移动，则因此可以在考虑这种位置变化的情况下确定当前外部校准参数。
40.根据该方法的另一实施方式，在农用车辆的自动驾驶期间执行要在农用车辆运行中执行的步骤。农用车辆的自动驾驶可以是农用车辆的远程控制驾驶。因此，也可以执行该方法以对农用车辆的环境检测系统进行远程控制的在线校准。因此，在所谓的“精准农业(precision farming)”中，农用车辆的运行可以在更高的自主级别下进行。还可以有利地使用该方法在农用车辆上“即时(on the fly)”执行该农用车辆的校准。因此，可以在无需现场用户干预的情况下在农用地上实施在线校准。
41.在另一方面中，公开了一种校准装置。校准装置被适配成执行根据前述方面所述的方法的步骤。校准装置可以布置在农用车辆上。
42.校准装置可以具有用于读入农用车辆的当前环境的检测数据的接口。校准装置可以具有用于生成这种检测数据的至少两个传感器。校准装置可以例如具有至少两个相机、至少两个激光扫描仪、至少两个雷达装置和/或至少两个超声波传感器。校准装置还可以具有至少两种不同的传感器，例如相机和激光扫描仪。校准装置还可以具有确定单元，以基于所读入或检测到的检测数据来确定当前外部校准参数。
43.校准装置还可以具有用于定位农用车辆的定位组件。此外，校准装置可以具有路线规划组件，以基于定位来规划未来要行驶的路线。
44.本发明在另一方面中涉及一种具有根据前述方面所述的校准装置的农用车辆。
附图说明
45.图1示出了具有根据相应实施方式的校准装置的农用车辆。
46.图2示出了根据该方法的实施方式的用于执行在线校准农用车辆的环境检测系统的方法的方法步骤的流程图。
47.图3示出了在农用地上投入运行后的农用车辆，以阐述该方法。
48.图4示出了在农用地的一区域耕种后的农用车辆，以进一步阐述该方法。
49.图5示出了在转弯操作之后、进一步耕种农用地的另一区域之前的农用车辆，以进一步阐述该方法。
具体实施方式
50.图1示出了其上布置有农用器具11的农用车辆10。在该实施方式中，农用器具11附接在农用车辆10的尾部区域。
51.在农用车辆10的前部区域处布置有两个环境检测传感器13。这些环境检测传感器13形成农用车辆10的环境检测系统12。这两个环境检测传感器13具有各自的检测区域21，在该实施方式中，这些检测区域沿农用车辆10的行驶方向定向。检测区域21检测农用车辆10周围的环境20的部分区域。检测区域21部分重叠。作为图1所示实施方式的替代方案或补
充方案，环境检测传感器13可以至少部分地布置在农用器具11上。在图1中未示出的另一实施方式中，分别在农用车辆10和农用器具11上布置环境检测传感器13。
52.在农用车辆10上还布置有相互连接的定位装置16和校准装置14。定位装置16被适配成确定农用车辆10的当前位置。校准装置14还与环境检测系统12的这两个环境检测传感器13连接，以便读出它们的检测数据，并基于此来确定环境检测系统12的环境检测传感器13的外部校准参数。
53.图2示出了执行用于在线校准图1中所示的农用车辆10的环境检测系统12的方法的方法步骤。该方法在农用车辆10运行期间执行。
54.在初始方法步骤s0中，农用车辆10投入运行。在投入运行中启动农用车辆10的至少一个机械(附图中未示出)。
55.在第一方法步骤s1中，进行农用车辆10在其环境20中的定位。在该定位步骤中，确定农用车辆10的当前位置。
56.基于在第一方法步骤s1中确定的农用车辆10的位置，在第二方法步骤s2中确立农用车辆10的未来轨迹。确立未来轨迹以便利用农用车辆10来耕种农用地。
57.在随后的第一检验步骤p1中，检验在第二方法步骤s2中确立的未来轨迹是否适合执行环境检测系统12的在线校准。在第一检验步骤p1的判定标准中，观察所确立的未来轨迹的曲率。如果该曲率小于预定的曲率极限值，则执行后续进一步的第三方法步骤s3。如果未来轨迹的曲率大于预定的曲率极限值，则在稍晚的时间点再次执行前述第二方法步骤s2的轨迹确立。农用车辆10在该稍晚的时间点已经沿着未来轨迹继续移动。重复执行第二方法步骤s2和第一检验步骤p1，直到满足第一检验步骤p1的判定标准为止。
58.在满足第一检验步骤p1的判定标准的情况下执行第三方法步骤s3。在该第三方法步骤s3中，利用布置在农用车辆10上的环境检测系统12或利用环境检测传感器13来对环境20进行环境检测。在该步骤中，利用环境检测系统12来检测农用车辆10的环境20中的几何特征。
59.在第二检验步骤p2中，对在前述第三方法步骤s3中检测到的线进行质量检验。将限定线的几何参数的可靠性值用作该第二检验步骤p2的判定标准。如果该可靠性值高于预定义的可靠性极限值，则通过进一步的第四方法步骤s4进一步实施该方法。如果可靠性值低于预定义的可靠性极限值，则再次执行前述第三方法步骤s3。重复执行第二检验步骤p2和第三方法步骤s3，直到满足第二检验步骤p2的判定标准为止。
60.在第四方法步骤s4中，进行校准参数确定。在该步骤中，基于在第三方法步骤s3中检测到的几何特征，确定环境检测系统12的环境检测传感器13的当前外部校准参数。基于在该第四方法步骤s4中确定的外部校准参数，在进一步的第五方法步骤s5中进行环境检测系统12的环境检测传感器13的在线校准。
61.图3中示出了在未经耕种的农用地28上的具有农用器具11的农用车辆10。农用车辆10的环境20至少部分地具有未经耕种的农用地28。在农用车辆10前方的行驶方向上，几何特征22形成在农用地28上。在未经耕种的农用地28上形成的几何特征22具有两条行驶车辙24。
62.在第三方法步骤s3中，由图3至图5中未示出的环境检测系统12来检测行驶车辙24。在第二方法步骤s2中确立的未来轨迹30被设计为直线轨迹32。行驶车辙24被用于在第
四方法步骤s4中确定环境检测系统12的环境检测传感器13的当前外部校准参数，因为未来轨迹30是直线轨迹32。
63.在图4中示出了在农用地28的耕种中稍晚的时间点时的具有农用器具11的农用车辆10。在农用车辆10后面的行驶方向上，现在是经耕种的农用地28'。由于车辆位于农用地28的边缘，因此该车辆现在必须在驶过已行驶的轨迹30'之后执行转弯操作。为此将要行驶的未来轨迹30现在是弯曲轨迹34。另外的行驶车辙24现在不用于在第四方法步骤s4中确定环境检测系统12的环境检测传感器13的当前外部校准参数，因为未来轨迹30是弯曲轨迹34。
64.在图5中示出了驶过图4中所示的作为已行驶的轨迹30'的弯曲轨迹34后的具有农用器具11的农用车辆10。在农用车辆10前方的行驶方向上，除了另外的行驶车辙24之外，现在还存在在先前已耕种的农用地28'与尚未经耕种的农用地28之间的作业边界26。类似于关于图3所描述的那样，除了行驶车辙24之外，农用车辆10现在还利用其环境检测系统12检测作业边界26。从检测到的行驶车辙24和检测到的作业边界26导出另外的线特征，这些另外的线特征现在用于确定当前外部校准参数。
65.附图标记清单
66.10 农用车辆
67.11 农用器具
68.12 环境检测系统
69.13 环境检测传感器
70.14 校准装置
71.16 定位装置
72.20 环境
73.21 检测区域
74.22 几何特征
75.24 行驶车辙
76.26 作业边界
77.28 农用地
78.28' 经耕种的农用地
79.30 未来轨迹
80.30' 已行驶的轨迹
81.32 直线轨迹
82.34 弯曲轨迹
83.p1 曲率检验
84.p2 质量检验
85.s0 投入运行
86.s1 定位
87.s2 轨迹确立
88.s3 环境检测
89.s4 校准参数确定
90.s5 在线校准。