用于确定电动交通工具的插座的位置和取向的方法及设备与流程

用于确定电动交通工具的插座的位置和取向的方法及设备
1.本发明涉及一种用于确定电动交通工具(electric vehicle)的插座的位置和取向的方法和设备。
更具体地，本发明涉及一种以自动化方式进行这种确定的方法和设备，目的是自动地将充电连接器连接到交通工具的插座。
2.关于电动交通工具充电的所有处理自动化是一个不变的目标。
对无线充电系统进行了各种尝试，但是由于技术简单和能量效率的原因，导电充电(conductive charging)仍然是优选的。
然而，将充电器连接器连接到交通工具的插座可能仍然被认为是麻烦的。
特别是在大型车队所有者的情况下，当交通工具的物理连接自动完成时，可能被认为是有益的。
3.进行这种物理连接的挑战是在插入之前将连接器准确定位在插座中。
这必须以小于几毫米的范围内的精度来完成，其意味着该精度由用于插入连接器的设备来满足，而不是由交通工具来满足，交通工具目前不能以几厘米的精度自动定位。
4.为了以合理的速度连接交通工具，充电器的定位需要尽可能快，但要在安全的条件下，并且不损坏交通工具。
这需要详细确定插座的位置和取向。
在六个自由度(6dof)中确定位置和取向通常通过多个相机或
3d观察技术来完成。
然而，它们通常很宽敞(spacious)，且在经济上并不总是可行的。
5.也有使用单个
2d相机的解决方案。
然而，确保插座的位置和取向总是以所需的精度被确定仍然是一个挑战。
6.发表在
2019年
12月6日ieee proceedings第
2958-2963页的文章“a robotic charging scheme for electric vehicles based on monocular vision and force perception(基于单目视觉和力感知的电动交通工具的机器人充电方案)”公开了一种系统，其中相机和连接器刚性连接到机器人的末端执行器。
该文章提到了连接器基于根据相机图像的位姿估计朝向“接近位置”的l形运动。
这确实意味着相机必须具有用于记录图像的相对于插座的位置(该文章称之为起始位置)，但该文章没有提到这个相对位置是什么样的，且也没有提到在记录图像之前使用关于插座位置或取向的先前知识时对相机或插座的定位。
在分析图像后，它们将连接器与插座对准。
7.因此，与本发明相比，该文章没有明确提到相机相对于插座的任何定位(反之亦然)，因此也没有提到相机相对于插座的对准或故意错位，特别是没有通过移动相机，更不用说基于早期获得的信息，如图像分析。
8.us2021 086643公开了一种系统，其中插入方向与穿过待识别的基准特征的平面的正交轴线不必对准。
此外，当获得
2d图像时，它不要求相机具有关于插座的视野。
9.本发明的目的是消除现有技术的缺点和/或提供现有技术的有用替代方案。
10.本发明对此提出了一种用于确定电动交通工具的插座的位置和取向的方法，该插座适于使充电连接器在具有唯一插入取向的唯一插入位置且沿唯一插入方向插入，该插座具有带有光学重力点(optical gravity point)的前平面；该方法包括以下步骤：
[0011]-提供
2d相机，所述
2d相机具有关于电动交通工具的充电位置的视野；所述
2d相机：
[0012]о
具有包括观察线的相机视野，每条观察线在围绕源自相机针孔的中心观察线的
最大角度偏差内围绕所述中心观察线延伸；
[0013]о
适于提供
2d图像，
[0014]-将用于插入电动交通工具的充电连接器的插座置于所述相机视野内；
[0015]-将穿过插座上的光学重力点的观察线定义为瞄准线(line of sight)；
[0016]-用相机观察插座并获得
2d图像；
[0017]-用
3d位姿估计算法(3d pose estimation algorithm)来分析
2d图像，以获得插座相对于相机针孔的位置和/或取向；
[0018]其中：
[0019]-交通工具和相机被有意地相互定位成使得在获得
2d图像之前瞄准线与插入方向成一角度，该角度在获得
2d图像期间被保持。
[0020]根据本发明的方法可以包括将交通工具和相机定位成使得瞄准线与插入方向成已知的和/或预定的角度。
[0021]3d位姿估计算法可以包括用于检测有目的性的或有目的的基准标记的特征识别算法和用于在给定基准标记的已识别基准特征的情况下估计位姿的算法的组合。
荷兰专利申请nl2030458中也给出了对此的描述，该荷兰专利申请通过引用并入本文。
[0022]特征识别算法例如可以是卷积神经网络算法或基于“你只需看一次(you only look once)”(yolo)模型的算法。
位姿估计算法例如可以是透视n点(perspective-n-point)(pnp)算法(例如solvepnp)或随机样本一致(ransac)算法。
通常，基准标记由一个或更多个基准特征组成，这些特征可通过它们的形状、对比度、颜色等来识别。
合适的方面通常是渐变或突然过渡(边缘)，它们可以构成线条、曲线或拐角或者其他复杂的视觉特征。
[0023]有目的的基准标记可以是例如qr码、四月标签(april tag)等或者具有其主要目的是被识别的几何特征。
[0024]在这种情况下，有目的性的基准标记可以是或形成插座的连接功能的一部分，其可以包括充电插座的具有在记录中可见的记载的几何形状的特征，该记载的几何形状例如在国际标准(诸如iec 62196)或另外的设计规范中被定义。
连接功能可以由用于电气地和/或机械地和/或物理地耦合连接器的插座部件形成或包括用于电气地和/或机械地和/或物理地耦合连接器的插座部件。
也可以包括电绝缘部件。
用于接收连接器的(相反的)形状通常可以被视为连接功能、以及导电引脚、以及特别是非导电主体。
[0025]当使用
2d相机来估计插座的位姿以及有意地放置相机和插座使得在记录的图像中插座的前平面有效地具有关于正交于瞄准线的至少一个轴线的角度时，对关于该轴线的角度的估计得到改善。
[0026]有意地这样做意味着基于插座的位置和/或取向的先前知识，有目的地将用于插入电动交通工具的充电连接器的插座置于所述相机的视野内，使得瞄准线与插入方向成一角度。
该先前知识可以是先前的记录、来自相机之外的其他传感器(例如距离传感器)的数据，或者根据交通工具和基础设施的设计(例如，通过线、挡块、轨道等强制特定交通工具相对于相机的特定停放位置和取向)。
[0027]在实践中，优选的是，在这样获得的图像中，插座，特别是主要是接触其表面的平面，围绕垂直于瞄准线的至少一个轴线旋转。
仅仅围绕瞄准线的旋转是没有好处的。
使用替代的前平面或替代的基准标记也是可以的。
特别地，当使用一般基准标记(包括插座本身)时，前平面被定义为其中基准标记的特征在
2d图像中最可见的平面。
即，对于平坦表面上的
2d基准标记，前平面是平行于该表面或与该表面重合的平面。
更具体地，当使用插座作为基准标记时，与前平面正交的轴线基本上平行于插入方向。
换句话说，根据本发明，当拍摄前平面的
2d图像时，从相机到光学重力点的观察线相对于与前平面正交的轴线具有一定角度。
[0028]在任何情况下，正交于前平面的轴线应该基本上平行于插入方向。
这意味着这两个轴线之间的角度应该优选小于
15度，更优选小于7度，并且最优选小于5度。
当插座位于交通工具的侧部主体(或前部或后部)上时，使这些轴线基本上平行有利于该方法的应用。
[0029]当应用根据本发明的方法时，可以假设可以预先进行位置的粗略估计，和/或具有用于(例如通过移动相机)将插座置于相机视野的装置。
应当注意，围绕所述中心观察线的最大角度偏差不必是恒定角度。
因此，角度的总“束”(total“bundle”of angles)不必是锥形的。
它可以具有椭圆形或甚至矩形的横截面。
[0030]光学重力点实际上可以随机选择，但是逻辑选择可以在待识别的特征的凸包内，例如在插座的引脚的凸包内，例如对于ccs-2插座，在插座的前平面上的两个dc接触器之间的中心点，或者ac连接器的中心(数据)引脚。
选择取决于用于识别的特征类型。
特别地，光学重力点是待识别的特征的凸包(convex hull)的形心(centroid)，特别是插座的引脚的凸包的形心。
[0031]如上所描述的插座上的光学重力点的选择可以基于以下来确定：至少一个有目的性的或有目的的基准标记，特别是由插座的至少一部分形成的或者是插座的凸包内的点和/或有目的的标记，如qr码或用于通过软件相对容易地识别它的任何其他方式，其中有目的的标记位于基本上平行于前平面的平面上。
这种标记可以专门为此目的应用于插座上，但也可以固有地存在于插座中，例如通过某种图案的引脚或孔，并且彼此之间具有已知的距离。
光学重力点可以是待识别的特征的凸包的形心。
[0032]将交通工具及其用于充电器连接器的插座定位在所述相机视野内使得瞄准线与插入方向成一角度的步骤可以通过尽可能精确地将交通工具定位在预定位置来完成。
这对于已知的交通工具，特别是车队，例如公共汽车或出租车，或者在基于接近的交通工具调整引导的情况下，是最有用的。
为了实现这一点，基础设施可以包含引导特征，使得ev可以相对于充电连接器和/或被放置在所述充电连接器附近的
2d相机被停放或使其自身停放在预期位置和在预期取向上。
这种充电连接器可以在特定区域内自动移动。
[0033]可选地，将具有用于充电器连接器的插座的交通工具定位在所述相机视野内使得瞄准线与插入方向成一角度的步骤可以通过基于交通工具的估计位置和/或取向移动交通工具来完成。
移动交通工具可以例如通过基于第一估计位置发送交通工具移动指令来完成。
该第一估计可以通过如上所描述的类似方式进行，但是也可以通过其他检测方式(例如插座和基础设施上的参考点之间的距离传感器)产生。
根据本发明的方法可以包括向交通工具发送用于移动其自身的指令。
如果交通工具被配置为(无线)通信，并且当它对该反馈自动响应时，或者当它可以被远程控制时，这是可能的。
作为替代，可以向交通工具的驾驶员提供指令。
[0034]然而，在优选实施例中，相机基于交通工具的已知的或估计的位置和/或取向移动。
在该实施例中，交通工具可以被停放在停放充电基础设施附近，停放充电基础设施包括
充电器和用于将充电连接器移动到交通工具的插座并将充电连接器插入的装置。
为了将用于插入电动交通工具的充电连接器的插座置于相机视野内，电动交通工具被停放成使得插座在视野中，或者通过移动相机而使插座进入视野中。
可选地，然后拍摄图片，以便粗略估计插座的位置和/或取向，或者通过使用另一种检测方式，如插座和基础设施上的参考点之间的距离传感器，粗略估计插座的位置和/或取向。
作为下一步，然后基于该粗略估计移动相机，使得瞄准线与插入方向成一角度，从而获得新的、更精确的估计。
[0035]有效的移动可优选地是平移，以保持实际实现最不复杂。
通常，沿着直线移动相机除了纯粹沿着瞄准线的平移之外还具有以下效果：使瞄准线相对于插入方向旋转，从而改变视野和获得的
2d图像。
合成运动也是一种选项，其中旋转和平移的组合具有期望的效果。
然而，纯粹的旋转不能达到期望的效果，因为虽然这确实相对于中心视野改变了瞄准线，但它不会改变瞄准线和插入方向之间的角度。
[0036]为了提高精度，优选角度在5度和
60
度之间，且更优选在7度和
45度之间，且最优选为大约
15度。
约为0°
的角度的轻微变化很难注意到，因此估计约为0°
的角度对噪声很敏感。
然而，在
90
°
角时，插座的正面与瞄准线对准，因此其在
2d图像上不再可见。
此外，角度越大，插座在
2d相机视野上的像素就变得越小。
换句话说，当增加角度时，在前平面上的表面的可见度降低。
即，在
2d记录中，当接近
90
度时，表面缩小为一条线。
然而，在
90
度角时，表面的可见宽度的梯度最大，因此位姿估计算法将是最敏感的。
权衡的结果是根据实验确定为最佳时提供上述角度。
[0037]上述角度已经通过实验确定，从而在
2d记录中可识别特征的可见性(或大小)与确定插座的取向的灵敏度之间的权衡中形成最佳。
[0038]作为通过平移获得角度的示例，5度的差异对应于与插入方向正交的大约
5cm的平移，其中相机被定位在插入方向上略大于
55cm处。
这大约是ccs插座的宽度，或其高度的一半。
[0039]为了插入充电连接器而对插座的位置和取向的确定可以优选地基于单个图像。
这意味着，为了计算位置和取向，使用单个图像。
然而，可以在不改变交通工具或相机位置的情况下拍摄多个
2d图片，以及然后每个
2d图像可以被用于确定插座位置和取向，之后确定平均取向和位置。
在某些情况下，这可能会导致更好地确定位置和取向。
[0040]根据本发明的方法还可以包括以下至少一个步骤：在插座和相机处于相同的相互位置和取向的情况下重复获得
2d图像以平均误差，或者重复估计插座位置以平均误差，或者获得视野中具有放大的或在光学上或物理地放大的
2d图像，以获得更精确确定的位置和/或方向。
[0041]替代地或附加地，根据本发明的方法可以包括对使用
2d图像确定插座的位置和/或取向的迭代，其中插座和相机处于不断改变的相互位置和取向，其中在拍摄多个图像之间移动交通工具或相机。
[0042]换句话说，将用于插入电动交通工具的充电连接器的插座置于所述相机视野内使得瞄准线与插入方向成一角度的步骤包括基于插座的估计位置和/或取向移动相机，该方法还包括基于在插座和相机都处于不同的相互位置的情况下拍摄的多个
2d图像迭代地确定插座位置和取向，特别地，其中针对一个
2d图像的相机位置和取向基于相对于先前
2d图像导出的信息而改变。
当将连接器插入插座时，相机可以耦合到连接器，或者与连接器同时
被移动。
[0043]在一个实施例中，
2d相机和插座之间的距离可以在如上所描述的迭代期间或者通常在插入连接器期间被减小。
通过接近插座，可以对插座的位置和/或取向进行更精确的确定。
[0044]通过照亮插座，特别是在其中插座处于阴凉处或夜间的情况下，还可以改善对插座位置和/或取向的确定。
[0045]在另一实施例中，
2d图像可用于对插座周围区域的碰撞监测，以便无碰撞地插入连接器。
否则，例如可能发生与插座的盖子发生碰撞(该盖子可能被铰接在一边)或者与插座附近的其他对象或汽车部件发生碰撞。
[0046]根据本发明的方法还可以包括借助于距离传感器测量插座和参考点(例如相机或连接器)之间的距离。
从这种传感器获得的信息有助于更精确地且可能更快地确定插座的位置和取向。
[0047]本发明还涉及一种用于将用来给电动交通工具充电的连接器连接到插座的设备，该设备包括：至少一个
2d相机，该
2d相机被定位成具有关于电动交通工具的充电位置的视野；所述
2d相机具有包括观察线的相机视野，每条观察线在围绕源自相机针孔的中心观察线的最大角度偏差内围绕所述中心观察线延伸，适于提供
2d图像，特别是焦点在垂直于所述中心观察线的平面上；处理装置，该处理装置被配置用于在具有用于充电器连接器的插座的交通工具被定位在所述相机视野内的情况下，将穿过插座上的光学重力点的观察线定义为瞄准线，用相机观察定位的插座并获得
2d图像，用
3d位姿估计算法分析
2d图像，以获得插座相对于相机针孔的位置和/或取向，其中，处理装置被配置用于确定交通工具和相机是否相互被定位成使得瞄准线与插入方向成一角度。
[0048]根据本发明的设备还可以包括用于将用于插入电动交通工具的充电连接器的插座置于所述相机视野内的装置。
例如，这可以是停放位置的标记，或者关于交通工具运动的物理止动器、挡块、凹口或类似限制器，用于与交通工具直接通信以提供停放指令的通信装置，或者用于与交通工具驾驶员通信的通信装置。
[0049]用于将具有用于充电器连接器的插座的交通工具定位在所述相机视野内的装置可以包括用于移动相机的装置。
该设备还可以包括充电连接器和用于定位所述连接器的装置。
相机可以机械地耦合到用于定位连接器的装置，并且该用于定位连接器的装置可相对于连接器移位，特别是在交通工具的驾驶方向上移位。
可选地，相机可以相对于充电位置固定地(rigidly)放置，并且处理装置可以包括用于向交通工具发送驱动或定位指令的通信装置。
[0050]根据本发明的设备还可以包括用于照亮插座的照明装置，例如光源或聚光灯。
可选地，交通工具可以包括用于照亮其插座的灯。
[0051]该设备还可以被配置为使用
2d图像来对插座周围的区域进行碰撞监测，以便无碰撞地插入连接器。
否则，可能发生与例如插座的盖子、交通工具的其他突出部件或其周围区域的碰撞。
[0052]根据本发明的设备还可以包括距离传感器，以用于确定插座和基础设施(例如相机或连接器)上的参考点之间的距离。
[0053]现在将参照以下附图更详细地说明本发明，其中：
[0054]-图
1a、图
1b示出了用于充电连接器的插座的两个视图；
[0055]-图
2a、图
2b、图
2c示意性地示出了不是根据本发明的插座和相机的相互取向；
[0056]-图
3a、图
3b、图
3c示意性地示出了根据本发明的插座和相机的相互取向；
[0057]-图
4a、图
4b、图
4c示意性地示出了根据本发明的方法的步骤。
[0058]图
1a示出了用于接收充电连接器的交通工具插座1的前视图。
交通工具插座具有可以在相机图像上识别的几何形状和特征。
由相机获得的实际图像取决于插座相对于相机的位置和取向。
在图
1a中，表示了用于dc充电的两个连接器孔之间的距离a以及用于dc充电的一个连接器孔和用于ac充电的一个连接器孔之间的距离b。
此外，表示了从用于ac充电的孔和用于数据连接的孔的两条虚拟交叉线之间的角度
α
以及插入方向p(直接进入纸张的方向)和旋转轴线c，在图
1b中，相同的插座1围绕旋转轴线c旋转了一定角度。
[0059]图
1b示出了从相对于图
1a没有旋转并且其针孔处于相同位置的相机中看到的绕旋转轴c线旋转了一定角度的相同插座
1。
在图
1b中，表示了用于dc充电的两个连接器孔之间的距离a’以及用于dc充电的一个连接器孔和用于ac充电的一个连接器孔之间的距离b’。
此外，表示了从用于表示ac充电的孔和用于数据连接的孔的两条虚拟交叉线之间的角度
α’以及插入方向p(与纸张成一定角度)和旋转轴线c。
从相机上看，距离a’比距离a小得多，距离b’仅比b小一点儿(因为由于旋转，表示距离b的连接器孔之间离相机稍远，并且角度
α
变大。
在给定充电器的插座的已知尺寸的情况下，利用
3d位姿估计算法，可以确定插座相对于相机针孔的位置和/或取向。
[0060]在图
1a和图
1b中，例如，可以选择十字x的中心或箭头a和轴线c的交叉点作为光学重力点。
[0061]图
2a-图
2c均示出了
2d相机
20，该
2d相机
20
具有包括观察线的相机视野
21，每条观察线在围绕源自相机针孔
27的中心观察线
26的最大角度
β
偏差内围绕所述中心观察线
26延伸，适于提供垂直于所述中心观察线的焦平面的
2d图像。
尽管在所有情况下，中心观察线
26和从相机针孔
27到插座上的光学重力点
28的瞄准线之间的相机角度
γ
是不同的，但是瞄准线
22总是平行于用于将充电连接器插入插座的插入方向
24。
[0062]图
3a-图
3c示出了类似的情况，但是现在具有其中在瞄准线
26和插入方向
24之间获得角度
δ
的取向。
这种情况与图
1b相当，并且允许用
3d位姿估计算法来确定插座位置和取向。
[0063]图
4a-图
4c示出了根据本发明的用于确定电动交通工具
31的插座
30
的位置和取向的方法的后续步骤，插座
31适于使充电连接器
32在具有唯一插入取向的唯一插入位置
33且沿唯一插入方向
34插入，并且插座具有带有具有光学重力点
35的前部。
提供
2d相机
36，其具有关于用于电动交通工具
31的充电位置l的视野。2d相机具有包括观察线的相机视野，每条观察线在围绕源自相机针孔的中心观察线的最大角度偏差内围绕所述中心观察线延伸(参见图
2a、图
2b、图
2c和图
3a、图
3b、图
3c，关于这些附图的术语的定义也适用于图
4a-图
4c中描述的情况)，适于提供其中焦点在垂直于所述中心观察线的平面上的
2d图像。
通过在方向
37上移动交通工具
31，插座
30
被置于所述相机视野内。
作为下一步，相机
36在箭头
40
的方向上移动，使得穿过插座上的光学重力点的观察线
38、39(瞄准线)与插入方向
34成一角度。
在图
4b中，瞄准线
38还不是这种情况，但是在图
4c中，在使相机在方向
40
上移动之后，瞄准线
39是这种情况。
作为下一步，用相机
36观察插座
30
并获得
2d图像，以用于用
3d位姿估计算法
进行分析，从而获得插座相对于相机针孔
41的位置和/或取向。
作为下一步，充电连接器
32可以基于其确定的取向和位置自动插入插座
30。
[0064]上述实施例仅是示例，并不限制随附的权利要求中限定的本发明的保护范围。