基于3D激光雷达的道路划线方法及划线机器人与流程

基于3d激光雷达的道路划线方法及划线机器人
技术领域
1.本技术涉及划线机器人，具体地，涉及基于3d激光雷达确定道路边缘位置的道路划线方法及划线机器人。


背景技术：

2.交通道路上需要涂画多种交通标志线。通常道路划线以人工推着手动划线车完成。划线工程中需要确定准备的划线位置，整体划线过程效率低、速度慢。
3.已经出现了利用信息技术辅助道路划线的技术。例如，(1)中国专利申请202011591274.4(高速公路无人驾驶自动划线车)提供了一种高速公路无人驾驶自动划线车，通过图像识别巡线系统，识别并循迹待划线区域放样水线，控制划线车移动。此方法中，放样水线为划线车提供巡线参考，需要他施工人员或工具车辆辅助设置。(2)中国专利申请202210793834.7(一种自动划线机器人集群系统)提供了人工划线机与自动划线机的协同工作系统。人工划线机，用于人工操作划线以及记录划线相关的速度、经纬度和航向信息，并利用记录的信息控制启动自动划线机。自动划线机同步将记录的信息传输至所述人工划线机，并接收人工划线机的控制信息。此系统，自动划线机也需人工划线机的控制信息辅助，无法实现完全自动化。(3)中国专利申请202010191709.x(一种道路自动划线车)提供了一种自动划线车，车架前后端装有gps和陀螺仪。划线车行进过程中通过陀螺仪开启补偿，按照前后gps接收到的位置信息差分保证划线车行进方向。该方法完全依赖gps的定位精度，当gps信号受到附近环境阻碍干扰时，定位效果会明显变差。
4.(4)中国专利申请202111635062.6(一种全自动道路划线系统及全自动道路划线方法)提供了一种全自动道路划线系统。其使用rtk差分技术获得高精度定位坐标信息和速度信息并将其发送至主控单元生成规划线。ai视觉识别分析模块用于分析划出的线是否有效，当判断是否需要返工重新划线。该方法严重依赖rtk-gps的定位精度与效果，当信号被干扰或者无法接收时，系统将无法工作。
5.云台是通常用来将光学测量仪器与固定支架连接的转向轴。(5)中国专利申请202210955312.2(搭载云台的斜侧装无人机毫米波雷达避障和定高方法)提供了一种搭载云台的斜侧装无人机毫米波雷达避障和定高方法，云台用于防止雷达平台跟着无人机姿态倾斜，实时保持雷达波束照射方向与飞行方向一致。


技术实现要素：

6.前述专利申请(1)与(2)需要他施工人员或工具车辆辅助操作。一方面，效率相对较低，精度不足，还增加了划线作业的成本；另一方面，如在半封路的情况下需要人员在路面操作，会增加划线施工过程中的安全隐患。前述专利申请(3)与(4)严重依赖gps或rtk-gps的定位精度。当定位信号受到环境干扰，比如遮挡物、云层、山体等干扰时，会发生偏移，甚至在部分地区可能发生无法正常进行定位的情况。导致自动划线系统整体失效。专利申请(5)主要用于维持飞行姿态，无法用来自动的规划无人机行驶轨迹。
7.本技术希望提供一种划线机器人，自动识别道路环境并确定划线位置。由于道路具有多样性，例如道路设施不同、宽度不同、平整度不同、倾斜角度可能变化、周围环境各异，希望所提供的划线机器人具有通用性，能适用于各种道路。
8.划线机器人需要涂绘的标志线的位置依赖于道路的位置，特别是依赖于道路两侧边缘(称为道路边缘)的位置。例如，双车道道路，要涂绘的车道线位于两侧道路边缘的中线上，到两侧道路边缘的距离始终相等。又例如，对于多车道道路，依据道路边缘能够确定道路宽度，进而确定各车道的位置，并能够在车道内或车道边缘确定交通标志线的位置。从而确定道路边缘成为划线机器人要解决的关键问题。
9.划线机器人还需要针对划线业务自动生成行驶轨迹，需要面对以下一些场景下的挑战：
10.(1)3d多线激光雷达的成本与其线数相关。3d多线激光雷达的线数从16线到128线(或更高)，其线数越多，在垂直于地面的纵向扫描的分辨率越高，但其价格也呈倍数增长。所以，出于对产品成本的考量，很多应用常使用16线或32线激光雷达。以16线激光雷达为例，通常相邻激光射线在垂直地面方向的夹角为2度。我国现有高度公路一般双向不超过8车道，每车道宽3.75米。当划线机器人工作时可参考路面中央隔离带或道路边缘，当与可参考的道路边缘相距4车道时，距离约为15米，此时相邻激光线在道路边缘的入射位置在垂直于地面方向上的间隔超过0.5米。在道路边缘通常设有路肩、路缘石或绿篱。但当相邻激光线间隔超过0.5米时，很有可能因为无法扫描到用于参考的隔离带或者道路边缘，或者仅有极少的扫描点，导致无法识别道路边缘。
11.(2)道路路面在行驶中可能发生转向、高度起伏与坡度变化。划线机器人需要行驶过程中，始终保持对道路边缘或用于参考的隔离带获取足够数量的扫描点，以保证持续生成稳定的行驶轨迹。
12.(3)道路路口处环境相对复杂，道路边缘或隔离带处可能断开，需要保持所识别的道路边缘轨迹连续，不受到复杂路况的影响。
13.(4)当路面完全无可参考的道路边缘或隔离带时，需要参考先前路面划线，或者人工划线生成行驶轨迹。
14.本技术的目的为提出适用于多种道路的通用的道路划线的全自动智能感知系统。通过置于云台上的3d多线激光雷达与图像传感器，对路面进行精确的3d建模与测量，自动生成机器人的划线轨迹，节省人力，提高施工效率与安全性。此外，通过云台智能的主动调节雷达姿态，实现可使用低成本多线雷达，对场景进行精细感知，并在划线中适应路况环境的变化。
15.根据本技术第一方面，提供了根据本技术第一方面的第一道路划线方法，包括：通过3d激光雷达扫描空间环境，得到代表空间环境的点云；对所述点云分类，区分代表道路的地面点集与代表道路边缘的道路边缘点集；根据所述地面点集拟合地平面；将道路边缘点集投影到地平面得到投影点集；根据所述投影点集拟合道路边缘与地平面的交线；根据同所述交线的相对位置确定要在道路上划线的轨迹，驱动划线车辆沿所述轨迹行驶并划线。
16.根据本技术第一方面的第一道路划线方法，提供了根据本技术第一方面的第二道路划线方法，其中所述划线车辆通过云台承载所述3d激光雷达，其中所述3d激光雷达可绕自身的轴线旋转以通过激光扫描环境空间，所述云台可改变所述3d激光雷达的俯仰角与横
滚角；所述3d激光雷达是多线激光雷达。
17.根据本技术第一方面的第一或第二道路划线方法，提供了根据本技术第一方面的第三道路划线方法，还包括：为获得道路边缘点集，驱动所述云台调整所述3d激光雷达的俯仰角和/或横滚角，以使得所述3d激光雷达的出射激光所形成的扫描线同道路边缘相交；以及其中，通过3d激光雷达扫描空间环境时持续改变所述3d激光雷达的俯仰角和/或横滚角。
18.根据本技术第一方面的第三道路划线方法，提供了根据本技术第一方面的第四道路划线方法，还包括：通过3d激光雷达扫描空间环境时，若识别出所述3d激光雷达的出射激光所形成的第一扫描线上同时存在代表所述道路所在的地面的点与代表所述道路边缘的点，在第一方向调整所述3d激光雷达的俯仰角和/或横滚角；若所述第一扫描线上代表所述道路边缘的点的数量减少，则在同所述第一方向相反的第二方向调整所述3d激光雷达的俯仰角和/或横滚角，以增加所述道路边缘点集中点的数量。
19.根据本技术第一方面的第四道路划线方法，提供了根据本技术第一方面的第五道路划线方法，还包括：所述划线车辆还承载图像传感器；通过所述图像传感器获取环境空间的图像，从图像中识别所述道路边缘；以及根据从图像中识别的所述道路边缘相对所述划线车辆的位置关系调整所述3d激光雷达的俯仰角和/或横滚角，以增加所述道路边缘点集中点的数量。
20.根据本技术第一方面的第一至第五道路划线方法之一，提供了根据本技术第一方面的第六道路划线方法，其中根据所述地面点集拟合地平面包括，根据地面点集中多个点的坐标求解表达所述道路所属的地平面的平面方程ax+by+cz+d＝0，寻找使误差eg＝∑(axi+byi+czi+d)2取最小值的参数a、b、c与d；根据所述投影点集拟合代表道路边缘与地平面的交线包括，根据投影点集中多个点的坐标求解表达交线的曲线方程v＝mu3+nu2+pu+q，寻找使误差eb＝∑(mu
i3
+nu
i2
+pui+q-vi)2取最小值的参数m、n、p与q。
21.根据本技术第一方面的第一至第六道路划线方法之一，提供了根据本技术第一方面的第七道路划线方法，其中，若根据所述地面点集拟合地平面失败，和/或根据所述投影点集拟合代表道路边缘与地平面的交线失败，所述方法还包括：根据图像传感器采集道路的图像，从采集的图像中识别所述道路上已经存在的车道线；根据同所述存在的车道线的相对位置确定要在道路上划线的轨迹。
22.根据本技术第一方面的第一至第七道路划线方法之一，提供了根据本技术第一方面的第八道路划线方法，其中所述划线车辆的工作状态包括建模状态、3d巡线状态与ai巡线状态；在所述建模状态，所述划线车辆通过驱动云台使所述3d激光雷达扫描周围环境期间处于多种俯仰角和/或横滚角，并通过所述3d激光雷达采集的点云拟合道路边缘与地平面的交线；若拟合道路边缘与地平面的交线成功，所述划线车辆进入3d巡线状态；若拟合道路边缘与地平面的交线失败，而从通过图像传感器采集的图像中识别所述道路上已经存在的车道线成功，所述划线车辆进入ai巡线状态；在所述3d巡线状态，通过所述3d激光雷达采集点云并更新所拟合的道路边缘与地平面的交线，以及更新划线车辆的行驶轨迹，以及驱动划线车辆沿更新的所述轨迹行驶并划线；在所述ai巡线状态，通过所述图像传感器采集图像并更新识别的车道线，以及更新划线车辆的行驶轨迹，以及驱动划线车辆沿更新的所述轨迹行驶并划线。
23.根据本技术第一方面的第八道路划线方法，提供了根据本技术第一方面的第九道
路划线方法，其中在所述3d巡线状态，还根据所述3d激光雷达所采集的点云中的道路边缘点集中数据点的分布情况，通过所述云台相应调整所述3d激光雷达的俯仰角和/或横滚角，以保证道路边缘点集中有足够的数据点。
24.根据本技术的第二方面，提供了划线机器人，包括底盘、云台、3d激光雷达、图像传感器、以及信息处理设备，所述信息处理设备包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述底盘通过所述云台承载所述3d激光雷达；其特征在于，所述处理器执行所述程序时实现根据本技术第一方面的第一至第九道路划线方法之一。
25.根据本技术的第三方面，提供了信息处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现根据本技术第一方面的方法之一。
附图说明
26.当连同附图阅读时，通过参考后面对示出性的实施例的详细描述，将最佳地理解本技术以及优选的使用模式和其进一步的目的和优点，其中附图包括：
27.图1展示了根据本技术实施例的基于激光雷达检测道路边缘的示意图；
28.图2展示了划线机器人的感知系统的示意图；
29.图3展示了根据本技术实施例划线机器人确定划线位置的示意图；
30.图4a与图4b展示了根据本技术实施例确定道路边缘的示意图；
31.图5展示了根据本技术实施例的划线机器人调节云台的示意图；
32.图6展示了根据本技术实施例的划线机器人确定道路边缘以及待划线位置的方法的流程图；以及
33.图7展示了根据本技术又一实施例的划线机器人确定道路边缘以及待划线位置的方法的流程图。
具体实施方式
34.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本技术的限制。
35.图1展示了根据本技术实施例的基于激光雷达检测道路边缘的示意图。
36.参看图1，激光雷达100被载具携带在道路120上行驶。图1展示的是道路120的横断面。载具是例如划线机器人或携带了在道路上涂绘交通标志线的装置的车辆。道路边缘140包括用于将道路同120同周围环境分隔开的路肩或隔离带。将垂直于地面向上的方向定义为z轴正方向。
37.激光雷达100是例如3d多线激光雷达。图1中还展示了激光雷达100工作时向周围发出的多条激光。多条激光相对于水平方向具有不同的角度。激光雷达100通过自身旋转，使得发出的多条激光各自形成扫描线。激光遇到物体(例如，地面或道路边缘)被发射，反射光被激光雷达100采集。激光雷达100采集反射光得到反映了周围环境的点云。
38.图2展示了划线机器人的感知系统的示意图。
39.作为举例，划线机器人200包括车轮、图像传感器240、云台220以及激光雷达210。
激光雷达210被设置在云台220上。云台与划线机器人200的本体固定。通过云台220，使得激光雷达210除了绕自身的z轴旋转(这里将激光雷达自身的旋转轴称为雷达坐标系的z轴)，还可绕另外2轴旋转(例如，俯仰与横滚)。激光雷达210是例如3d多线激光雷达。图像传感器240用采集划线机器人200周围的环境场景的图像或视频。以及划线机器人200还包括信息处理设备(未示出)，用于处理图像传感器240采集的图像，控制云台旋转、控制激光雷达210工作，以及处理激光雷达210采集的点云数据。划线机器人200的信息处理设备还处理根据本技术实施例的确定道路边缘的方法，以及驱动划线机器人图绘交通标志线或其他线条。
40.可选地，图像传感器240位于划线机器人200的前部，以便于采集划线机器人前进方向的图像。激光雷达210位于划线机器人200的前部侧面，以便于采集划线机器人前进方向的点云，并且减少划线机器人自身对激光雷达210所发射激光的阻挡。依然可选地，将图像传感器240与激光雷达210设置于划线机器人顶部(远离地面的方向)。
41.图3展示了根据本技术实施例划线机器人确定划线位置的示意图。
42.图3是道路320的俯视图。划线机器人300沿道路320前进。将划线机器人300前进方向(箭头方向)定义为划线机器人坐标系的x轴正方向，在道路平面上同x轴垂直的方向为划线机器人坐标系的y轴，向左为y轴正方向。随着划线机器人300前进，在道路320上涂绘例如交通标志线360。道路包括左侧道路边缘340与右侧道路边缘342。划线机器人300根据自身相对于道路边缘(340、342)的距离确定行驶轨迹与涂绘交通标志线360的位置。例如，在图3的例子中，划线机器人300到道路边缘340的距离记为vl，到道路边缘342的距离记为vr，划线机器人300根据距离vl和/或距离vr，确定道路320要划线的位置(例如道路的中线，或者与道路边缘相距指定距离的位置)，并沿道路320的中线行驶与划线。
43.图4a与图4b展示了根据本技术实施例确定道路边缘的示意图。
44.参看图4a，划线机器人300沿道路320行驶。划线机器人携带3d多线激光雷达。激光雷达向周围发射多线激光，并采集反射光所形成的点云。多线激光各自具有发射角度，从而一些激光射向地面(道路320所在的平面)，而一些激光射向道路边缘340或越过道路边缘340。
45.根据本技术的实施例，对激光雷达采集的点云分类，以得到代表地面(道路320所在平面)的点集(地面点集360)与代表道路边缘340的点集(道路边缘点集362)。可使用多种已有算法，对点云进行分类，以区分地面点集与道路边缘点集，例如，fast ground segmentation for 3d lidar point cloud based on jump-convolution-process，remote sensing 2021；patchwork:concentric zone-based region-wise ground segmentation with ground likelihood estimation using a 3d lidar sensor",which is accepted by ra-l with iros'21。
46.使用地面点集360拟合划线机器人300所在道路320所处的地平面322，得到表达地平面322的平面方程。作为举例，表达地平面322的平面方程形如ax+by+cz+d＝0，通过地面点集360中各点的坐标求解参数a、b、c与d。例如，使用最小二乘方法求使误差eg＝∑(axi+byi+czi+d)2取最小值的参数a、b、c与d。
47.将道路边缘点集362中的点投影到求解出的地平面322，得到投影点集364。投影点集364中的各点的空间坐标在竖直方向(垂直于地面的方向)均为0，并可被忽略，从而投影点集364中的点的坐标可记为s＝{(ui,vi)}，其中，u为点在车正前方向(x轴，也参看图4b)的
投影值，vi表示点在车正左方(y轴，也参看图4b)的投影值。
48.使用投影点集364拟合道路边缘340与地平面322的交线，得到表达交线的曲线方程。作为举例，表达交线的曲线方程形如v＝mu3+nu2+pu+q。通过投影点集364中的点的坐标求解参数m、n、p与q。例如，使用最小二乘方法求使误差eb＝∑(mu
i3
+nu
i2
+pui+q-vi)2取最小值的参数m、n、p与q。可选地，用二次方程(例如，v＝nu2+pu+q)，或直线方程(例如，v＝pu+q)表达道路边缘340与地平面322的交线。
49.可选地或进一步地，检查拟合误差eb，若拟合误差eb小于指定阈值，则认为表达交线的曲线方程拟合成功。
50.参看图4b(道路320的俯视图)，地面点集360’对应图4a中的地面点集360，投影点集364’对应图4a中的投影点集364。从图4b中，能更清晰地看到地面点集360’分布于一个平面，并且该平面同地平面322重合，因而通过地面点集360’适于拟合地平面322；以及投影点集364’分布于一条曲线(直线)，该曲线同道路边缘340重合，因而通过投影点集364’适于拟合道路边缘340与地平面所形成的曲线。
51.可选地，用类似的方法拟合划线机器人300所在道路的道路边缘342与地平面所形成的曲线。表达道路左侧道路边缘342和/或右侧道路边缘340的曲线都可用于确定要在道路320上划线的位置(例如，在道路左侧道路边缘342与右侧道路边缘340对应点的中点涂画车道线)，进而确定划线机器人300的行驶路线。可选地，在表达左侧道路边缘342与右侧道路边缘340的曲线都拟合成功的情况下，使用误差较小一侧的拟合结果来确定划线位置与行驶路线。
52.根据本技术的实施例，通过道路边缘点集340在地面的投影点集364来拟合道路边缘同地面的交线来代表道路边缘，从而可适用于多种形态的道路边缘。不论道路边缘为路肩、路缘石、绿篱、护栏，都能得到道路边缘同地面的交线。进一步地，表达交线的曲线在地平面322上延伸，从而即使因路口、护栏缺损、被遮挡等原因导致道路边缘的实体结构存在缺失，也能通过表达交线的曲线方程估计交线在划线机器人前方出现的位置，从而随着划线机器人行驶越过道路边缘的实体结构缺失区段，激光雷达得以再次捕获道路边缘点集，并更新所拟合的代表交线的曲线。
53.可以理解地，即使道路边缘的实体结构不存在缺失，根据本技术实施例的划线机器人也可选地在行驶过程中持续地通过激光雷达采集点云并更新表达地面的平面方程以及表达交线的曲线方程。进而持续更新涂画车道线的位置与划线机器人的行驶路线。
54.返回参看图4a，在激光雷达的线数少、划线机器人距离道路边缘340距离远、路肩高度低、车辆通过路口等因素作用下，激光雷达所采集的点云中，道路边缘点集362中扫描点的数量可能较少，从而影响拟合道路边缘340与地平面322的交线的曲线方程的准确性。根据本技术的实施例，还通过调整云台的俯仰和/或滚转(横滚)角度来调整3d多线激光雷达的姿态，以使得道路边缘点集362中有尽可能多的扫描点。
55.为了清楚的目的，激光雷达自身旋转时所绕的轴称为雷达坐标系的z轴，雷达坐标系的x轴指向雷达自身正前方，雷达坐标系的y轴指向雷达自身正左侧。通过云台带动激光雷达横滚和/或俯仰。云台的俯仰角是雷达坐标系的x轴与其在水平面上投影的夹角，云台的横滚角是雷达坐标系的y轴与其在水平面的投影间的夹角。在激光雷达的初始位置或零位置，雷达坐标系与划线机器人坐标系的三轴例如分别重合。
56.图5展示了根据本技术实施例的划线机器人调节云台的示意图。
57.图5的视角位于道路520的侧上方。划线机器人500的激光雷达绕自身旋转，所发射的激光的扫描线在地面520、道路边缘以及周围空间中形成类似多个同心椭圆的形状(椭圆510、512与514)。当云台倾斜(其竖直轴同z轴不重合，而存在一定夹角)，椭圆(510、512与514)所在平面与道路所在的地平面不平行，进而一些椭圆(例如，同心椭圆512、514)的部分位于地面520，而另一部分位于道路边缘。椭圆位于道路边缘的部分为道路边缘点集贡献扫描点。从而通过使云台倾斜，有助于提高激光雷达的扫描线同道路边缘相交的概率。
58.根据本技术的实施例，通过持续地驱动云台，带动3d激光雷达在俯仰方向和/或横滚方向倾斜，改变倾斜角度，来使激光雷达采集的点云中有更多的点属于道路边缘点集。
59.可选地，或进一步地，还评估所采集的点云中的道路边缘点云的分布情况。相应调整云台俯仰与横滚角度，以保证尽可能多的扫描点可集中于道路边缘区域附近。如发现激光雷达的某条扫描线(例如，椭圆512)上同时存在道路边缘点与路面点，则说明这条扫描线与道路边缘相交。通过驱动云台改变激光雷达相对于道路边缘的仰角(使云台俯仰和/或横滚)，以获取更多的道路边缘点。依然可选地，在改变激光雷达相对于道路边缘的仰角后，如果下一次评估后发现，道路边缘的扫描点反而减少，则说明可能已有更多的扫描点超出了道路边缘高度，这时可以少量降低雷达相对于道路边缘的仰角，以获得道路边缘的更多的扫描点。
60.可选地，或依然进一步地，通过划线机器人500携带的图像传感器观测道路边缘，通过例如深度学习方法从图像传感器采集的图像中识别隔离带区域与高度，并相应调整激光雷达的云台角度，以获得道路边缘的更多的扫描点。
61.根据本技术的实施例，对于多种非常规平直道路状况，划线机器人都可以保证平稳的识别道路边缘并生成划线机器人的未来的移动轨迹。
62.(1)在道路发生转向时：由于划线机器人的3d激光雷达持续获得周围环境的更新的点云，所以始终会使用当前道路更新的点云进行代表道路边缘与地平面交线的曲线方程更新。当道路发生转向时，激光雷达会采集到转向后的道路边缘的点云，代表交线的曲线方程拟合结果也会相应改变或更新。
63.(2)在道路发生高度起伏与坡度变化时：由于划线机器人的3d激光雷达持续扫描其附近地面并更新所拟合的地平面的平面方程，并同步修正道路边缘点集在当前路面的投影点集，所以划线机器人仍可在保持在以当前地面(发生了高度起伏与坡度变化的地面)为更新的地平面的基础上，准确拟合代表交线的曲线方程，进而规划划线机器人的移动路线以与道路边缘保持稳定的距离。
64.(3)在道路路口：由于3d激光雷达的扫描范围可以达到划线机器人前后各100米或以上(该距离足以覆盖路口造成的道路边缘缺失区域)，所以即使在路口等非连续路段，划线机器人仍可以获得大量的道路边缘点集用于更新代表交线的曲线方程并生成行驶路线(除非当前路况为开阔地形，即200米范围以上无明显可用于参考的道路边缘)。
65.(4)在无明显道路边缘的区域：划线机器人通过图像传感器识别道路的参考线(例如道路上已存在的车道线)并进而确定自身的行驶路线，所以仍可保证行驶路线与涂刷位置准确且稳定。
66.图6展示了根据本技术实施例的划线机器人确定道路边缘以及待划线位置的方法
的流程图。
67.划线机器人携带3d激光雷达，在道路上行驶。图6所展示的处理流程由划线机器人的信息处理设备和/或通过网络访问的远端信息处理设备执行。
68.通过3d激光雷达扫描周围环境，获取点云数据。对点云分类，区分出点云中由地面反射激光所形成的地面点集与由道路边缘反射激光所形成的道路边缘点集。根据地面点集中的多个点拟合出地面点集所代表的地平面的平面方程。将道路边缘点集中的点投影到拟合出的地平面，得到在地平面上的投影点集。根据投影点集中的多个点集合出道路边缘与地平面的交线的曲线方程。所拟合的曲线方程代表道路边缘的位置。以及根据道路边缘的位置确定划线机器人要涂画的交通标志线的位置以及划线机器人的行驶路线。
69.可以理解地，随着划线机器人行驶，图6所展示的流程被重复执行。从而3d激光雷达不断采集划线机器人位置改变后周围空间变化的环境中的点云，并相应更新地平面的平面方程与表达道路边缘与所拟合的地平面的交线的曲线方程。从而即使道路上下起伏、高度发生变化、道路转向等情况发生，新采集的点云能反映划线机器人当前所处道路的地平面及道路边缘，并进而确定正确的划线位置与接下来的行驶路线。
70.图7展示了根据本技术又一实施例的划线机器人确定道路边缘以及待划线位置的方法的流程图。
71.在图7的实施例中，划线机器人工作中可处于3种状态，包括建模状态、3d巡线状态与ai巡线状态。
72.划线机器人启动后进入建模状态，在建模状态，通过3d激光雷达扫描周围环境，累积点云并拟合地平面的平面方程与代表道路边缘的曲线方程。
73.例如，划线机器人通过转动云台，带动3d激光雷达在俯仰方向与横滚方向发生倾斜。可以理解地，3d激光雷达也发生在偏航方向的转动，在偏航方向的转动可由3d激光雷达自身完成，也可由云台带动激光雷达完成。云台通过转动来遍历多种姿态，来调整3d激光雷达的出射激光在空间中的分布。
74.云台的转动可使用不同遍历策略：如俯仰角度与横滚角度均匀速控制，或使用三角函数进行角度控制：
75.俯仰倾斜角＝p
r sin(w
p
t),其中pr为俯仰扫描幅度，w
p
为扫描速度，t为时间；
76.横滚倾斜角＝r
r sin(wrt)，rr为横滚扫描幅度，wr为扫描速度，t为时间。
77.通过调节w
p
，wr的不同取值，可使激光雷达获得不同的扫描轨迹与扫描速度。
78.通过累积不同时刻云台旋转姿态与相应雷达的扫描点云，可构建当前环境的稠密3d点云。对稠密点云进行分类与拟合，区分出地面点集与道路边缘点集，继而识别地平面与车体两侧的道路边缘。
79.也参看图5，通过调整俯仰倾斜角与横滚倾斜角，有助于激光雷达形成的扫描线(图5的椭圆510、512与514)的各点在竖直方向(z轴)上具有不同的位置，从而增加所采集的道路边缘点集中的点的数量，来解决扫描线形成的椭圆同地平面大体平行时各扫描线在竖直方向上间隔过大而无法扫描到道路边缘的问题。在道路边缘的形态不同或发生改变时(例如，具有不同的高度、形状等)，扫描的点云中表达道路边缘的点可能丢失，通过调整云台的俯仰倾斜角与横滚倾斜角，也有助于重新扫描到道路边缘。
80.可选地，在建模状态划线机器人停止前进或低速前进，以构建所在环境的稠密3d
点云，通过基于3d激光雷达的持续扫描累积点云，特别是累积代表道路边缘区域的点云，以提高道路边缘的拟合成功率。避免因一些路况激光雷达临时遗漏环境特征导致的对道路边缘识别的变差，增加对道路边缘识别的可靠性与稳定性。
81.返回参看图7，如成功通过3d点云成功识别并拟合表达道路边缘与地平面的交线的曲线(710)，则划线机器人进入3d巡线状态(730)；否则，使用划线机器人所携带的图像传感器捕捉前方道路图像，通过深度学习方法进行车道线检测(720)。
82.可采用已经存在或将来开发的基于深度学习的车道线检测方法。已有的基于深度学习的车道线检测方法包括，例如，ultra fast structure-aware deep lane detection，eccv，2020；以及polylanenet:lane estimation via deep polynomial regression，icpr 2020。
83.如基于道路图像通过深度学习方法成功检测到车道线(720)，则划线机器人进入ai巡线状态(740)；否则划线机器人停止自动划线任务。
84.可选地，步骤720中，利用深度学习方法所检测的是道路上已经存在的车道线。以及在ai巡线状态，划线机器人根据车道线确定要涂刷的线条和/或确定自身的行驶路线。可选地，划线机器人向用户呈现所识别的车道线，并等待用户指定需要参考的车道线，来确定要涂刷的线条和/或确定自身的行驶路线。
85.在进入3d巡线状态(730)后，划线机器人已确定目标道路边缘，进而根据道路边缘确定自身的行驶轨迹，例如使自身保持在沿道路中线行驶。
86.随着划线机器人前进，划线机器人附近地面的状况可能变化，例如地面发生侧向倾斜、爬坡、下坡等，划线机器人的行驶轨迹需要适应地面的状况变化。可选地或进一步地，划线机器人还在行驶过程中，反复重新计算道路边缘区域内点云在机器人附近地面上投影，并拟合生成机器人行驶轨迹，这样生成的轨迹始终保持在机器人坐标系的精确度不受路面倾斜、起伏的影响。
87.划线机器人根据生成的行驶轨迹，向底盘发送控制信号，驱动自身沿行驶轨迹前进(732)。随着划线机器人前进，若需要继续划线(例如，划线任务尚未完成，或用户未给出停止命令)，3d激光雷达持续采集周围环境的点云，并尽力获取更多的代表道路边缘与地面的点云。
88.划线机器人前进后，根据3d激光雷达的最新扫描结果，评估道路边缘点云的分布情况，调整云台俯仰与横滚角度，以保证尽可能多的扫描点可集中于道路边缘区域附近。评估的依据包括例如：
89.(1)多线激光雷达在工作时，可以获得多条连续的扫描线。如发现某条扫描线上同时存在道路边缘点与路面点，则说明这条扫描线与道路边缘相交。云台相应地通过略抬起激光雷达相对于路边缘的仰角，以获取更多的道路边缘点。如果下一次评估后发现，道路边缘的扫描点反而减少，则说明该扫描线已有更多的扫描点超出了道路边缘高度，这时少量降低雷达相对于路边缘仰角。
90.(2)使用划线机器人携带的图像传感器观测道路边缘，通过深度学习方法识别道路边缘(例如隔离带)区域与高度，并纠正3d激光雷达的云台角度，保证尽可能多的扫描点可集中于道路边缘区域附近。
91.在3d巡线状态，通过持续更新点云，使得划线机器人能自适应公路的转向、高度起
伏、坡度变化和/或道路边缘逐渐改变的情况，提高道路边缘识别与行驶轨迹确定的可靠与稳定。
92.根据3d激光雷达获得的更新的点云，划线机器人还重新拟合道路边缘(736)。若道路边缘拟合成功，划线机器人保持在3d巡线状态，以及返回步骤730继续图7所展示的处理流程。若道路边缘拟合失败，划线机器人返回建模状态来尝试识别道路边缘。可选地，在建模状态，划线机器人停止移动或低速移动，以避免错误划线。
93.在ai巡线状态(740)，划线机器人通过图像传感器捕捉前方图像，使用基于深度学习的方法识别需要参考的车道线，并生成行驶轨迹。根据生成的行驶轨迹，向底盘发送控制信号，驱动自身沿行驶轨迹前进(742)。若需要继续划线，划线机器人持续捕捉环境图像，并更新所识别的道路边缘(746)。若道路边缘更新失败，划线机器人返回建模状态。
94.可选地，在ai巡线状态，3d激光雷达持续工作采集周围环境的点云，以及尝试基于点云拟合道路边缘。在基于点云确定道路边缘后，从ai巡线状态退出并进入3d巡线状态。
95.根据本技术的实施例，使用置于巡线机器人的云台上的3d激光雷达、图像传感器进行环境信息采集。不依靠gps，rtk-gps等卫星定位系统，避免了定位精度受到环境影响或部分地区无法定位导致的系统失效。通过主动控制3d激光雷达的倾斜角度，获取尽可能多的、需要关注的扫描特征(例如同道路边缘相关的特征)，从而可以使用更低线数(例如，16线、32线)的激光雷达，极大降低了产品的成本。
96.根据本技术的实施例支持在多种路况环境下进行划线的施工作业，包括：有隔离带的公路，无隔离带但有较明显道路边缘特征的道路，道路岔口。并在无明显地形特征的情况下，可使用ai巡线方法，依靠视图像传感器，参考其他已有道路线完成划线。
97.根据本技术的实施例可全自动识别环境，生成行驶轨迹，无需人工介入。节省人力同时，极大程度的降低了施工风险。
98.根据本技术的实施例的划线机器人施工时，无需人力操作划线机器人，也无需在划线机器人前方的放线人员，划线过程至少节省2个人力。另一方面也减少了人员在路面上施工带来的安全隐患。
99.根据本技术的实施例提高了划线效率，一般划线机，每车携带100kg涂料，单次划线距离100米，靠人眼比对前方放线，行进速度在1m/s以下。使用本系统的划线机器人，可每车携带500kg涂料，单次划线500米，行进速度在1.5m/s以上。减少加料次数的同时，还提高了行进速度，极大提高施工效率。此外也避免了由于人长时间工作，疲劳等因素造成的失误操作。
100.虽然当前申请参考的示例被描述，其只是为了解释的目的而不是对本技术的限制，对实施方式的改变，增加和/或删除可以被做出而不脱离本技术的范围。
101.这些实施方式所涉及的、从上面描述和相关联的附图中呈现的教导获益的领域中的技术人员将认识到这里记载的本技术的很多修改和其他实施方式。因此，应该理解，本技术不限于公开的具体实施方式，旨在将修改和其他实施方式包括在所附权利要求书的范围内。尽管在这里采用了特定的术语，但是仅在一般意义和描述意义上使用它们并且不是为了限制的目的而使用。