本发明涉及数据处理领域,具体涉及一种轨迹获取方法、轨迹获取装置、存储介质和电子设备。
背景技术:
为了满足日常的生存需求、娱乐需求等,人们需要进行出行活动。每个人在出行过程中均会产生移动轨迹。对于交通及相关行业的从业者,可以根据人们的移动轨迹获取大量的信息,因此如何获取移动轨迹对于交通及相关行业的从业者十分重要。现有的轨迹获取方法需要通过大量的设备(例如,雷达测距装置、图像采集装置等)对人们的移动轨迹进行采集,或者通过定位信息确定人们的移动轨迹。但上述方式的复杂度较高,且对于设备的配置要求较高。
技术实现要素:
有鉴于此,本发明实施例的目的在于提供一种轨迹获取方法、轨迹获取装置、存储介质和电子设备,用于降低确定移动轨迹的复杂度,同时对于设备的配置要求较低。
根据本发明实施例的第一方面,提供一种轨迹获取方法,所述方法包括:
获取待处理图像序列,所述待处理图像序列包括多个待处理图像;
根据至少一个所述待处理图像确定图像采集装置的固有参数;
对各所述待处理图像进行图像识别,确定至少一个目标对象;
根据所述固有参数确定各所述待处理图像中至少一个所述目标对象的第一相对位置,所述第一相对位置用于表征参考设备与所述目标对象在参考设备坐标系下的相对位置,所述参考设备与所述图像采集装置的相对位置保持固定;
根据各所述待处理图像中的所述第一相对位置确定所述目标对象在世界坐标系下的第一移动轨迹。
优选地,所述方法还包括:
确定各所述第一移动轨迹对应的至少一条第二移动轨迹,以在至少一个目标区域内对所述第一移动轨迹进行模拟。
优选地,所述固有参数包括所述图像采集装置的内部参数、外部参数以及畸变参数,所述内部参数用于表征所述图像采集装置的焦距和光轴偏移量,所述外部参数用于表征所述图像采集装置的安装姿态,所述畸变参数用于表征所述图像采集装置的镜头畸变程度;
所述根据至少一个所述待处理图像确定图像采集装置的固有参数包括:
选取至少一个所述待处理图像作为目标图像;
提取所述目标图像中的至少一条边缘线段;
根据至少一条所述边缘线段确定所述内部参数;
根据至少一条所述边缘线段以及所述内部参数确定所述外部参数;
根据至少一条所述边缘线段以及所述内部参数确定所述畸变参数。
优选地,所述根据至少一条所述边缘线段确定所述内部参数包括:
确定各所述目标图像对应的两个第一线段组,所述第一线段组包括至少两条边缘线段,且同一第一线段组内的所述边缘线段的延长线在图像平面坐标系下交于同一消失点,不同第一线段组内的所述边缘线段的延长线两两正交;
分别在各所述目标图像中确定对应的所述第一线段组的所述消失点;
根据各所述消失点确定所述内部参数。
优选地,所述外部参数包括所述图像采集装置的偏航角和俯仰角;
所述根据至少一条所述边缘线段以及所述内部参数确定所述外部参数包括:
根据多条边缘线段确定一个第二线段组,所述第二线段组内的所述边缘线段在图像平面坐标系下交于同一消失点;
确定所述第二线段组对应的消失点;
根据所述消失点以及所述内部参数确定所述外部参数。
优选地,所述根据多条边缘线段确定一个第二线段组包括:
根据各所述边缘线段的线段特征,选取至少两条边缘线段确定为所述第二线段组。
优选地,所述根据至少一条所述边缘线段以及所述内部参数确定所述畸变参数包括:
对所述边缘线段进行线性拟合,确定所述边缘线段在畸变状态下的拟合函数,以确定多个拟合参数;
根据各所述拟合参数以及所述内部参数确定所述畸变参数。
优选地,所述根据各所述待处理图像中至少一个所述目标对象的第一相对位置确定所述目标对象在世界坐标系下的第一移动轨迹包括:
根据各所述待处理图像的时间戳、所述参考设备的定位信息以及所述第一相对位置确定所述目标对象在世界坐标系下对应的第一坐标;
根据各所述第一坐标确定所述第一移动轨迹。
优选地,所述根据所述固有参数确定各所述待处理图像中至少一个所述目标对象的第一相对位置包括:
根据所述固有参数以及第二相对位置确定所述第一相对位置,所述第二相对位置为在各所述待处理图像中所述参考设备与所述图像采集装置在世界坐标系下的相对位置。
优选地,所述根据所述固有参数以及第二相对位置确定所述第一相对位置还包括:
根据各所述第一相对位置确定所述目标对象对应的第二坐标,所述第二坐标为所述目标对象在第二坐标系下的坐标;
根据各所述第二坐标确定所述目标对象在第一坐标系下的三维包围框,所述第二坐标为所述三维包围框内的预定点的坐标,所述第一坐标系为所述参考设备对应的局部坐标系;
根据各所述第二坐标确定对应的所述三维包围框在所述第一坐标系下投影的二维包围框,并确定对应的第三坐标,所述第三坐标为所述目标对象的二维包围框上的预定点的坐标;
根据各所述第二坐标以及对应的所述第三坐标确定补偿坐标;
响应于所述补偿坐标不满足预定条件,根据所述补偿坐标更新所述第二坐标以及对应的所述第三坐标,并根据更新后的所述第二坐标以及更新后的所述第三坐标更新所述补偿坐标;
响应于所述补偿坐标满足所述预定条件,根据更新后的所述第二坐标更新所述第一相对位置。
优选地,所述确定各所述第一移动轨迹对应的至少一条第二移动轨迹包括:
确定所述第一移动轨迹对应的至少一条第一路段以及第一起始位置,所述第一起始位置为所述第一移动轨迹的起始端相对于所述第一路段的位置;
根据各所述第一路段的路段特征,在所述目标区域内确定对应的至少一个第二路段;
根据所述第一起始位置确定至少一个第二起始位置,所述第二起始位置为所述第二移动轨迹的起始端相对于所述第二路段的位置;
根据至少一个所述第二起始位置以及所述第一移动轨迹获取至少一个第二移动轨迹。
根据本发明实施例的第二方面,提供一种轨迹获取装置,所述装置包括:
第一获取单元,用于获取待处理图像序列,所述待处理图像序列包括多个待处理图像;
第一确定单元,用于根据至少一个所述待处理图像确定图像采集装置的固有参数;
第二确定单元,用于对各所述待处理图像进行图像识别,确定至少一个目标对象;
第三确定单元,用于根据所述固有参数确定各所述待处理图像中至少一个所述目标对象的第一相对位置,所述第一相对位置用于表征参考设备与所述目标对象在参考设备坐标系下的相对位置,所述参考设备与所述图像采集装置的相对位置保持固定;
第四确定单元,用于根据各所述待处理图像中的所述第一相对位置确定所述目标对象在世界坐标系下的第一移动轨迹。
根据本发明实施例的第三方面,提供一种计算机可读存储介质,其上存储计算机程序指令,其中,所述计算机程序指令在被处理器执行时实现如第一方面中任一项所述的方法。
根据本发明实施例的第四方面,提供一种电子设备,包括存储器和处理器,其中,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面中任一项所述的方法。
本发明实施例在获取图像采集装置在参考设备移动过程中采集到的待处理图像序列后,根据待处理图像序列中至少一个待处理图像确定图像采集装置的固有参数,同时对各待处理图像进行图像识别,确定至少一个目标对象,进而根据固有参数确定各待处理图像中目标对象在参考设备坐标系下与参考设备的相对位置,从而根据上述相对位置确定目标对象在世界坐标系下的移动轨迹。在本发明实施例中,无需配置测距装置等设备,只需要基于图像采集装置的固有参数以及参考设备的定位信息就可以确定至少一个目标对象的移动轨迹,有效降低了轨迹获取的复杂度,同时对于设备的配置要求较低。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1是本发明实施例的硬件系统架构的示意图;
图2是本发明实施例的轨迹获取方法的示意图;
图3是本发明第一实施例的轨迹获取方法的流程图;
图4是本发明第一实施例的一种可选的实现方式中确定图像采集装置的固有参数的流程图;
图5是本发明第一实施例的一种可选的实现方式中确定内部参数的流程图;
图6是本发明第一实施例的待处理图像以及边缘线段的示意图;
图7是图像采集装置成像的示意图;
图8是本发明第一实施例的一种可选的实现方式中确定外部参数的流程图;
图9是本发明第一实施例的一种可选的实现方式中确定畸变参数的流程图;
图10是本发明第一实施例的车身坐标系的示意图;
图11是本发明第一实施例的一种可选的实现方式中确定第一相对位置的流程图;
图12是本发明第一实施例的一种可选的实现方式中根据第一相对位置确定第二坐标的示意图;
图13是本发明第二实施例的轨迹获取装置的示意图;
图14是本发明第三实施例的电子设备的示意图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质,公知的方法、过程、流程、元件和电路并没有详细叙述。
此外,本领域普通技术人员应当理解,在此提供的附图都是为了说明的目的,并且附图不一定是按比例绘制的。
除非上下文明确要求,否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
对于交通及相关行业的从业者而言,可以根据人们的移动轨迹获取大量的信息,例如,可以利用多条移动轨迹来确定不同位置范围在不同时间范围内的人流量变化情况,利用多条移动轨迹进行交通状况的预测等等。因此如何获取移动轨迹对于交通及相关行业的从业者十分重要。现有的轨迹获取方法需要通过大量的设备(例如,雷达测距装置、图像采集装置等)对人们的移动轨迹进行采集,或者通过定位信息确定人们的移动轨迹。但上述方式的复杂度较高,且对于设备的配置要求较高。
图1是本发明实施例的硬件系统架构的示意图。图1所示的硬件系统架构包括多个参考设备11a、多个参考设备11b、多个图像采集装置12a、多个图像采集装置12b以及至少一个服务器13,图1以一个参考设备11a、一个参考设备11b、一个图像采集装置12a、一个图像采集装置12b以及一个服务器13为例进行说明。图1所示的参考设备11a以及参考设备12b为具有定位功能的设备,具体可以为能够移动的设备,例如车辆、无人机等,也可以为位置固定的设备,例如固定桩等。图像采集装置12a以及图像采集装置12b用于进行图像采集,具体可以为相机、摄像头等。在一种可能的情况中,图像采集装置12a为额外设置的图像采集装置,参考设备11a与图像采集装置12a的相对位置保持固定,具体地,图像采集装置12a可以设置在参考设备11a的上端、下端、左端、右端等,本实施例不做限定。参考设备11a以及图像采集装置12a可以通过网络与服务器13建立通信连接。在另一种可能的情况中,图像采集装置12b为参考设备11b内部设置的图像采集装置,具体可以为行车记录仪。参考设备11b以及图像采集装置12b也可以通过网络与服务器13建立通信连接。
在本发明实施例中,以参考设备和目标对象均为车辆为例进行说明。但是本领域技术人员容易理解,在参考设备为其他设备,目标对象为其他对象,例如行人、非机动车驾驶者等时,同样适用于本实施例的方法。
以参考设备11a图像采集装置12a为例进行说明,在参考设备11a的移动过程中,图像采集装置12a可以采集周围环境的视频(也即,图像序列),并以预定周期向服务器13发送采集到的图像序列。服务器13在接收到图像采集装置12a发送的图像序列后,可以将该图像序列确定为待处理图像序列,并根据待处理图像序列中的至少一个图像确定图像采集装置12a的固有参数。然后对各待处理图像进行图像识别,从而确定至少一个目标对象,并根据图像采集装置12a的固有参数确定各待处理图像中,参考设备11a与目标对象在参考设备坐标系下的相对位置(也即,第一相对位置),从而根据各待处理图像中至少一个目标对象的第一相对位置确定目标对象在世界坐标系下的移动轨迹(也即,第一移动轨迹)。可选地,服务器还可以确定各第一移动轨迹在至少一个目标区域内的移动轨迹(也即,第二移动轨迹),以对第一移动轨迹进行模拟。
图2是本发明实施例的轨迹获取方法的示意图。如图2所示,图像21-图像2n(n为大于等于1的预定整数)为图像采集装置在参考车的移动过程中采集到的待处理图像序列。服务器可以根据图像21-图像2n中的至少一个待处理图像确定图像采集装置的固有参数,并对图像21-图像2n进行图像识别,确定图像21-图像2n中的机动车为目标对象。然后,服务器根据图像采集装置的固有参数确定在图像21-图像2n中参考车与机动车在参考设备坐标系下的相对位置(也即,第一相对位置),进而根据图像21-图像2n对应的第一相对位置确定机动车在世界坐标系下的坐标,也即p21-p2n,从而根据p21-p2n确定机动车在世界坐标系下的第一移动轨迹。
下面通过方法实施例来对本发明实施例的轨迹获取方法进行详细说明。
图3是本发明第一实施例的轨迹获取方法的流程图。如图3所示,本实施例的方法包括如下步骤:
步骤s100,获取待处理图像序列。
在本实施例中,服务器可以获取图像采集装置发送的待处理图像序列。图像采集装置可以设置在参考车的上方,使得图像采集装置与参考车的相对位置保持不变。在参考车的移动过程中,图像采集装置可以对周围环境进行图像采集,并以预定周期向服务器发送在当前周期采集到的图像序列。可选地,为了保证后续轨迹获取的准确性,可以对预定周期的周期长度预先进行设置,例如,设置预定周期的周期长度为30s。在本步骤中,待处理序列可以包括多个时间连续的待处理图像。
容易理解,服务器已知参考车与图像采集装置的对应关系。
步骤s200,根据至少一个待处理图像确定图像采集装置的固有参数。
在步骤中,服务器根据待处理图像就可以确定图像采集装置的固有参数,有效降低了获取图像采集装置的固有参数的复杂度。图像采集装置的固有参数可以包括图像采集装置的内部参数、外部参数以及畸变参数。其中,内部参数用于表征图像采集装置的焦距和光轴偏移量,外部参数用于表征图像采集装置的安装姿态,畸变参数用于表征图像采集装置的镜头畸变程度。
图4是本发明第一实施例的一种可选的实现方式中确定图像采集装置的固有参数的流程图。如图4所示,在本实施例的一种可选的实现方式中,步骤s200可以包括如下步骤:
步骤s210,选取至少一个待处理图像作为目标图像。
在本步骤中,服务器可以根据待确定的固有参数来确定选取预定数量和/或满足预定条件的待处理图像作为目标图像。
步骤s220,提取目标图像中的至少一条边缘线段。
具体地,服务器可以通过各种现有的方式,分别从各目标图像中提取多条边缘线段,并根据各目标图像对应的多条边缘线段确定各目标图像对应的两个第一线段组。例如通过canny边缘检测算法(cannyedgedetector)对待处理图像进行边缘检测,然后通过霍夫变换对边缘线段进行提取,确定各边缘线段的表达式。
步骤s230,根据至少一条边缘线段确定图像采集装置的内部参数。
图5是本发明第一实施例的一种可选的实现方式中确定内部参数的流程图。如图5所示,在本实施例的一种可选的实现方式中,步骤s230可以包括如下步骤:
步骤s231,确定各目标图像对应的两个第一线段组。
图像采集装置的内部参数具体可以包括水平焦距、垂直焦距、光轴水平偏移量以及光轴垂直偏移量共四个参数,因此在本实施例的一种可选的方式中,在确定图像采集装置的内部参数时,服务器需要选取至少四个待处理图像作为目标图像。
服务器可以根据多条边缘线段确定两个第一线段组。两个第一线段组分别包括至少两条边缘线段,且同一第一线段组内的边缘线段的延长线在图像平面坐标系下交于同一消失点,不同第一线段组内的边缘线段的延长线两两正交。容易理解,在图像平面坐标系下,延长线交于同一消失点的边缘线段在世界坐标系下是相互平行的,也就是说,同一第一线段组内的边缘线段在世界坐标系下相互平行。
图6是本发明第一实施例的待处理图像以及边缘线段的示意图。容易理解,图6所示的边缘线段的数量仅仅是示意性的。如图6所示,l1、l2、l3以及l4为在世界坐标系下平行的四条边缘线段,在图像平面坐标系下,l1、l2、l3以及l4交于同一消失点p1;l5、l6以及l7为在世界坐标系下平行的四条边缘线段,在图像平面坐标系下,l5、l6以及l7交于同一消失点p2(图中未示出);同时,l1、l2、l3以及l4与l5、l6以及l7两两正交。服务器可以选择l1、l2、l3以及l4中的至少两条边缘线段确定为一个第一线段组,并选择l5、l6以及l7中的至少两条边缘线段确定为另一个第一线段组。
步骤s232,分别在各目标图像中确定对应的第一线段组的消失点。
在本步骤中,服务器可以根据各第一线段组中各边缘线段的表达式确定各第一线段组在图像平面坐标系下的消失点,也即各目标图像中的两个第一线段组的消失点p1和p2,然后根据各目标图像对应的p1和p2确定在相机坐标系下各目标图像对应的消失点p1∞和p2∞,以及在世界坐标系下各目标图像对应的消失点p1∞和p2∞。具体地,依据相机成像的原理,服务器可以确定p1对应的第一线段组在图像平面坐标系下的消失点p1∞,并确定p2对应的第一线段组在相机坐标系下的消失点p2∞。依据相机坐标系和世界坐标系的转换原理,相机坐标系经过平移以及旋转(也即,根据平移矩阵和旋转矩阵)可以得到世界坐标系,因此服务器可以确定p1∞对应的第一线段组在世界坐标系下的消失点p1∞,并确定p2∞对应的第一线段组在世界坐标系下的消失点p2∞。
图7是图像采集装置成像的示意图。如图7所示,以图像采集装置所在的位置为原点建立相机坐标系0-xyz,其中z为图像采集装置的光轴,以相机坐标系与y轴的交点为原点0’建立图像平面坐标系u0’v。服务器可以根据图像71中的任一点p的坐标与在相机坐标系中对应的点p’的坐标确定图像平面坐标系与相机坐标系的转换关系。从而,服务器可以根据坐标系的转换关系确定消失点p1对应的第一线段组在图像平面坐标系下的消失点p1∞以及消失点p2对应的第一线段组在相机坐标系下的消失点p2∞。
具体地,图像平面坐标系与相机坐标系的转换关系可以通过如下公式表示:
sp=k[r|t]p';
其中,p为图像平面坐标系下的任一点的坐标,p’为p在相机坐标系下对应的点的坐标,s为尺度因子,k为图像采集装置的内部参数矩阵,r为图像平面坐标系与相机坐标系之间的旋转矩阵,t为图像平面坐标系与相机坐标系之间的平移矩阵。
相机坐标系与世界坐标系的转换关系具体可以通过如下公式表示:
k[r|t]p'=kp;
其中,p为p’在世界坐标系下对应的点的坐标。
内部参数矩阵k可以通过如下方式表示:
其中,fx为图像采集装置的水平焦距,fy为图像采集装置的垂直焦距,cx为图像采集装置的光轴水平偏移量,cy为图像采集装置的光轴垂直偏移量。
步骤s233,根据各消失点确定内部参数。
在确定各目标图像对应的、在不同坐标系下的消失点后,服务器可以基于不同坐标系的转换关系以及各目标图像对应的两个小时点确定图像采集装置的内部参数。
具体地,由于不同第一线段组内的边缘线段的延长线两两正交,图像采集装置的光心与同一图像对应的两个消失点的连线是正交的,服务器可以得到光心与两个消失点的连线的正交关系。光心与两个消失点的连线的正交关系可以通过如下公式表示:
其中,
因此,服务器可以根据至少四个目标图像对应的、在相机坐标系下的两个消失点p1∞和p2∞以及在图像平面坐标系下的两个消失点p1和p2以及光心与消失点的连线的正交关系确定图像采集装置的水平焦距、垂直焦距、光轴水平偏移量以及光轴垂直偏移量。
步骤s240,根据至少一条边缘线段以及内部参数确定外部参数。
在确定图像采集装置的内部参数后,服务器可以根据内部参数以及至少一条边缘线段确定图像采集装置的外部参数。
图8是本发明第一实施例的一种可选的实现方式中确定外部参数的流程图。如图8所示,在本实施例的一种可选的实现方式中,步骤s240可以包括如下步骤:
步骤s241,根据多条边缘线段确定一个第二线段组。
图像采集装置的外部参数具体可以包括图像采集装置的俯仰角和偏航角,俯仰角和偏航角用于表征图像采集装置相对于参考车的安装角度。在本步骤中,服务器只需要选取一个待处理图像作为目标图像,从而根据目标图像中的多条边缘线段确定一个第二线段组。第二线段组包括至少两条边缘线段,且边缘线段在图像平面坐标系下交于同一消失点。为了保证参考车与目标图像内的消失点的方向一致,服务器可以根据参考车的定位信息选择参考车沿直线行驶且行驶速度达到预定阈值(例如,30千米/小时)时对应的待处理图像作为目标图像,并根据目标图像中各边缘线段的线段特征选取至少两条边缘线段确定为第二线段组。其中,线段特征可以包括边缘线段的距离图像中心的位置、与相邻边缘线段的距离等;定位信息可以为gps(globalpositioningsystem,全球定位系统)定位信息、北斗卫星导航系统定位信息等,本实施例不做限定。根据上述线段特征,服务器可以选择距离图像中心的位置以及与相邻边缘线段的距离均满足预先设置的条件的两条边缘线,例如选择参考车行驶中的道路两侧的边缘线段确定第二线段组。容易理解,定位信息用于表征参考车在世界坐标系下的位置信息。
步骤s242,确定第二线段组对应的消失点。
在本步骤中,服务器同样可以根据第二线段组中各边缘线段的表达式确定第二线段组在图像平面坐标系下的消失点。
步骤s243,根据消失点以及内部参数确定外部参数。
在图像平面坐标系下,消失点与图像采集装置的俯仰角和偏航角存在一定的关系,具体可以通过如下公式表示:
其中,θpitch为图像采集装置的俯仰角,θyaw为图像采集装置的偏航角,yp1’为第二线段组对应的消失点p1’的纵坐标,xp1’为第二线段组对应的消失点p1’的横坐标。
容易理解,在本实施例中,第一线段组与第二线段组可以为同一线段组,也可以为不同线段组,本实施例不做具体限定。
步骤s250,根据至少一条边缘线段以及内部参数确定畸变参数。
在确定图像采集装置的内部参数后,服务器可以根据内部参数以及至少一条边缘线段确定图像采集装置的畸变参数。
图9是本发明第一实施例的一种可选的实现方式中确定畸变参数的流程图。如图9所示,在本实施例的一种可选的实现方式中,步骤s250可以包括如下步骤:
步骤s251,对边缘线段进行线性拟合,确定边缘线段在畸变状态下的拟合函数,以确定多个拟合参数。
图像采集装置所使用的镜头通常为透镜,在镜头为凸透镜时汇聚光线,在镜头为凹透镜是发散光线,因此通过图像采集装置采集到的图像通常会产生失真的情况,也就是说,在图像平面坐标系下物体的形状等会发生畸变。对于采集到的图像中的任一点,图像采集装置在镜头未发生畸变(也即,未畸变状态下)与发生畸变(也即,畸变状态下)存在对应关系,具体可以通过如下公式表示:
其中,(xu,yu)为未畸变状态下待处理图像内任一点的归一化坐标,(xd,yd)为畸变状态下待处理图像内(xu,yu)的归一化坐标,λ为图像采集装置的畸变参数,
在未畸变状态下,待处理图像中的任一直线(也即,边缘线段)满足如下表达式:
axu+byu+c=0;
在畸变状态下,待处理图像中的任一直线满足如下表达式:
其中,
由上述表达式以及图像采集装置在未畸变状态下与畸变状态下的对应关系,服务器可以对边缘线段进行线性拟合,得到边缘线段在畸变状态下的拟合函数,从而确定拟合参数e,f以及g。
步骤s252,根据各拟合参数以及内部参数确定畸变参数。
服务器根据待处理图像中的任一直线在未畸变状态下的表达式以及在畸变状态下的表达式,可以得到多个拟合参数与畸变参数的关系式,具体可以通过如下公式表示:
由此,服务器可以根据上述关系式以及图像采集装置的内部参数确定图像采集装置的畸变参数。
容易理解,在本实施例的一种可选的实现方式中,根据内部参数以及至少一条边缘线段确定外部参数的过程(也即,步骤s240)与根据内部参数以及至少一条边缘线段确定畸变参数的过程(也即,步骤s250)可以同时进行,也可以先后进行,本实施例不做限定。
步骤s300,对各待处理图像进行图像识别,确定至少一个目标对象。
在本实施例中,目标对象可以为参考车在移动移动过程中周围环境内的任一物体,例如行人、其他机动车或非机动车、道路上设置的路障等,本实施例不做限定。
具体地,服务器可以通过现有的物体检测算法,例如yolo(youonlylookonce,你只看一次)算法、ssd(singleshotmultiboxdetector,单发多盒探测器)算法等对各待处理图像进行图像识别,从而确定待处理图像序列中的至少一个目标对象。
容易理解,在本实施例中,步骤s200和步骤s300可以同时执行,也可以先后执行,本实施例不做限定。
步骤s400,根据固有参数确定各待处理图像中至少一个目标对象的第一相对位置。
在本步骤中,服务器无需通过测距装置,只需要基于图像采集装置的固有参数以及参考设备的定位信息就可以在各待处理图像中确定至少一个目标对象的第一相对位置,有效降低了确定第一相对位置的复杂度,同时对于设备的配置要求较低。在本实施例中,第一相对位置用于表征参考车与目标对象在参考设备坐标系下的相对位置。在参考设备为参考车时,参考设备坐标系也即车身坐标系。在本实施例中,可以以车身上的任一点为原点,以车头方向为x轴,以平行于地面且垂直于x轴的方向为y轴,以垂直于地面的方向为z轴建立车身坐标系。
图10是本发明第一实施例的车身坐标系的示意图。如图10所示,车辆101为参考车,服务器可以以车辆101的车头部中点0c为原点,以车头前进方向xc为为x轴正方向,以平行于地面且垂直于xc向右的方向yc为y轴正方向,以垂直于地面向上的方向zc为z轴正方向,建立车辆101对应的车身坐标系。容易理解,车身坐标系可以随参考车的移动发生位置和/或方向上的改变。
图11是本发明第一实施例的一种可选的实现方式中确定第一相对位置的流程图。如图11所示,在本实施例的一种可选的实现方式中,步骤s400可以包括如下步骤:
步骤s410,根据固有参数以及第二相对位置确定第一相对位置。
在确定车身坐标系后,服务器可以根据图像采集装置的固有参数以及第二相对位置确定各待处理图像中至少一个目标对象的第一相对位置。其中,第二相对位置用于表征参考设备与图像采集装置在世界坐标系下的相对位置,具体可以为安装高度。具体地,第一相对位置pb可以过如下公式确定:
其中,h为第二相对位置,
pt=rcpu;
其中,
其中,(x,y)为在参考设备坐标系下各待处理图像中对各目标对象进行图像识别得到的二维包围框上预定位置的点的坐标。在本实施例中,为了便于表示,设定预定位置的点为二维包围框上下边缘中心点。容易理解,下边缘是指二维包围框上距离x轴最近的边缘。计算得到的第一相对位置可以用于表征目标对象的最近点与参考车的相对位置。
外界环境因素和/或运算过程中产生的误差可能会导致实际的第一相对位置与计算得到的第一相对位置之间存在误差,因此,在本实施例的一种可选的实现方式中,步骤s400还可以包括如下步骤:
步骤s420,根据各第一相对位置确定目标对象对应的第二坐标。
第二坐标为待处理图像对应的目标对象在第一坐标系下的坐标,其中,第一坐标系为参考设备对应的局部坐标系。在本实施例的一个可选的实现方式中,服务器可以以待处理图像序列中第一个待处理图像的时间戳对应的参考车的定位信息确定第一坐标系。具体地,服务器可以以第一个待处理图像的时间戳对应的参考车的定位信息为原点,以道路方向为x轴,以平行于地面且垂直于道路的方向为y轴,以垂直于地面的方向为z轴建立第一坐标系。
例如,待处理图像序列中,第一个待处理图像对应的时间戳为10:20(省略日期),参考车在10:20时的定位信息为(116°20′e,39°50′n),则服务器可以以(116°20′e,39°50′n)为原点,以第一个待处理图像中参考车行驶的道路的延伸方向为x轴,以平行于地面且垂直于道路的延伸方向的方向为y轴,以垂直于地面的方向为z轴建立第一坐标系。
除经纬度外,定位信息通常还包括用于表征车头方向的信息(具体可以为北偏东的方向角),因此服务器可以确定各待处理图像中车头方向与道路延伸方向的夹角,并以各待处理图像的时间戳对应参考车的经纬度与第一个待处理图像的时间戳对应参考车的定位信息的差值确定各待处理图像中参考设备坐标系的原点,根据各待处理图像中车头方向与道路延伸方向的夹角确定各待处理图像中参考设备坐标系的x轴与y轴方向,进而确定各待处理图像对应的参考设备坐标系与第一坐标系的相对位置,从而确定各第一相对位置在第一坐标系中对应的第二坐标。
图12是本发明第一实施例的一种可选的实现方式中根据第一相对位置确定第二坐标的示意图。容易理解,图12中未示出坐标系的z轴。如图12所示,坐标系xl0lyl为根据待处理图像序列中第一个待处理图像的时间戳确定的参考车的第一坐标系,坐标系xci0ciyci为根据参考车的定位经纬度以及车头方向与道路延伸方向的夹角θ确定的第i个待处理图像对应的参考设备坐标系。在确定各待处理图像对应的参考设备坐标系与第一坐标系的相对位置后,服务器可以根据第i个待处理图像中目标对象的第一相对位置li确定第i个待处理图像中目标对象在第一坐标系下的第i个第二坐标。
步骤s430,根据第二坐标确定目标对象在第一坐标系下对应的三维包围框。
下面以一个待处理图像为例进行说明。在本实施例中,通过图像识别确定至少一个目标对象后,服务器可以获取目标对象的固有属性。固有属性用于表征目标对象的体积,具体可以包括目标对象的长、宽和高。例如,在目标对象为预定款式型号的机动车时,服务器可以获取该款式型号的机动车的长度、宽度以及高度。
在获取目标对象的固有属性后,服务器可以以各第二坐标作为三维包围框内(包括三维包围框边缘)的预定点,确定目标对象在第一坐标系下对应的三维包围框。为了便于表示,第二坐标可以为三维包围框的中心点的坐标。容易理解,每个第二坐标均对应一个三维包围框。
步骤s440,根据第二坐标确定三维包围框在第一坐标系下投影的二维包围框,并确定第三坐标。
在本步骤中,服务器可以根据图像采集装置的固有参数,具体可以为图像采集装置的内部参数向第一坐标系的x0y平面(也即,图像平面坐标系)对第三包围框进行投影,得到三维包围框在第一坐标系下的二维包围框。具体地,可以通过如下公式进行投影:
其中,
在确定二维包围框后,服务器可以将二维包围框上的预定点确定为第三坐标。为了方便表示,预定点可以设定为二维包围框下边缘中心点。
步骤s450,根据各第二坐标以及对应的第三坐标确定补偿坐标。
补偿坐标用于表征第二坐标与第三坐标之间的差异,因此在本步骤中,对于各待处理图像,服务器可以根据第二坐标与第三坐标的差值确定补偿坐标,具体可以将第三坐标映射到第一坐标系下(也即,将二维坐标映射为三维坐标),并根据第二坐标与第三坐标在第一坐标系下的映射坐标的差值确定补偿坐标,也即,
步骤s4a,确定补偿坐标是否满足预定条件。
如果否,执行步骤s460;如果是,执行步骤s470。
步骤s460,根据补偿坐标更新第二坐标。
预定条件用于判定第二坐标与第三坐标在第一坐标系下的映射坐标之间的差异(也即,补偿坐标)是否较小,在补偿坐标不满足预定条件时,可以认为第二坐标与第三坐标在第一坐标系下的映射坐标之间的差异之间的差异较大,也就是说,根据图像采集装置的固有参数等计算得到的参考设备与目标对象的相对位置与实际的参考设备与目标对象的相对位置差异较大,因此服务器可以根据补偿坐标更新第二坐标,具体为
在对第二坐标更新后,服务器还可以根据第二坐标更新第三坐标以及第三坐标在第一坐标系下的映射坐标,从而根据更新后的第二坐标和更新后的第三坐标更新补偿坐标。具体在确定补偿坐标的过程中,根据第二坐标与更新后的第三坐标在第一坐标系下的映射坐标对补偿坐标进行更新。在本实施例中,第三坐标和补偿坐标的更新方式与上述方式相同。也就是说,在执行步骤s460后,可以返回执行步骤s430。
步骤s470,根据更新后的第二坐标更新第一相对位置。
在补偿坐标满足预定条件时,可以认为第二坐标与第三坐标在第一坐标系下的映射坐标之间的差异之间的差异较小,此时得到的第二坐标的准确性较高,因此服务器可以根据更新后的第二坐标更新第一相对位置。
容易理解,在步骤s410-步骤s470中,也可以获取第二坐标在第一坐标系下的投影坐标,并根据第二坐标在第一坐标系下的投影坐标以及第三坐标确定补偿坐标(具体为二维坐标),进而根据补偿坐标是否满足预定条件对第二坐标在第一坐标系下的投影坐标以及第三坐标进行迭代更新,以更新第一相对位置。
步骤s500,根据各待处理图像中的第一相对位置确定目标对象在世界坐标系下的第一移动轨迹。
在确定(或更新)第一相对位置后,服务器可以根据各待处理图像中的第一相对位置确定目标对象在世界坐标系下的第一移动轨迹。可选地,服务器可以根据各待处理图像的时间戳、参考设备的定位信息以及各第一相对位置确定对应的目标对象在世界坐标系下对应的第一坐标,并根据各待处理图像对应的各第一坐标确定对应的目标对象的第一移动轨迹。可选地,第一坐标还可以为目标对象在第一坐标系下的坐标。由此,服务器根据第一坐标可以得到目标对象在第一坐标系下的第一移动轨迹。
可选地,在确定至少一个目标对象的第一移动轨迹后,服务器还可以在至少一个目标区域内对第一模拟轨迹进行模拟。本实施例的方法还可以包括如下步骤:
步骤s600,确定各第一移动轨迹对应的至少一条第二移动轨迹。
在本步骤中,服务器可以确定第一移动轨迹对应的至少一条第一路段以及第一起始位置。参考设备移动过的道路包括至少一条第一路段,第一起始位置为第一移动轨迹的起始端相对于第一路段的位置。可选地,服务器还可以根据待处理图像序列中第一个待处理图像的时间戳对应的参考车的定位信息确定第一相对位置的坐标。
例如,待处理图像序列的第一个待处理图像中包括目标对象1,参考设备在第一个待处理图像的时间戳对应的定位信息显示参考设备处于路段1,则在第一个待处理图像中目标对象1在路段1的位置也即第一起始位置,具体可以为目标对象1相对于路段1的左端距离为2米,相对于路段1的右端距离为1.5米。
在确定第一起始位置后,服务器可以根据第一路段的路段特征,在目标区域内确定对应的至少一个第二路段。其中,路段特征可以包括路段宽度、车道数目、路段之间的连接关系等。服务器根据各第一路段的路段特征,就可以在目标区域内找到与图像采集装置采集待处理图像序列的过程中参考车移动过的道路(也即,目标道路)较为接近的道路,以在目标区域内对目标道路进行场景复原。容易理解,目标区域内可以包括多个与目标道路较为接近的道路。
进而,服务器可以根据第一起始位置确定至少一个第二起始位置。其中,第二起始位置为第二移动轨迹的起始端相对于第二路段的位置。在道路特征较为接近时,第一起始位置与第二起始位置可以相同。可选地,在确定至少一个第二起始位置后,服务器可以根据第二路段起始端的在世界坐标系下的坐标确定至少一个第二起始位置在世界坐标系下的坐标,并确定第一起始位置与至少一个第二起始位置之间的平移矩阵以及旋转矩阵,从而根据平移矩阵、旋转矩阵确定第一移动轨迹中各第一坐标在世界坐标系下对应的至少一个第四坐标,从而根据第一移动轨迹对应的各第四坐标确定至少一条第二移动轨迹。
在得到第二起始位置在世界坐标系下的坐标后,服务器可以以第二起始位置在世界坐标系下的坐标为原点,以道路延伸方向为x轴,以平行于地面且垂直于道路延伸方向的方向为y轴建立第二坐标轴。然后确定第一坐标轴与第二坐标轴之间的平移矩阵以及旋转矩阵,根据平移矩阵、旋转矩阵确定第一移动轨迹中各第一坐标在第二坐标系下对应的至少一个第四坐标,从而根据第二相对位置的坐标、第一移动轨迹对应的各第四坐标确定至少一条第二移动轨迹。容易理解,第二坐标系的建立方式与第一坐标系的建立方式相似,在此不再赘述。
在目标区域内确定至少一条第二移动轨迹后,服务器可以基于第二移动轨迹进行各种处理。例如,第一路段属于区域1,区域1已建立高精地图,而区域2未建立。区域2的车辆行驶数据(例如,行车记录仪)记录了一条车辆碰撞数据,通过本实施例的方法,可以对车辆碰撞场景进行重建,并迁移到区域2的第二道路,并将车辆碰撞数据输入到自动驾驶模拟器。模拟器利用区域1的高精地图信息进行路径规划,可以训练提升自动驾驶车辆在车辆碰撞场景下的表现。
本实施例在获取图像采集装置在参考设备移动过程中采集到的待处理图像序列后,根据待处理图像序列中至少一个待处理图像确定图像采集装置的固有参数,同时对各待处理图像进行图像识别,确定至少一个目标对象,进而根据固有参数确定各待处理图像中目标对象在参考设备坐标系下与参考设备的相对位置,从而根据上述相对位置确定目标对象在世界坐标系下的移动轨迹。在本实施例中,无需通过测距装置等额外设备,只需要基于图像采集装置的固有参数以及参考设备的定位信息就可以确定至少一个目标对象的移动轨迹,有效降低了轨迹获取的复杂度,同时对于设备的配置要求较低。
图13是本发明第二实施例的轨迹获取装置的示意图。如图13所示,本实施例的装置包括第一获取单元1301、第一确定单元1302、第二确定单元1303、第三确定单元1304和第四确定单元1305。
其中,第一获取单元1301用于获取待处理图像序列,所述待处理图像序列包括多个待处理图像。第一确定单元1302用于根据至少一个所述待处理图像确定图像采集装置的固有参数。第二确定单元1303用于对各所述待处理图像进行图像识别,确定至少一个目标对象。第三确定单元1304用于根据所述固有参数确定各所述待处理图像中至少一个所述目标对象的第一相对位置,所述第一相对位置用于表征参考设备与所述目标对象在参考设备坐标系下的相对位置,所述参考设备与所述图像采集装置的相对位置保持固定。第四确定单元1305用于根据各所述待处理图像中的所述第一相对位置确定所述目标对象在世界坐标系下的第一移动轨迹。
进一步地,所述装置还包括第五确定单元1306。
其中,第五确定单元1306用于确定各所述第一移动轨迹对应的至少一条第二移动轨迹,以在至少一个目标区域内对所述第一移动轨迹进行模拟。
进一步地,所述固有参数包括所述图像采集装置的内部参数、外部参数以及畸变参数,所述内部参数用于表征所述图像采集装置的焦距和光轴偏移量,所述外部参数用于表征所述图像采集装置的安装姿态,所述畸变参数用于表征所述图像采集装置的镜头畸变程度;
所述第一确定单元1302包括选取子单元、提取子单元、第一确定子单元、第二确定子单元和第三确定子单元。
其中,选取子单元用于选取至少一个所述待处理图像作为目标图像;
提取子单元用于提取所述目标图像中的至少一条边缘线段。第一确定子单元用于根据至少一条所述边缘线段确定所述内部参数。第二确定子单元用于根据至少一条所述边缘线段以及所述内部参数确定所述外部参数。第三确定子单元用于根据至少一条所述边缘线段以及所述内部参数确定所述畸变参数。
进一步地,所述第一确定子单元包括第一确定模块、第二确定模块和第三确定模块。
其中,第一确定模块用于确定各所述目标图像对应的两个第一线段组,所述第一线段组包括至少两条边缘线段,且同一第一线段组内的所述边缘线段的延长线在图像平面坐标系下交于同一消失点,不同第一线段组内的所述边缘线段的延长线两两正交。第二确定模块,用于分别在各所述目标图像中确定对应的所述第一线段组的所述消失点。第三确定模块,用于根据各所述消失点确定所述内部参数。
进一步地,所述外部参数包括所述图像采集装置的偏航角和俯仰角;
所述第二确定子单元包括第四确定模块、第五确定模块和第六确定模块。
其中,第四确定模块用于根据多条边缘线段确定一个第二线段组,所述第二线段组内的所述边缘线段在图像平面坐标系下交于同一消失点。第五确定模块,用于确定所述第二线段组对应的消失点。第六确定模块,用于根据所述消失点以及所述内部参数确定所述外部参数。
进一步地,所述第四确定模块用于根据各所述边缘线段的线段特征,选取至少两条边缘线段确定为所述第二线段组。
进一步地,所述第三确定子单元包括第七确定模块和第八确定模块。
其中,第七确定模块用于对所述边缘线段进行线性拟合,确定所述边缘线段在畸变状态下的拟合函数,以确定多个拟合参数。第八确定模块用于根据各所述拟合参数以及所述内部参数确定所述畸变参数。
进一步地,所述第四确定单元1305包括第四确定子单元和第五确定子单元。
其中,第四确定子单元用于根据各所述待处理图像的时间戳、所述参考设备的定位信息以及所述第一相对位置确定所述目标对象在世界坐标系下对应的第一坐标。第五确定子单元用于根据各所述第一坐标确定所述第一移动轨迹。
进一步地,所述第三确定单元1304包括第六确定子单元。
其中,第六确定子单元用于根据所述固有参数以及第二相对位置确定所述第一相对位置,所述第二相对位置为在各所述待处理图像中所述参考设备与所述图像采集装置在世界坐标系下的相对位置。
进一步地,所述第三确定单元1304还包括第七确定子单元、第八确定子单元、第九确定子单元、第十确定子单元、第一更新子单元和第二更新子单元。
其中,第七确定子单元用于根据各所述第一相对位置确定所述目标对象对应的第二坐标,所述第二坐标为所述目标对象在所述参考设备对应的局部坐标系下的坐标。第八确定子单元用于根据各所述第二坐标确定所述目标对象在所述参考设备对应的局部坐标系下的三维包围框,所述第二坐标为所述三维包围框内的预定点的坐标。第九确定子单元用于根据各所述第二坐标确定对应的所述三维包围框在所述参考设备对应的局部坐标系下投影的二维包围框,并确定对应的第三坐标,所述第三坐标为所述目标对象的二维包围框上的预定点的坐标。第十确定子单元用于根据各所述第二坐标以及对应的所述第三坐标确定补偿坐标。第一更新子单元,用于响应于所述补偿坐标不满足预定条件,根据所述补偿坐标更新所述第二坐标以及对应的所述第三坐标,并根据更新后的所述第二坐标以及更新后的所述第三坐标更新所述补偿坐标。第二更新子单元用于响应于所述补偿坐标满足所述预定条件,根据更新后的所述第二坐标更新所述第一相对位置。
进一步地,所述第五确定单元1306包括第十一确定子单元、第十二确定子单元、第十三确定子单元和获取子单元。
其中,第十一确定子单元用于确定所述第一移动轨迹对应的至少一条第一路段以及第一起始位置,所述第一起始位置为所述第一移动轨迹的起始端相对于所述第一路段的位置。第十二确定子单元用于根据各所述第一路段的路段特征,在所述目标区域内确定对应的至少一个第二路段。第十三确定子单元用于根据所述第一起始位置确定至少一个第二起始位置,所述第二起始位置为所述第二移动轨迹的起始端相对于所述第二路段的位置。获取子单元用于根据至少一个所述第二起始位置以及所述第一移动轨迹获取至少一个第二移动轨迹。
本实施例在获取图像采集装置在参考设备移动过程中采集到的待处理图像序列后,根据待处理图像序列中至少一个待处理图像确定图像采集装置的固有参数,同时对各待处理图像进行图像识别,确定至少一个目标对象,进而根据固有参数确定各待处理图像中目标对象在参考设备坐标系下与参考设备的相对位置,从而根据上述相对位置确定目标对象在世界坐标系下的移动轨迹。在本实施例中,无需通过测距装置等额外设备,只需要基于图像采集装置的固有参数以及参考设备的定位信息就可以确定至少一个目标对象的移动轨迹,有效降低了轨迹获取的复杂度,同时对于设备的配置要求较低。
图14是本发明第三实施例的电子设备的示意图。图14所示的电子设备为通用数据处理装置,其包括通用的计算机硬件结构,其至少包括处理器1401和存储器1402。处理器1401和存储器1402通过总线1403连接。存储器1402适于存储处理器1401可执行的指令或程序。处理器1401可以是独立的微处理器,也可以是一个或者多个微处理器集合。由此,处理器1401通过执行存储器1402所存储的命令,从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线1403将上述多个组件连接在一起,同时将上述组件连接到显示控制器1404和显示装置以及输入/输出(i/o)装置1405。输入/输出(i/o)装置1405可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地,输入/输出(i/o)装置1405通过输入/输出(i/o)控制器1406与系统相连。
其中,存储器1402可以存储软件组件,例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。
上述根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应理解,流程图和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器,以产生机器,使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。
同时,如本领域技术人员将意识到的,本发明实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此,本发明实施例的各个方面可以采取如下形式:完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实施方式。此外,本发明的方面可以采取如下形式:在一个或多个计算机可读介质中实现的计算机程序产品,计算机可读介质具有在其上实现的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置,或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项:具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪速存储器)、光纤、便携式光盘只读存储器(cd-rom)、光存储装置、磁存储装置或前述的任意适当的组合。在本发明实施例的上下文中,计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。
计算机可读信号介质可以包括传播的数据信号,所述传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式,包括但不限于:电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质:不是计算机可读存储介质,并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。
用于执行针对本发明各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写,所述编程语言包括:面向对象的编程语言如java、smalltalk、c++、php、python等;以及常规过程编程语言如“c”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行;部分地在用户计算机上且部分地在远程计算机上执行;或者完全地在远程计算机或服务器上执行。在后一种情况下,可以将远程计算机通过包括局域网(lan)或广域网(wan)的任意类型的网络连接至用户计算机,或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。