本发明属于超大规模gps空间大数据挖掘
技术领域：
，与地理信息系统技术、数字图像技术、超级计算技术相关。本发明所连续生产全国公网路数字图像是gps大规模应用的基础性数据支撑，与车辆保险、无人汽车、地图测绘、国防安全等诸多领域关系密切。本发明所指gps，是包括中华人民共和国的北斗导航系统在内的所有全球卫星定位系统，并不是特指美国的gps系统。
背景技术：
：随着gps移动终端的大规模普及应用，在全社会范围内迅速地累积起了超大规模的gps数据。截止2017年中，交通部所属全国联网联控平台和全国公共货运平台，累积接收数据量远超过万亿条，范围覆盖全国所有实际可通行道路及部份国外道路。由于车载北斗/gps的应用，必须要有电子地图，特别是道路电子地图作为基础数据支持，因此道路电子地图的制作与连续更是一项重要的基础性的工作。用gps轨迹数据制作道路电子地图，由来已久。在小规模gps数据情况下，任取一台车辆在一定时段内的轨迹数据，按时间先后顺序连接成折线，能大致反映所经道路的形状，这成为早期gps数据挖掘所基于的基本事实。随着gps数据量的增加，人们发现，用连续两点连成线段表示道路的方法，除了在直线道路上效果较好之外，在弯道处会严重偏离道路的真实情况，因此将连续两点画线段的方法，改进为端点+中间插值点的离散点方法，效果大为改善。但随着gps数据量的进一步增加，由于插值点的影响，所得到的道路数字图像同样严重偏离真实的道路数字图像。本发明基于车载gps大数据，连续生产全国公网路数字图像，从而实现源于gps、服务gps、优化gps的良性循环。本发明计算规模巨大，常规商用数据处理工具软件，如oracle、arcgis等对于万亿级数据的全局性处理，彻底无能为力，本发明的计算机实现需要从底层开发超大规模高效计算程序，目前本发明的计算实现，仅能在发明人专门研制的“霞光一号”专用超级计算机上实现。技术实现要素：道路数字图像本质上是道路小块（可以形象地理解为一块路砖）与像素之间的一种一一对应的函数对应关系。这种函数对应关系最为简单直接的建立方法是：在wgs84坐标系下，将坐标平面区划成由统一形状、大小的网格所组成的等经纬差格网，将整个坐标平面对应到一幅空白的数字图像，每一个地表网格唯一对应到数字图像中的一个像素。每一条gps数据，依其经纬值，落入且唯一落入一个网格之中。利用汽车通常是行驶于公路的特点，如果某网格有gps点落入，则相对应的像素做一次暴光，该网格记为道路，否则为非道路。本发明首先发现，基于交通部全国联网联控平台所产生的超大规模gps数据，可以获得亚米级空间分辨率的覆盖全国的道路数字图像，足以反映道路的细部特征，足以达到实用产品的应用需求，而这恰恰是gps本身使用所必须的基础空间数据。大地坐标系建立：本发明首选gps本身所用的wgs84坐标系，其次。根据具体任务的需要，可以选用与wgs84有明确换算关系的其它坐标系，例如web墨卡托投影坐标系。基础格网区划：基础格网的区划直接决定最终数字图像产品的空间分辨率，而数字图像空间分辨率无论在逻辑上还是在数值上都恰好等于将浮点型经纬度转换为整数型经纬时所用乘系数的倒数（这一层逻辑关系极为重要，读者务必通透理解）。本发明取长宽均为1/256秒经纬差所对应的地面区域为基础网格。也即将每一经纬度秒等分为256等份，将每一经纬度等分为60′*60〞*256=921,600等份。在我国境内，一个基础网格约相当于地面0.1m*0.1m的一个区域。本发明将其规定为g0级数字产品。在选定的坐标系下，严格从坐标原点起开始区划，沿相同的坐标方向，故每个基本单元的空间位置、范围唯一确定，基本单元依上下文语义不同，又可以称为网格，光栅，像素等等。整个地球表面依上下文语义不同，又可以称为格网，数字图像等等。系列格网区划：在g0级数字产品的基础，网格的尺寸依次按2的整数次幂扩大，例如4级数字产品的宽度为2^4/256秒，约相当于地面宽度1.6m，依此类推，最高定义到20级数字产品，参数如表1：表1产品分级参数表数字产品级别边长基本单元数赤道圈上地面长度（米）比例尺（96dpi）左下角经度左下角纬度右上角经度右上角纬度g010.12457000.003906250.00390625g120.24913000.00781250.0078125g240.481826000.0156250.015625g380.973652000.031250.03125g4161.937304000.06250.0625g5323.8714609000.1250.125g6647.7329218000.250.25g712815.4658435000.50.5g825630.921168710011g951261.842337420022g101024123.694674830044g112048247.389349670088g124096494.751869934001616g138192989.513739867003232g14163841979.017479735006464g15327683958.031495947000128128g16655367916.052991893900256256g1713107215832.105983787800512512g1826214431664.201196757560012041204g1952428863328.402393515120020482048g201048576126656.804787030240040964096注：地球半径取6378137m，基本网格边长为1/256秒经纬差,右侧四列为第一象限第一个网格的经纬度坐标，单位为秒。本发明首次根据全国联网联控平台所累积的车载gps数据，生产出了覆盖全国公路的3级产品，部份数据特别丰富的区域，如陕西汉中市区，甚至可以生产出2级产品。本发明所得到的道路数字图像，经与国家测绘局国家基础地理数据库，在gis下直接叠加比对，证明所得道路形状位置正确无误！可以直接作为服务于车载gps应用的app的基础道路地图数据。本发明彻底摆脱了对第三方道路地图基础数据的依赖。不同于在飞机上随意俯拍的地面照片，遥感技术在严格的参数控制之下，所拍摄的遥感影像具有了严格的对地科学观测意义。借用遥感成像原理，本发明利用gps卫星+车载移动终端，逻辑上组装成一个24小时不间断运行，类似于光学遥感的道路成像系统，其中用gps卫星替代遥感卫星平台，用车载终端替代遥感卫星成像装置。不同之处在于，光学遥感相当于一次暴光成像，本发明相当于多次延时暴光成像，准确地说，每一条gps数据等效于对一个光栅的一次暴光操作。原始数据越多，所能生产数字图像的空间分辨率越高。正由于有全国性超大规模的gps数据源，从而保证了第一手观测资料的充足来源。相比于常规遥感，本发明的道路专用遥感系统具有高空间分辨率（最高分辨率0.1m）,与阴天、夜间无关的全天候特性，根本上消除中心投影误差，具有严格正射投影特性，只针对特定对象如道路的靶向特性，专业性等独特优点。本发明将每一台移动gps终端转化为一个外业调查组，由于移动gps终端数量巨大，因此能节省巨额的外业调查成本，包括节省巨额的遥感影像购置成本，以快鸟影像为例，亚米级分辨率遥感影像2017年报价为146元/平方千米。全国960万平方千米国土面积仅一次全覆盖的影像成本，就高达14亿元人民币。而且由于天气、卫星运行轨迹等因素影响，即使有钱也不可能购买到清晰覆盖全国的高分辨遥感影像，更不用说连续地进行更新。具体实施方式以全国联网联控平台，约250万台入网车辆，2014—2016之间所累积接收到的约6000亿条gps为例，第条数据内容包括：车牌号、经度、纬度、时间、速度、方位角、车辆状态字、报警信息。具体实施步骤如下。第一步：数据转换，由于原始数据是以明码格式存在，不利于进行快速处理，故需要先将明码格式数据转换为适合于超级计算机高速计算的专用格式数据。第二步：坐标扭曲、坏轨迹剔除。部份车载gps设备，存在各种各样的问题，最终导致车辆轨迹的系统性偏差，需要统一去除。第三步：数据分块，以一个16级产品网格所对应的地理空间区域为分块单位（因为其恰好包含65536×65536个基础单元格，极便于算法实现），称为一个black，每一个black内所有gps原始数据单独存入一个计算机文件。以生成某black的4级道路速度专题图数字产品为例：第四步：在计算机内存中开辟一块4096×4096大小的数组，其中4096=65536/2^4。第五步：逐条读取black内原始gps位置数据，根据坐标值，定位到对应位置的网格，将对应网格的频数加１，专业人员可以很方便地实现这种简单的坐标平衡与映射运算，即得到该black比例尺约1:5000道路数字地图粗图。循环执行第四步至第五步，依次处理全国范围内126,348个black，整合后即得到覆盖全国道路网的比例尺约1:5000道路数字地图。第六步：数字地图粗图，视gps原始数据的质量不同，通常含有多少不等的杂点，有多种方法可以去除杂点，其中一种简单且有效的去杂方法是：指定一个最小频数阀值，所有频数大于指定值的网格视为道路网格，反之则视为非道路网格。第七步：整合全部black的道路数字图像，即得到覆盖全国路网的道路数字地图。第八步：质量检验。第九步：根据保密规定，对质检合格产品，做加密处理，最后得到可用于部标机或者app可使用的数字公路基础数据。专业级读者，根据上述核心步骤，可以完成相应程序设计任务，但是对于全国级超大规模数据量而言，这是一项十分艰巨的编程任务。当前第1页12