一种基于ERP系统的底层数据提取、加工、权限管控及传输的系统的制作方法

一种基于erp系统的底层数据提取、加工、权限管控及传输的系统
技术领域
[0001]
本发明涉及数据处理领域，尤其涉及一种基于erp系统的底层数据提取、加工、权限管控及传输的系统。


背景技术：

[0002]
erp系统是企业资源计划(enterprise resource planning)的简称，是指建立在信息技术基础上，集信息技术与先进管理思想于一身，以系统化的管理思想，为企业员工及决策层提供决策手段的管理平台。
[0003]
数据作为企业发展的信息沉淀，已成为企业的重要资产，面对如今互联网多平台发展的策略，以往因受制于不同平台各自的局限性，数据的分享往往有些力不从心，且数据加工大多是采用将数据转为excel表格形式后再由人工进行统一加工和处理，该方式所消耗的处理周期较长，且错误率较高，现存相关的数据共享程序也因其对具体业务耦合性太高而无法广泛进行使用。如何高效、方便的利用数据是每个企业必须面临的课题。


技术实现要素：

[0004]
本发明的目的在于针对现有技术的不足而提供一种基于erp系统的底层数据提取、加工、权限管控及传输的系统。
[0005]
为达到上述目的，本发明通过以下技术方案来实现。
[0006]
一种基于erp系统的底层数据提取、加工、权限管控及传输的系统，其中所述数据至少包括基础主数据、用户自行维护数据。其特征在于，包括以下步骤：
[0007]
步骤一、利用底层数据提取模块对底层数据进行抽取；
[0008]
步骤二、对底层数据进行清洗；
[0009]
步骤三、对底层数据进行加工；
[0010]
步骤四、将数据按照统一标准进行二次加工和处理；
[0011]
步骤五、依照用户权限对数据进行筛选；
[0012]
步骤六、传输结果数据到调用方平台。
[0013]
进一步的，所述步骤二中对底层数据进行清洗是对冗余数据进行剔除，数据类型更改、转换，多字段组合。
[0014]
进一步的，所述步骤三中对底层数据进行加工是对相关联的底层数据进行补全。
[0015]
进一步的，所述步骤四中将数据按照统一标准进行二次加工和处理是设定强制判定规则对数据进行规则研判和做出相应的处理。
[0016]
本发明的有益效果：采用本专利的方法，通过数据抓取模块抓取底层数据到临时内存中进行结构化存储，节约系统资源，对抓取的数据进行实时处理、加工，从而提供给第三方平台使用。通过配置，系统可实现底层数据的深度加工和处理，可实现不同口径下格式的数据共享。
附图说明
[0017]
图1为本发明的步骤结构示意图；
具体实施方式
[0018]
下面结合实施例对本发明做进一步说明，但不局限于说明书上的内容。
[0019]
如图所示：一种基于erp系统的底层数据提取、加工、权限管控及传输的系统，包括以下步骤：
[0020]
步骤一、利用底层数据提取模块对底层数据进行抽取；
[0021]
步骤二、将抽取获得数据进行清洗、简单加工，对各种脏数据进行处理，得到标准、干净、连续的数据；
[0022]
步骤三、对底层数据进行加工；
[0023]
步骤四、将数据按照统一标准进行加工和处理，统一口径、格式、规则和单位，满足不同平台的使用需求；
[0024]
步骤五、依托用户权限对数据进行筛选，根据权限划分数据层级，为用户提供授权数据，满足企业数据共享安全性要求；
[0025]
步骤六、传输结果数据到调用方平台，依托目前市面上流行的webservice以及rfc等技术实现平台与平台间数据的安全传输要求。
[0026]
具体的，步骤一，根据设置的数据结构、属性和数据提取级别抽取数据到一临时内存(该容器以下简称：n01)。
[0027]
步骤二调用数据清洗模块在所述临时内存n01中根据设置对脏数据进行清洗，并把结果存于新的临时内存中(该容器以下简称：n02)，主要包括了以下几项内容：
[0028]
(1)删除冗余数据
[0029]
(2)更改数据类型
[0030]
(3)将分类变量转换为数字变量
[0031]
(4)检查缺失数据
[0032]
(5)删除列中的空格
[0033]
(6)组合多列
[0034]
(7)时间转换
[0035]
步骤三调用数据加工模块在所述临时内存n02中对数据进行补全和加工，部分数据取自n01,其包括了以下项目：
[0036]
(1)通过身份证号码等信息推算性别、籍贯、出生日期、年龄等信息。
[0037]
(2)实现前后数据补全，例如时间序列缺失数据，可以使用前后均值。
[0038]
(3)对数据进行计算、分组、汇总统计。
[0039]
步骤四调用数据格式处理模块在所述临时内存n02中根据设置对数据的格式进行统一，主要包括以下几项内容：
[0040]
(1)字段名称统一，根据设置映射对数据字段名称进行处理。
[0041]
(2)字段类型统一，根据设置对数据进行类型转换，数据类型转换原则参考不同平台和语言，且表示方式须一致。
[0042]
(3)字段长度和位数统一，根据设置对数据的长度和小数位数进行统一。
[0043]
(4)单位统一，根据设置对数据的单位进行统一。
[0044]
(5)格式统一，根据设置对数据的表示格式进行统一。在同一类型下，不同的表示格式在不同平台也会产生差异。例如日期中的长日期、短日期、中英文、年月日只是和缩写等。
[0045]
(6)缩写规则统一，根据设置对常用字段的缩写，例如单位、姓名、日期、月份等进行统一。
[0046]
(7)数据表示统一，设定强制合法法规则，根据设置规则，凡是不在此规则范围内的数据，强制设置为默认值，或者判为无效数据，进行剔除。
[0047]
步骤五调用数据权限处理模块在所述临时内存n02中根据设置对数据进行筛选和剔除。
[0048]
步骤六调用数据传输模块将结果传递至目标平台。
[0049]
步骤2中冗余数据的筛选方式包括但不限于如下的方式：相似性比较判断、关键词及标签自动匹配。
[0050]
上述相似性比较判断，通过将当前数据同临时内存中储存的其他数据进行相似性比较，具体条件依照配置决定。
[0051]
在基础配置数据的更新包括两个方面：一方面补充更新来自erp系统内部提供的配置录入程序；另一方面补充更新来自对外接口，其他平台通过该接口可对系统各项配置进行增加、修改和删除，同时系统会对其操作进行记录。
[0052]
步骤一种抽取数据到一临时内存，与存放实体表相比，更加节约资源，提高执行效率，且在步骤三种操作当中可充当取数容器。步骤五中提供的权限管控可有效防止未经授权数据流出。
[0053]
所述不同类型的配置内容维护进一步包括：数据提取相关配置、数据清洗相关配置、数据加工相关配置、数据格式处理相关配置、用户数据权限管控相关配置。
[0054]
数据提取模块包括但不限于：业务表、数据来源配置表、业务同数据来源关联表。
[0055]
数据清洗模块包括但不限于：数据清洗规则配置表、数据同清洗规则关联表。
[0056]
数据加工模块包括但不限于：数据加工规则配置表、数据同加工规则关联表。
[0057]
数据格式统一模块包括但不限于：数据格式配置表、数据同数据格式配置关联表。
[0058]
用户权限模块包括但不限于：角色表、用户角色对应表、数据权限表、角色权限对应表。
[0059]
显然，本发明的上述实施方式仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。