一种带大数据分析功能的电商管理系统的制作方法

1.本发明涉及信息管理、人工智能、大数据技术、电商管理系统和计算机领域，特别是涉及一种带大数据分析功能的电商管理系统。


背景技术：

2.近年来随着互联网技术的发展，数据以多种渠道被产生。不仅限于台式设备，各种各样的穿戴设备、移动设备也产生了大量的数据。数据的增多，使人们愈来愈关心的大数据领域。通过该领域，我们能够用另一个视角来观察世界。通过对大量数据的融合处理，人们能得到有意义的数据金矿，它能够为各领域各行业创造更高的价值。
3.在电商领域，商品交易平台的数据也以几何态势迅速膨胀，这样的发展与变化，使国内的网络广告产业链进行着不断的革新。如何拓展市场、触达新用户成为了广告主和第三方数据服务商更关注的事情。传统的营销手段，强调大范围的无差别的覆盖，但是随着大数据时代的到来，这样的营销策略产生的弊端也就逐渐凸显，大规模广告覆盖提高了广告主的营销成本，无指向性的营销会导致投入过多的成本仍没有良好的收益，造成了市场无法拓展、销量下降、老用户流失、无法拉取新客等情况。此外，随着电商的发展广告主也有了更高的要求，为了更加贴合用户的真实需求，产品的推广从最开始的追求简单展示到现在需要有丰富的创意，从最初的只求获得点击，到现在开始关注高效传播与精准投放。广告主和数据服务商对互联网广告市场的数据分析有着更高的要求，这促使人们通过数据挖掘的手段进行分析，来更好的理解用户、判断市场，达到以数据推动营销策略规划的目的睁引。
4.由此可知，大数据的处理和应用手段俨然成为了当下最值得解决的问题和最值得深耕的领域。广告主需要一个数据分析和管理系统将消费者数据进行整合分析，也需要一个系统完成数据的二次营销为其提供营销策略支持。亟待电商领域的管理系统应用大数据技术和大数据分析技术解决这样的问题。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明专利提供一种基于大数据分析的电商管理系统，提供了商家了解消费者的最直观的渠道，以往的广告主可能无法全面获取电商平台产生的数据，也无法全面的获知哪些用户购买了该品牌以及用户的特征信息。本发明专利所述的大数据分析功能的电商管理系统将电商内部的数据进行融合处理，考虑到用户信息安全问题，数据将以多维度的标签形式暴露给广告主使用，既能保护消费者的信息安全，又能够将大量的数据利用起来产生价值。本发明的目的在于提供一种带大数据分析功能的电商管理系统，用于解决现有技术中存在的问题。
6.为实现上述目的及其他相关目的，本发明提供一种带大数据分析功能的电商管理系统，包括有：数据预处理模块、数据服务模块、品牌洞察模块、人群包管理模块、模型管理模块和运营管理模块；
7.所述数据预处理模块在数据预处理部分完成了数据从数据源中的提取，对数据进
行清洗处理并存储到hive中，提高了业务层提取数据的效率，在抽取过程中，项目使用的数据是公司内部数据，底层的数据包括用户浏览信息、用户加购信息、消费频次和消费主要渠道，该内部数据由其他部门提供，在抽取阶段根据业务需求从大量数据中抽取业务层需要展现的数据，对无关数据进行过滤，在转换过程中，将数据按照业务模块或主题进行整合，形成与业务密切相关的主题表，以便上层业务使用，主题表包括用户全平台消费信息表、用户多店铺消费信息表和用户浏览品牌店铺表，在数据加载过程中，根据业务请求类型，将转换过程中产生的数据存储到mysql中，以便展示使用；
8.所述数据服务模块是数据服务抽象出了底层的数据处理方法，生成工具类提供给上层业务使用，可以统称为数据服务工具，以此对数据进行统一的管理，抽象出的工具接口有文件格式转换、文件加解密、文件流转、文件切分和文件管理；
9.所述品牌洞察模块包括4a资产部分和人群画像部分，4a资产部分包括4a资产总览、4a全链路和4a流转分析，通过4a资产的功能，可以对品牌进行持续追踪，人群画像部分的功能丰富的画像标签，可以对人群数据进行更精确的展现，其中维度包括用户基础属性、用户消费习惯和行业偏好；
10.所述人群包管理模块包括人群挖掘功能、数据融合功能和人群应用功能，用户通人群挖掘功能进行人群数据挖掘，通过数据融合功能整合其它数据源数据，通过人群应用功能实现广告投放和人群拓展；
11.所述模型管理模块主要实现了广告主和第三方数据服务商的快速数据建模功能、模型训练、模型评估和预估功能，在该模块中用户可以利用非代码的手段，通过点击、选择等操作将该流程简单化；
12.所述运营管理模块主要对用户间关系进行管理并进行权限控制，在计费管理中，主要对数据挖掘、模型训练、模型评估和模型预估任务产生的数据消耗和机器资源消耗进行统计计费并得到相关数据。
13.可选地，所述数据预处理模块在数据转换阶段将hive中存储的数据根据业务流程需求进行清洗，用户数据转换流程以脚本的形式执行，处理后的数据生成新的数据表进行存储，分别生成用户基本消费信息数据表和用户多店铺消费信息数据表，用户基本消费信息数据表和用户多店铺消费数据表是数据转换阶段的最终结果，数据转换为数据加载提供了数据基础，在数据加载过程中，例如用户选择标签进行人群挖掘，根据前端传入的挖掘条件，对数据表进行查询并将结果进行封装，以格式化json形式将结果和人物相关信息存储到人群挖掘表中，以便前台数据展现，其中信息转包括有用户基本消费信息转换和用户多店铺消费信息转换。
14.可选地，所述数据服务模块包括有核心类子模块、流程子模块和接口子模块；其中核心类子模块包含有：transfermanager类和filemanager类；transfermanager类是实现文件流转的主要功能类，该类中封装了多平台的文件上传下载方法、文件平台间流转方法；filemanager类实现了文件的加解密、文件切分、文件格式转化和文件管理功能；流程子模块为底层数据服务工具主要的功能，是对数据文件进行操作，功能的实现皆由定义接口的形式暴露给上层的业务使用，当用户使用该数据分析和管理系统发起某些请求，前端会获取用户的账号名称、操作主体，前端请求文件注册接口，并且获得文件信息，判定文件大小是否符合上传格式需求和大小需求，如果不满足该条件，则提示用户上传数据格式或文件
大小异常，如果满足该条件，则会统计文件数据量，获取文件属性和文件名，并调用加密算法对文件进行加密，最后将数据上传至集市并生成唯一文件标识对该文件进行注册，并将文件信息存入数据库中；接口子模块是底层数据服务皆由接口的形式对上层提供功能实现，hive和hdfs文件形式转换的访问路径分别是/create/hdfs/hive/task和/create/hive/hdfs/task，hdfs转hive的入参分别是文件路径、设定的hive表名、回调地址和需要添加的header，hive转hdfs的入参是hive表名、即将存储到hdfs的url、回调地址、列名、选取条件。
15.可选地，所述品牌洞察模块封装了summaryinfo类、linkflowsummary类和contactdistribution类，summaryinfo类实现了4a资产总览部分的信息汇总、更新和查询功能，查询方法有两种，其中query方法实现了根据品牌和类目进行信息查询，query方法实现了仅通过类目进行信息查询，linkflowsummary类实现了链路流转功能，根据传入的链路流转状态以及4a状态对流转人数进行查询，查询分为带品牌类目查询和只带品牌查询，contactdistribution类提供信息汇总、查询等功能，查询与4a资产总览相同分为两种，调用summarylnfo类中的查询方法，对相关hive表进行查询，并将查询结果存储在数据库中，结果包括消费者总量、日环比、周环比、潜客/顾客比、关系周加深率、感知日环比、吸引日环比、购买日环比、拥护日环比，并实现了趋势图的查询功能，分别实现了根据4a状态进行查询和通过指标进行查询。
16.可选地，所述人群包管理模块包括有：人群挖掘、数据融合和人群应用三个部分，其中人群挖掘功能中用户可以根据所选条件设置挖掘规则，挖掘条件可以设置为交集或并集，通过人群挖掘模块用户可以获取目标人群，此外，在人群挖掘过程中需要对该人群包中人群数量进行统计，根据挖掘的数据量进行计费；数据融合部分主要实现对用户自上传的数据与系统中的内部数据进行融合，融合可以通过用户账号和用户手机号，根据这些唯一标识将用户的相关信息进行融合处理；人群应用部分主要实现了人群拓展和人群包投放的功能，人群拓展功能主要实现了以现有人群包为基础拓展出相似人群，人群投放功能对接了多个投放平台，将分析后的人群包推送到投放平台进行广告投放。
17.可选地，所述模型管理模块被划分为三个子功能模块分别是configureserver(配置服务，cs)、execute server(执行服务，es)、monitor server(监控服务、ms)；在cs中配置服务接收前端传入的配置参数，对参数进行校验并将可执行的任务写到任务队列中，在es中执行服务调用相关机器学习算法并调配机器资源来执行模型训练等任务，在ms监控服务中对执行的任务进行实时监控并更新状态；执行服务和监控服务会定期访问任务队列来完成各自的工作，此外，通过定期访问supervisor(sv)模块对各服务实现定期的请求，系统中的三个主要功能模块和sv都有独立的版本号，分别提供给公司中不同的业务线使用，版本号由主版本号和次版本号构成，一般在配置文件中以[主要版本号].[次要版本号]的形式体现。
[0018]
可选地，所述运营管理模块包括有账号管理和计费管理两大功能，在账号管理功能中，信息查询方法通过获取用户账号信息进行返回，信息修改方法首先对入参进行非空和长度校验，通过用户账号更新用户表的相关信息，并校验用户登录及组管理员角色和权限，根据查询条件获取子账号及isv授权情况，查询具备授权书且时间有效的所有isv，校验用户登录及组管理员角色和权限，校验是否具有授权书及授权书时间范围，校验是否己存
在未审核或审核中的授权；计费管理部分主要统计两大类任务，一种是模型任务，在用户进行模型训练、模型评估和模型预估过程中，统计任务消耗的数据条数和消耗的机器台时，另外一种任务是大数据任务，包括人群挖掘和人群拓展，主要统计任务所产生的人群包量级，在数据服务模块中的数据统一注册管理进行统计，所有的统计信息将写入到计费信息相关表中，定时任务每十分钟扫描一次将产生的费用写入到队列中，队列中的数据等待统计和汇总为日账单和月账单。
[0019]
可选地，所述数据预处理模块、数据服务模块、品牌洞察模块、人群包管理模块、模型管理模块和运营管理模块之间并列并在操作系统上共享线程空间。
[0020]
如上所述，本发明提供一种带大数据分析功能的电商管理系统，具有以下有益效果：该系统能够提供多元化数据的融合并能灵活的接入第三方提供的数据，为后一阶段的数据分析提供良好的先决条件，多样且全面的高质量数据能够帮助广告主进行更精准的分析。其次，为了应对电商行业不断的业务发展和市场开拓，系统对消费者的用户属性、购买行为、广告行为、搜索行为进行标签化，打造灵活的标签市场。多维化的标签能够帮助广告主更准确的圈定人群，以此数据进行拓展和用户拉新等操作，从而带来更好的广告投放效果。此外，系统应实现用户画像、消费者的消费生命周期统计，将结果以图表的形式在页面进行展示，让广告主通过视图化的数据更便捷的了解消费者。实现人群挖掘功能并结合机器学习算法对数据进行分析，可以达到对广告的差异化推送，实现营销策略上的千人千面。大数据分析和管理系统为广告业的精准营销和精准投放提供了决策依据和决策能力，能够准确的直击痛点，提升消费者的活跃度和留存度，做到利用数据驱动决策。
附图说明
[0021]
图1为一实施例提供的一种带大数据分析功能的电商管理系统结构示意图。
具体实施方式
[0022]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0023]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0024]
请参阅图1所示，本发明提供一种带大数据分析功能的电商管理系统，包括有：数据预处理模块、数据服务模块、品牌洞察模块、人群包管理模块、模型管理模块和运营管理模块；
[0025]
所述数据预处理模块在数据预处理部分完成了数据从数据源中的提取，对数据进行清洗处理并存储到hive中，提高了业务层提取数据的效率，在抽取过程中，项目使用的数据是公司内部数据，底层的数据包括用户浏览信息、用户加购信息、消费频次和消费主要渠
道，该内部数据由其他部门提供，在抽取阶段根据业务需求从大量数据中抽取业务层需要展现的数据，对无关数据进行过滤，在转换过程中，将数据按照业务模块或主题进行整合，形成与业务密切相关的主题表，以便上层业务使用，主题表包括用户全平台消费信息表、用户多店铺消费信息表和用户浏览品牌店铺表，在数据加载过程中，根据业务请求类型，将转换过程中产生的数据存储到mysql中，以便展示使用；
[0026]
所述数据服务模块是数据服务抽象出了底层的数据处理方法，生成工具类提供给上层业务使用，可以统称为数据服务工具，以此对数据进行统一的管理，抽象出的工具接口有文件格式转换、文件加解密、文件流转、文件切分和文件管理；
[0027]
所述品牌洞察模块包括4a资产部分和人群画像部分，4a资产部分包括4a资产总览、4a全链路和4a流转分析，通过4a资产的功能，可以对品牌进行持续追踪，人群画像部分的功能丰富的画像标签，可以对人群数据进行更精确的展现，其中维度包括用户基础属性、用户消费习惯和行业偏好；
[0028]
所述人群包管理模块包括人群挖掘功能、数据融合功能和人群应用功能，用户通人群挖掘功能进行人群数据挖掘，通过数据融合功能整合其它数据源数据，通过人群应用功能实现广告投放和人群拓展；
[0029]
所述模型管理模块主要实现了广告主和第三方数据服务商的快速数据建模功能、模型训练、模型评估和预估功能，在该模块中用户可以利用非代码的手段，通过点击、选择等操作将该流程简单化；
[0030]
所述运营管理模块主要对用户间关系进行管理并进行权限控制，在计费管理中，主要对数据挖掘、模型训练、模型评估和模型预估任务产生的数据消耗和机器资源消耗进行统计计费并得到相关数据。
[0031]
在一示例性实施例中，所述数据预处理模块在数据转换阶段将hive中存储的数据根据业务流程需求进行清洗，用户数据转换流程以脚本的形式执行，处理后的数据生成新的数据表进行存储，分别生成用户基本消费信息数据表和用户多店铺消费信息数据表，用户基本消费信息数据表和用户多店铺消费数据表是数据转换阶段的最终结果，数据转换为数据加载提供了数据基础，在数据加载过程中，例如用户选择标签进行人群挖掘，根据前端传入的挖掘条件，对数据表进行查询并将结果进行封装，以格式化json形式将结果和人物相关信息存储到人群挖掘表中，以便前台数据展现，其中信息转包括有用户基本消费信息转换和用户多店铺消费信息转换。所述数据服务模块包括有核心类子模块、流程子模块和接口子模块；其中核心类子模块包含有：transfermanager类和filemanager类；transfermanager类是实现文件流转的主要功能类，该类中封装了多平台的文件上传下载方法、文件平台间流转方法；filemanager类实现了文件的加解密、文件切分、文件格式转化和文件管理功能；流程子模块为底层数据服务工具主要的功能，是对数据文件进行操作，功能的实现皆由定义接口的形式暴露给上层的业务使用，当用户使用该数据分析和管理系统发起某些请求，前端会获取用户的账号名称、操作主体，前端请求文件注册接口，并且获得文件信息，判定文件大小是否符合上传格式需求和大小需求，如果不满足该条件，则提示用户上传数据格式或文件大小异常，如果满足该条件，则会统计文件数据量，获取文件属性和文件名，并调用加密算法对文件进行加密，最后将数据上传至集市并生成唯一文件标识对该文件进行注册，并将文件信息存入数据库中；接口子模块是底层数据服务皆由接口的形
式对上层提供功能实现，hive和hdfs文件形式转换的访问路径分别是/create/hdfs/hive/task和/create/hive/hdfs/task，hdfs转hive的入参分别是文件路径、设定的hive表名、回调地址和需要添加的header，hive转hdfs的入参是hive表名、即将存储到hdfs的url、回调地址、列名、选取条件。所述品牌洞察模块封装了summaryinfo类、linkflowsummary类和contactdistribution类，summaryinfo类实现了4a资产总览部分的信息汇总、更新和查询功能，查询方法有两种，其中query方法实现了根据品牌和类目进行信息查询，query方法实现了仅通过类目进行信息查询，linkflowsummary类实现了链路流转功能，根据传入的链路流转状态以及4a状态对流转人数进行查询，查询分为带品牌类目查询和只带品牌查询，contactdistribution类提供信息汇总、查询等功能，查询与4a资产总览相同分为两种，调用summarylnfo类中的查询方法，对相关hive表进行查询，并将查询结果存储在数据库中，结果包括消费者总量、日环比、周环比、潜客/顾客比、关系周加深率、感知日环比、吸引日环比、购买日环比、拥护日环比，并实现了趋势图的查询功能，分别实现了根据4a状态进行查询和通过指标进行查询。所述人群包管理模块包括有：人群挖掘、数据融合和人群应用三个部分，其中人群挖掘功能中用户可以根据所选条件设置挖掘规则，挖掘条件可以设置为交集或并集，通过人群挖掘模块用户可以获取目标人群，此外，在人群挖掘过程中需要对该人群包中人群数量进行统计，根据挖掘的数据量进行计费；数据融合部分主要实现对用户自上传的数据与系统中的内部数据进行融合，融合可以通过用户账号和用户手机号，根据这些唯一标识将用户的相关信息进行融合处理；人群应用部分主要实现了人群拓展和人群包投放的功能，人群拓展功能主要实现了以现有人群包为基础拓展出相似人群，人群投放功能对接了多个投放平台，将分析后的人群包推送到投放平台进行广告投放。所述模型管理模块被划分为三个子功能模块分别是configure server(配置服务，cs)、execute server(执行服务，es)、monitor server(监控服务、ms)；在cs中配置服务接收前端传入的配置参数，对参数进行校验并将可执行的任务写到任务队列中，在es中执行服务调用相关机器学习算法并调配机器资源来执行模型训练等任务，在ms监控服务中对执行的任务进行实时监控并更新状态；执行服务和监控服务会定期访问任务队列来完成各自的工作，此外，通过定期访问supervisor(sv)模块对各服务实现定期的请求，系统中的三个主要功能模块和sv都有独立的版本号，分别提供给公司中不同的业务线使用，版本号由主版本号和次版本号构成，一般在配置文件中以[主要版本号].[次要版本号]的形式体现。所述运营管理模块包括有账号管理和计费管理两大功能，在账号管理功能中，信息查询方法通过获取用户账号信息进行返回，信息修改方法首先对入参进行非空和长度校验，通过用户账号更新用户表的相关信息，并校验用户登录及组管理员角色和权限，根据查询条件获取子账号及isv授权情况，查询具备授权书且时间有效的所有isv，校验用户登录及组管理员角色和权限，校验是否具有授权书及授权书时间范围，校验是否己存在未审核或审核中的授权；计费管理部分主要统计两大类任务，一种是模型任务，在用户进行模型训练、模型评估和模型预估过程中，统计任务消耗的数据条数和消耗的机器台时，另外一种任务是大数据任务，包括人群挖掘和人群拓展，主要统计任务所产生的人群包量级，在数据服务模块中的数据统一注册管理进行统计，所有的统计信息将写入到计费信息相关表中，定时任务每十分钟扫描一次将产生的费用写入到队列中，队列中的数据等待统计和汇总为日账单和月账单。所述数据预处理模块、数据服务模块、品牌洞察模块、人群包管理模块、模型管理模块和运营管理模块
之间并列并在操作系统上共享线程空间。
[0032]
综上所述，本发明提供一种带大数据分析功能的电商管理系统，具有以下有益效果：该系统能够提供多元化数据的融合并能灵活的接入第三方提供的数据，为后一阶段的数据分析提供良好的先决条件，多样且全面的高质量数据能够帮助广告主进行更精准的分析。其次，为了应对电商行业不断的业务发展和市场开拓，系统对消费者的用户属性、购买行为、广告行为、搜索行为进行标签化，打造灵活的标签市场。多维化的标签能够帮助广告主更准确的圈定人群，以此数据进行拓展和用户拉新等操作，从而带来更好的广告投放效果。此外，系统应实现用户画像、消费者的消费生命周期统计，将结果以图表的形式在页面进行展示，让广告主通过视图化的数据更便捷的了解消费者。实现人群挖掘功能并结合机器学习算法对数据进行分析，可以达到对广告的差异化推送，实现营销策略上的千人千面。大数据分析和管理系统为广告业的精准营销和精准投放提供了决策依据和决策能力，能够准确的直击痛点，提升消费者的活跃度和留存度，做到利用数据驱动决策。
[0033]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。