一种面向品牌电商的大数据信息服务方法和系统与流程

本发明涉及大数据和信息处理技术领域，具体地说，是一种面向品牌电商的大数据信息服务方法和体统。

背景技术：

电子商务的蓬勃发展让一大批企业走出了经营困境，进入了一个崭新的发展时期。企业在电子商务这一业态的环境中，逐渐赢得了口碑，忠诚的用户群体和品牌价值。电子商务的互联网化、信息化、数据化的本质特征驱动着这些品牌商家不断精益优化着自己的运营能力，否则就要被市场淘汰。有诸多的解决方案和系统被设计和开发出来，目的是能够为品牌商家提供数据服务，以便他们能够更好地经营自己的品牌、产品和市场。典型的解决方案有如下几类：

客户关系管理系统(crm)，核心在于消费者用户行为分析和画像描绘。这一类系统往往是品牌客户的刚需，并且具有成熟的方法体系和模式。随着大数据和ai技术的兴起，经典的crm也逐步融入了新的元素，比如海量客户信息的管理和智能检索，用自然语言处理技术来分析用户评论和消费体验，等等。

商务运营和智能决策支持系统，主要关注在市场营销、产品销售和物流配送，以及财务等方面的高效管理。同样随着大数据场景的不断丰富，这类系统也加入了很多智能化的元素，即通过算法来解决基于大数据的优化问题。

o2o场景驱动下的智能硬件和物联网解决方案。很多具有线下业务，比如门店的客户会把上线和线下业务场景打通。

以上方案的一个共性问题就是只将关注点或研究对象放在了品牌商家自有范围的数据和流程上，而没有放大到行业和领域的范围，也就是说忽视了大环境下的多元竞争关系。这对于高端的品牌商来说，在当今开放竞争和高速发展的市场环境下，并不能有效解决他们的痛点。

目前，品牌商在电子商务运营中的大数据整理分析和价值发现的问题，具体地讲包括如下几个方面：

1.品牌商的产品、业务运营和消费者体验数据的接入、管理和分析；

2.竞争对手的发展情报的收集和分析，以及对商业行为的洞察；

3.行业数据的收集、管理和分析，发现市场趋势和商业机会；

4.通过大数据和ai手段综合各方面的数据，发现规律和价值点。

以上这些问题的研究对象从品牌方自身，到竞争对手，再到整个行业，从一个全局视角审视商业态势，洞察市场机会，这里所面临的挑战是很大的，主要有：

1.数据来源广：除了品牌自有数据(通常是品牌自己系统内沉淀的数据以及电商平台上面积累的数据)之外，还要获取其他竞争对手的数据，以及行业相关数据(比如社交网络、自媒体渠道、公共媒体网站，等等)；有些数据是长期被忽略的但很有价值，比如在线客服聊天数据；有些品牌是国际品牌，所以还需要收集相关海外媒体的信息；

2.数据量大：与单个品牌相关的单一维度的数据每年就会产生几千万甚至上亿条，而这里所涉及的维度从十几个到几十个不等，再加上历史积累的数据，所以数据量非常庞大；

3.数据格式复杂：数据的格式不仅仅限于结构化、数字化的数据，还包括非结构化、自然语言形式的数据，以及多媒体数据，图片、音频、视频等；

4.数据信息量大：非结构化数据和多媒体数据包含的信息量比结构化、数字化的数据要大得多；这些信息都是隐含的，需要被挖掘；

5.潜在价值挖掘难度大：针对中高端品牌客户在电子商务这一业务板块上的市场机会发现和市场价值挖掘尚没有一个很好的模型能够作为指导；

当然最大的难度还是在于目前尚没有能够有效应对这些问题的统一解决方案。本发明尝试用系统化的方法解决上述问题，为中高端品牌客户提供一个立足全行业视角的大数据服务方案。

中国专利文献：cn201711136040.9，申请日2017.11.16，专利名称为：基于大数据的移动端电商用户画像建立与分析方法及系统。公开了一种基于大数据的移动端电商用户画像建立与分析方法，包括以下步骤：获取用户离线数据；根据识别码将不同数据源的数据融合形成离线知识库；对离线数据进行归一化、离散化及属性约简等预处理；根据定制的标签规则对离线数据进行特征提取，构建用户基础标签；对标签数据进行权重及时间衰减因子处理，建立基于质量保证集qps聚类算法的用户画像离线预测模型；利用预测模型对离线知识库进行数据聚类挖掘，得到移动端的电商用户画像；对于在线行为数据进行分布式处理再和离线模型融合。

中国专利文献：cn201711407517.2，申请日2017.12.22，专利名称为：一种基于大数据处理的电子商务运营管理方法。公开了一种基于大数据处理的电子商务运营管理方法，包括以下步骤：提取用户购买行为的偏好特征数据，并将偏好特征数据传输至用户信息管理模块；用户信息管理模块对偏好特征数据进行处理提取用户感兴趣的商品特征属性，并将用户注册信息和用户感兴趣的商品特征属性存储至用户特征库；当用户在网站网页中搜索商品时，抽样模块从商品信息库中调取符合搜索结果的商品，并将所述符合搜索结果的商品与用户特征库中存储的用户感兴趣的商品特征属性进行比对，并将比对结果按符合性进行排序；过滤模块对抽样模块中输出的结果进行过滤；个性化推荐模块将处理后的排序结果呈现在网站网页中。本发明具有准确性好、工作效率高、应用范围广的优点。

上述专利文献cn201711136040.9中的基于大数据的移动端电商用户画像建立与分析方法及系统，在大数据环境下分析移动端电商交易的海量数据，能够快速的分析实时用户行为并进行实时画像融合，构建出多维度用户画像，利于对电商用户全面分析；而cn201711407517.2中的一种基于大数据处理的电子商务运营管理方法，采用抽样模块从商品信息库中调取符合搜索结果的商品，并将所述符合搜索结果的商品与用户特征库中存储的用户感兴趣的商品特征属性进行比对，过滤模块对抽样模块中输出的结果进行过滤；个性化推荐模块将处理后的排序结果呈现在网站网页中，具有准确性好、工作效率高、应用范围广的优点。但是关于一种打破商业数据方案的典型模式，整合企业内部和外部行业的全领域大数据，以更高的全局观视角来分析和挖掘数据价值，实现数据获取、清洗整理、分析和价值挖掘的一站式平台，从数据到价值，实现快速触达，大幅度提升整体商业智能的效率，为中高端品牌企业客户打造私有数据分析空间，可以实现高度定制化并有效保障数据隐私和安全性的一种面向品牌电商的大数据信息服务方法和系统目前则没有相关的报道。

综上所述，亟需一种打破商业数据方案的典型模式，整合企业内部和外部行业的全领域大数据，以更高的全局观视角来分析和挖掘数据价值，实现数据获取、清洗整理、分析和价值挖掘的一站式平台，从数据到价值，实现快速触达，大幅度提升整体商业智能的效率，为中高端品牌企业客户打造私有数据分析空间，可以实现高度定制化并有效保障数据隐私和安全性的一种面向品牌电商的大数据信息服务方法和系统。

技术实现要素：

本发明的目的是针对现有技术中的不足，提供一种打破商业数据方案的典型模式，整合企业内部和外部行业的全领域大数据，以更高的全局观视角来分析和挖掘数据价值，实现数据获取、清洗整理、分析和价值挖掘的一站式平台，从数据到价值，实现快速触达，大幅度提升整体商业智能的效率，为中高端品牌企业客户打造私有数据分析空间，可以实现高度定制化并有效保障数据隐私和安全性的一种面向品牌电商的大数据信息服务方法和系统。

为实现上述目的，本发明采取的技术方案是：

一种面向品牌电商的大数据信息服务方法，其特征在于，所述的面向品牌电商的大数据信息服务方法包括s1.数据对接、s2.数据分析、s3.统一建模、s4.数据清洗、s5.构建分析模型、s6.挖掘深度商业价值。

作为一种优选的技术方案，所述的s1对接电商运营的各系统的业务运营数据，包括客户关系管理系统，订单系统，仓储物流管理系统。

作为一种优选的技术方案，所述的s2通过分布式数据采集模块收集外部平台或渠道的数据和信息，先以半结构化的方式存储在采集子系统的数据库中。

作为一种优选的技术方案，所述的s3根据s1和s2整合的数据进行统一的元模型设计，制定数据规范，所述元模型的结构要分为两个层次，第一个层次是面向电商行业的通用模型层，第二个层次是面向企业特定业务的私有模型层；通用模型可以用来支持私有模型的设计和构建，作为私有模型的基础组件，而私有模型可以看做是通用模型的扩展和在特定业务领域内的具体化。

作为一种优选的技术方案，所述的s4以s3设计的统一元模型作为标准，对s1、s2得到的数据进行清洗，去除不合格的噪音数据，规范化数据格式，将数据按照元模型标准装载到大数据存储系统中。

作为一种优选的技术方案，所述的s5基于s4得到的数据并结合统一元模型设计用于进行大数据分析的分析模型，并将模型存储在分析模型仓库中。

作为一种优选的技术方案，所述的s6包括通过特定的数据挖掘和深度学习技术来进一步分析多元变量之间的内在相关性，趋势预测，非结构化数据和多媒体数据的复杂聚类分析。

本发明优点在于：

1、打破商业大数据方案的典型模式，整合企业内部和外部行业的全领域大数据，以更高阶的全局视角来分析和挖掘数据价值。

2、实现数据获取、清洗整理、分析和价值挖掘的一站式平台，从数据到价值，实现快速触达，大幅提升整体商业智能的效率。

3、为中高端品牌企业客户打造的私有数据分析空间，可以实现高度定制化并有效保障数据隐私和安全性。

附图说明

附图1是本发明软件系统模块结构示意图。

具体实施方式

下面结合附图对本发明提供的具体实施方式作详细说明。

实施例1

本发明所述方法可以实现为一套计算机软件系统，即品牌电商大数据分析服务系统；系统的基本结构图如图1所示。

本发明的主体过程如下：

1.数据对接：对接电商运营的各系统的业务运营数据，比如客户关系管理系统，订单系统，仓储物流管理系统等；通过既定的应用程序接口，消息队列以及数据库的直接导出的手段都可以实现；这一功能可以通过统一的数据接入模块来实现；

2.数据收集：通过分布式数据采集模块收集外部平台或渠道的数据和信息，先以半结构化的方式存储在采集子系统的数据库中；

3.统一建模：根据第一步和第二步整合的数据进行统一的元模型设计，制定数据规范；这一步的目的是为了整合内外部数据，形成一个定义清晰，实体之间有机结合的统一整体，从行业和企业业务规范上建立完整的数据蓝图；需要特别注意的是，元模型的结构要分为两个层次，第一个层次是面向电商行业的通用模型层，第二个层次是面向企业特定业务的私有模型层；通用模型可以用来支持私有模型的设计和构建，作为私有模型的基础组件，而私有模型可以看做是通用模型的扩展和在特定业务领域内的具体化；这一步功能可以通过单独的统一元模型管理模块来实现；

4.数据清洗：以第3步设计的统一元模型作为标准，对第1、2步得到的数据进行清洗，即去除不合格的噪音数据，规范化数据格式，将数据按照元模型标准装载到大数据存储系统中；这一步的功能可以通过数据清洗和整合模块来完成；

5.构建分析模型：基于第4步得到的数据并结合统一元模型设计用于进行大数据分析的分析模型，并将模型存储在分析模型仓库中；行业和领域级的分析模型可以被各个品牌商家共享，而不同品牌商家的分析模型可能是不一样的，在模型仓库中需要为不同品牌方开设专属的私有分析模型空间；这一步的建模工作由大数据分析模块来完成；公有和私有的分析模型都可以对大数据进行高效的处理，并给出一系列的统计分析结果，用于呈现数据的数值特征和相关性；

6.挖掘深度商业价值：第5步得到的模型尚不具备深度洞察数据价值的能力；需要特定的数据挖掘和深度学习技术来进一步分析多元变量之间的内在相关性，趋势预测，非结构化数据和多媒体数据的复杂聚类分析；这样才能够把企业内部产生的数据和外部大环境收集来的数据进行内在融合，并发掘出更有商业价值的数据关系；这一步通过智能挖掘模型来实现，不同品牌商客户需要专属的空间来管理智能挖掘算法和结果，彼此之间相互隔离。

本发明的一种面向品牌电商的大数据信息服务方法和系统，一旦投入使用，可以实现以下技术效果：

1.打破商业大数据方案的典型模式，整合企业内部和外部行业的全领域大数据，以更高阶的全局视角来分析和挖掘数据价值；

2.实现数据获取、清洗整理、分析和价值挖掘的一站式平台，从数据到价值，实现快速触达，大幅提升整体商业智能的效率；

3.为中高端品牌企业客户打造的私有数据分析空间，可以实现高度定制化并有效保障数据隐私和安全性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。