一种SQL数据库的大数据录入方法与流程

本发明涉及数据录入方法，具体为一种sql数据库的大数据录入方法。

背景技术：

1、sql(structured query language)是具有数据操纵和数据定义等多种功能的数据库语言，这种语言具有交互性特点，能为用户提供极大的便利，数据库管理系统应充分利用sql语言提高计算机应用系统的工作质量与效率。sql语言不仅能独立应用于终端，还可以作为子语言为其他程序设计提供有效助力，该程序应用中，sql可与其他程序语言一起优化程序功能，进而为用户提供更多更全面的信息。

2、随着科技的进步，在电子商务活动中，经常需要在大数据中找到需要的信息，通过找到的信息来获取客户资料实现精准定位客户。

3、现有的大数据录入多为人工录入，通过人工将获取的信息录入至sql数据库中，以供使用，无法实现高效的获取信息。

4、可见，亟需一种sql数据库的大数据录入方法，用于高效的获取录入信息，以提升电子商务活动中的效率。

技术实现思路

1、本发明正是针对现有技术中存在的问题，提供一种sql数据库的大数据录入方法，以解决上述背景技术中提出的问题。

2、为了实现上述目的，本发明的技术方案如下，一种sql数据库的大数据录入方法，包括以下步骤：

3、s1.进行大数据抓取，通过网络中多设备及通讯接口，获取大数据信息；

4、s2.经过s1步骤后，对获取的信息进行筛选，从而删选出有用的信息，并进行临时储存；

5、s3.经过s2步骤后，将获取的信息进行排列，生成便于阅读的超级列表框，并在列表框中将信息通过类别进行分类显示；

6、s4.将分类的信息存储至分布式系统中的对应客户端的sql数据库中进行长期储存，以便客户端进行读取；

7、s5.在sql数据库对信息进行储存的时候，对信息进行加密，并设定访问权限；

8、s6.客户端进行权限验证后访问sql，根据权限的不同访问sql数据库中的不同内容和操作权限。

9、优选的，所述大数据抓取包括以下步骤：

10、s11.设置检索关键词，并生成关键词列表；

11、s12.通过关键词列表进行网络检索，并抓取网络信息中含有关键词的信息；

12、s13.将获取的信息进行临时缓存，以方便后续读取。

13、优选的，所述检索关键词为多个，多个检索关键词并列存在，并将多个并列关键词进行组合检索。

14、优选的，组合检索为关键词单独检索、两两组合检索和多词组组合检索，从而在不同组合模式下获取不同的信息。

15、优选的，所述筛选包括以下步骤：

16、s21.对比大数据抓取的信息，从而去除重合的项目；

17、s22.对比大数据抓取的信息中的干扰项目进行剔除，以减少信息量；

18、s23.对剔除后的信息进行权重设置。

19、优选的，权重设置为将获取的信息根据与关键词的匹配度进行匹配，与关键词匹配度越高的信息权重越中，匹配度越低的信息权重越低。

20、优选的，权重设置为设置匹配码，根据信息权重的不同分配不同的匹配码，通过匹配码来进行权重区分。

21、优选的，所述超级列表框根据获取的权重码将信息进行排列，并分多个分页，不同权重的信息分别分布加以区分，且每条信息均带有超链接。

22、优选的，sql数据库包含读取权限和操作权限，操作权限分为普通权限、高级权限和完全权限。

23、与现有技术相比，本发明所达到的有益效果是：

24、第一、本发明通过在sql大数据录入前设置大数据抓取的步骤，通过设置关键词检索，在互联网上获取需要的相关信息，并将信息进行整理录入到sql数据中，以供客户端进行读取调用，达到了自动通过大数据录入有用信息的效果，从而提升电子商务寻找商机的便捷性。

25、第二、本发明通过在大数据抓取与sql数据库录入之间设置筛选的步骤，通过进行信息对比，以剔除重复信息，并将信息进行权重分配，生成超级列表对信息按照权重进行分类，达到了减少信息占用sql数据库存储量，并便于客户端读取信息的效果。

26、第三、本发明通过对sql数据库进行权限设置，从而使普通用于只能查询数据，授权后的客户端才能对信息进行操作，且对操作的权限进行进一步的限定，以提升数据的安全性。

技术特征：

1.一种sql数据库的大数据录入方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的sql数据库的大数据录入方法，其特征在于，s1.进行大数据抓取，包括以下步骤：

3.根据权利要求2所述的sql数据库的大数据录入方法，其特征在于，所述检索关键词为多个，多个检索关键词并列存在，并将多个并列关键词进行组合检索，组合检索为关键词单独检索、两两组合检索和多词组组合检索，从而在不同组合模式下获取不同的信息。

4.根据权利要求3所述的sql数据库的大数据录入方法，其特征在于，s2.经过s1步骤后，对获取的信息进行筛选，所述筛选包括以下步骤：

5.根据权利要求4所述的sql数据库的大数据录入方法，其特征在于，s2中权重设置为将获取的信息根据与关键词的匹配度进行匹配，与关键词匹配度越高的信息权重越中，匹配度越低的信息权重越低，权重设置为设置匹配码，根据信息权重的不同分配不同的匹配码，通过匹配码来进行权重区分。

6.根据权利要求5所述的sql数据库的大数据录入方法，其特征在于，s3中，超级列表框根据获取的权重码将信息进行排列，并分多个分页，不同权重的信息分别分布加以区分，且每条信息均带有超链接。

7.根据权利要求6所述的sql数据库的大数据录入方法，其特征在于，s5中sql数据库包含读取权限和操作权限，操作权限分为普通权限、高级权限和完全权限。

技术总结
本发明涉及一种SQL数据库的大数据录入方法，所述方法包括以下步骤：S1.进行大数据抓取，通过网络中多设备及通讯接口，获取大数据信息；S2.对获取的信息进行筛选，从而删选出有用的信息，并进行临时储存；S3.将获取的信息进行排列，生成便于阅读的超级列表框，并在列表框中将信息通过类别进行分类显示；S4.将分类的信息存储至分布式系统中的对应客户端的SQL数据库中进行长期储存，以便客户端进行读取；S5.在SQL数据库对信息进行储存的时候，对信息进行加密，并设定访问权限；S6.客户端进行权限验证后访问SQL，根据权限的不同访问SQL数据库中的不同内容和操作权限；该方案提升电子商务寻找商机的便捷性，提升数据的安全性。

技术研发人员：肖瑶,余金鹏,盛磊,李美华,陈晨,沈文祥,程林,杜胜军
受保护的技术使用者：上海梅山钢铁股份有限公司
技术研发日：
技术公布日：2024/12/30