数据处理方法、装置、电子设备和计算机存储介质与流程

本发明涉及数据处理，尤其是涉及一种数据处理方法、装置、电子设备和计算机存储介质。

背景技术：

1、在企业生产制造的过程中，通常需要对各类产品、物料、设备等进行多样性的性能测试，以保证产品的质量。新能源汽车周边产品检测领域，对于产品检测结果数据保存这一做法，普遍是将数据保存到设备的某一磁盘的某一目录文件下，或者是设备上mysql等关系型数据库，抑或者是通过将数据上传至mes系统。这种情况下，对于不同产品检测的不同数据，非固定格式数据，若要调取这些数据做后续统计分析，以用户可视化的图表等方式呈现出来的话，需要以一种比较耗时的遍历数据的方法来实现。且后期检测需求变化，数据存储格式也变化的话，需要频繁改动文件格式，或者是关系型数据库格式，抑或者是mes接口，这种方式将不利于应用的可持续维护，且对于后期数据以一种几何级指数增长的话，也不能做到快速统计分析。

2、进一步的，若数据保存至设备上某一磁盘目录的某一文件中，不仅前期存这一操作会受到各种逻辑上的判断等操作的性能和效率影响；对于，mysql等关系型数据库，数据是存放在磁盘中，对于数据后续取操作存在io转换耗时操作，特别是遇到大批量数据的情况下，用户如果频繁调取该批数据进行图表展示、分析数据、提取信息的话，非常降低效率。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种数据处理方法、装置、电子设备和计算机存储介质，通过配置非关系型数据库进行存储数据，简化了数据频繁调动的算法，提高了存取数据的效率，提升了用户体验。

2、第一方面，本发明实施例提供了一种数据处理方法，应用于服务器，服务器与非关系型数据库连接；非关系型数据库包括至少一个副本集，每个副本集包括多个节点；该方法包括：在服务器配置非关系型数据库包括的至少一个副本集；其中，服务器配置的目标副本集的数据在目标副本集包括的多个节点之间互相复制；在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库；获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中。

3、在本申请一些较佳的实施例中，在服务器配置非关系型数据库包括的至少一个副本集的步骤之前，方法还包括：对应每个节点分别建立日志文件、配置文件和数据目录。

4、在本申请一些较佳的实施例中，每个副本集包括：一个主节点、多个次节点和多个仲裁节点；在服务器配置非关系型数据库包括的至少一个副本集的步骤，包括：如果所述服务器为集群环境，为每个节点分配ip地址；指定每个节点的监听端口；将副本集与主节点的ip地址连接；将次节点的ip地址添加到与主节点的ip地址连接的副本集中；将仲裁节点的ip地址添加到与主节点的ip地址连接的副本集中；如果所述服务器为单机环境，指定每个所述节点的监听端口。

5、在本申请一些较佳的实施例中，配置访问端口的内容，还包括：建立自启动访问端口，将自启动访问端口与节点连接。

6、在本申请一些较佳的实施例中，在服务器配置非关系型数据库包括的至少一个副本集的步骤之后，方法还包括：在项目配置文件中输入非关系型数据库依赖包；建立管理配置文件，在管理配置文件中配置非关系型数据库连接池；建立事务配置文件，在事务配置文件中配置非关系型数据库事务管理器。

7、在本申请一些较佳的实施例中，方法还包括：安装查询插件；将查询插件与非关系型数据库连接；基于查询插件在服务器配置的目标副本集查询数据。

8、在本申请一些较佳的实施例中，非关系型数据库包括：mongodb数据库。

9、第二方面，本发明实施例提供了一种数据处理装置，应用于服务器，服务器与非关系型数据库连接；非关系型数据库包括至少一个副本集，每个副本集包括多个节点；该装置包括：副本集配置模块，用于在服务器配置非关系型数据库包括的至少一个副本集；其中，服务器配置的目标副本集的数据在目标副本集包括的多个节点之间互相复制；访问端口配置模块，用于在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库；数据插入模块，用于获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中。

10、第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述任一项的数据处理方法。

11、第四方面，本发明实施例提供了一种可读存储介质，可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述任一项的数据处理方法。

12、本发明实施例提供了一种数据处理方法、装置、电子设备和计算机存储介质，应用于服务器，服务器与非关系型数据库连接；非关系型数据库包括至少一个副本集，每个副本集包括多个节点；该方法包括：在服务器配置非关系型数据库包括的至少一个副本集；其中，服务器配置的目标副本集的数据在目标副本集包括的多个节点之间互相复制；在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库；获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中；通过配置非关系型数据库进行存储数据，简化了数据频繁调动的算法，提高了存取数据的效率，提升了用户体验。

技术特征：

1.一种数据处理方法，其特征在于，应用于服务器，非关系型数据库搭载在所述服务器上；所述非关系型数据库包括至少一个副本集，每个所述副本集包括多个节点；所述方法包括：

2.根据权利要求1所述的数据处理方法，其特征在于，在所述服务器配置所述非关系型数据库包括的至少一个副本集的步骤之前，所述方法还包括：

3.根据权利要求1所述的数据处理方法，其特征在于，每个所述副本集包括：一个主节点、多个次节点和多个仲裁节点；

4.根据权利要求1所述的数据处理方法，其特征在于，配置访问端口的内容，还包括：

5.根据权利要求1所述的数据处理方法，其特征在于，在所述服务器配置所述非关系型数据库包括的至少一个副本集的步骤之后，所述方法还包括：

6.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

7.根据权利要求1至6任一项所述的数据处理方法，其特征在于，所述非关系型数据库包括：mongodb数据库。

8.一种数据处理装置，其特征在于，应用于服务器，非关系型数据库搭载在所述服务器上；所述非关系型数据库包括至少一个副本集，每个所述副本集包括多个节点；所述装置包括：

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的数据处理方法。

10.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的数据处理方法。

技术总结
本发明实施例提供了一种数据处理方法、装置、电子设备和计算机存储介质，应用于服务器，服务器与非关系型数据库连接；非关系型数据库包括至少一个副本集，每个副本集包括多个节点；该方法包括：在服务器配置非关系型数据库包括的至少一个副本集；其中，服务器配置的目标副本集的数据在目标副本集包括的多个节点之间互相复制；在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库；获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中；通过配置非关系型数据库进行存储数据，简化了数据频繁调动的算法，提高了存取数据的效率，提升了用户体验。

技术研发人员：舒伟,李德满,董汉,陈超
受保护的技术使用者：苏州清研精准汽车科技有限公司
技术研发日：
技术公布日：2024/1/14