数据实时读取传递方法及系统与流程

本发明涉及数据存储，具体地说是数据实时读取传递方法及系统。

背景技术：

1、随着科技的发展，人工智能技术发展突飞猛进，并且迅速进入了人们的生活领域。人工智能技术的蓬勃发展，使人们的生活迈入了更高的层次，人类文明由此进入智能化时代。人工智能存在于生活中的方方面面，比如能够提高人们工作和学习效率，减轻人们的劳作，为人们的生活增姿添彩。

2、各种技术的发展，实质上都离不开各种数据的支撑。数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，它是可识别的、抽象的符号。在人工智能系统中，数据是所有能输入计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称。在人工智能系统中，通过数据可以了解某个事物的当前状态，并根据当前状态，进行特定的处理，如果获得数据有滞后性，则无法进行及时处理，由此可见，数据的实时性是非常重要的。

3、如何实时读取数据并转发和存储数据，是需要解决的技术问题。

技术实现思路

1、本发明的技术任务是针对以上不足，提供数据实时读取传递方法及系统，来解决如何实时读取数据并转发和存储数据的技术问题。

2、第一方面，本发明一种数据实时读取传递方法，包括如下步骤：

3、s100、基于redis消息队列的消息主题订阅方式，约定消息主题；

4、s200、设定数据的存储方式；

5、s300、基于设定的存储方式，设定数据的存储信息，所存储信息包括存储地址；

6、s400、生产数据方向对应的消息主题中录入数据；

7、s500、对于录入的数据，判断数据是否需要存储，如果是，根据配置的存储方式对数据进行存储，并执行步骤s600，如果否，执行步骤s600；

8、s600、判断数据是否需要传递，如果是，按照配置的存储方式进行传递，并执行步骤s700，如果否，执行步骤s700；

9、s700、删除redis中已经处理的数据。

10、作为优选，基于redis消息队列的消息主题订阅方式，规定key值格式的消息主题，生产数据按照预定的消息主题，向对应的消息主题中录入数据。

11、作为优选，存储方式包括elasticsearch、数据库、redis；设置数据的存储方式，还包括设置http链接，将数据进行再次传递。

12、作为优选，如果存储方式为数据库，对应的存储信息包括数据库类型、url、端口、用户名及密码信息。

13、作为优选，生产数据方向对应的消息主题中录入数据时，手动通过命令录入数据方式进行模拟读取数据。

14、第二方面，本发明一种数据实时读取传递系统，用于通过如第一方面任一项所述的一种数据实时读取传递方法进行数据的实时读取以及传递，所述系统包括：

15、主题约定模块，所述主题约定模块用于基于redis消息队列的消息主题订阅方式，约定消息主题；

16、配置模块，所述配置模块用于设定数据的存储方式，并基于设定的存储方式，设定数据的存储信息，所存储信息包括存储地址；

17、录入模块，所述录入模块用于支持生产数据方向对应的消息主题中录入数据；

18、传递模块，所述传递模块用于执行如下：

19、l100、对于录入的数据，判断数据是否需要存储，如果是，根据配置的存储方式对数据进行存储，并执行步骤l200，如果否，执行步骤l200；

20、l200、判断数据是否需要传递，如果是，按照配置的存储方式进行传递，并执行步骤s700，如果否，执行步骤l300；

21、l300、删除redis中已经处理的数据。

22、作为优选，所述主题约定模块用于基于redis消息队列的消息主题订阅方式、规定key值格式的消息主题；

23、所述录入模块用于支持生产数据按照预定的消息主题，向对应的消息主题中录入数据。

24、作为优选，存储方式包括elasticsearch、数据库、redis；设置数据的存储方式，所述配置模块还用于设置http链接，将数据进行再次传递。

25、作为优选，如果存储方式为数据库，对应的存储信息包括数据库类型、url、端口、用户名及密码信息。

26、作为优选，生产数据方向对应的消息主题中录入数据时，所述录入模块用于支持手动通过命令录入数据方式进行模拟读取数据。

27、本发明的数据实时读取传递方法及系统具有以下优点：

28、1、可以实现对数据的实时读取及传递功能，保证系统数据的时效性；

29、2、可以在数据读取完成后及时清理，保证环境不会因为数据的增多而卡顿；

30、3、充分考虑了全国产环境下兼容性问题。

技术特征：

1.一种数据实时读取传递方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的数据实时读取传递方法，其特征在于，基于redis消息队列的消息主题订阅方式，规定key值格式的消息主题，生产数据按照预定的消息主题，向对应的消息主题中录入数据。

3.根据权利要求1所述的数据实时读取传递方法，其特征在于，存储方式包括elasticsearch、数据库、redis；设置数据的存储方式，还包括设置http链接，将数据进行再次传递。

4.根据权利要求1所述的数据实时读取传递方法，其特征在于，如果存储方式为数据库，对应的存储信息包括数据库类型、url、端口、用户名及密码信息。

5.根据权利要求1所述的数据实时读取传递方法，其特征在于，生产数据方向对应的消息主题中录入数据时，手动通过命令录入数据方式进行模拟读取数据。

6.一种数据实时读取传递系统，其特征在于，用于通过如权利要求1-5任一项所述的一种数据实时读取传递方法进行数据的实时读取以及传递，所述系统包括：

7.根据权利要求6所述的一种数据实时读取传递系统，其特征在于，所述主题约定模块用于基于redis消息队列的消息主题订阅方式、规定key值格式的消息主题；

8.根据权利要求6所述的一种数据实时读取传递系统，其特征在于，存储方式包括elasticsearch、数据库、redis；设置数据的存储方式，所述配置模块还用于设置http链接，将数据进行再次传递。

9.根据权利要求6所述的一种数据实时读取传递系统，其特征在于，如果存储方式为数据库，对应的存储信息包括数据库类型、url、端口、用户名及密码信息。

10.根据权利要求6所述的一种数据实时读取传递系统，其特征在于，生产数据方向对应的消息主题中录入数据时，所述录入模块用于支持手动通过命令录入数据方式进行模拟读取数据。

技术总结
本发明公开了数据实时读取传递方法及系统，属于数据存储技术领域，要解决的技术问题为如何实时读取数据并转发和存储数据。包括如下步骤：S100、基于Redis消息队列的消息主题订阅方式，约定消息主题；S200、设定数据的存储方式；S300、基于设定的存储方式，设定数据的存储信息；S400、生产数据方向对应的消息主题中录入数据；S500、判断数据是否需要存储，如果是，根据配置的存储方式对数据进行存储，并执行步骤S600，如果否，执行步骤S600；S600、判断数据是否需要传递，如果是，按照配置的存储方式进行传递，并执行步骤S700，如果否，执行步骤S700；S700、删除Redis中已经处理的数据。

技术研发人员：赵敏,牛毅恒
受保护的技术使用者：浪潮软件集团有限公司
技术研发日：
技术公布日：2024/1/15