一种基于动态优先级调整的离线数据加载方法与流程

本发明涉及电数字数据处理，尤其涉及一种基于动态优先级调整的离线数据加载方法。

背景技术：

1、近年来，随着物联网、人工智能等技术的快速发展，各种设备不断产生大量数据。尤其在资源有限、网络不稳定或需要进行批量处理的离线场景中，如何高效、及时地获取并管理这些数据成为了亟待解决的问题。在林业资源监测、地理空间分析、灾害管理等领域中，遥感数据集的规模日益增大，带来了巨大的存储和处理挑战。如何在保证数据质量的同时减小数据量，提升数据处理效率，成为了当前数据管理中的关键问题。

2、传统的数据加载和管理方法往往依赖于预设的静态策略，难以根据实际使用中的变化灵活调整数据加载的优先级，导致资源浪费、加载效率低下，甚至影响设备性能和用户体验。特别是在复杂的离线环境中，传统方法无法有效应对动态变化的需求，进而影响了系统的响应速度和整体性能。例如申请号为202411388666.9的发明专利申请，采用固化的网格模型，无法动态更新，影响准确性。尤其是在高分辨率遥感数据处理时，数据处理速度慢。

3、dqn（deep q-network，深度q网络）是一种结合了深度学习和强化学习的算法，用于解决马尔可夫决策过程(markov decision process，mdp)中的控制问题。它是基于值迭代(value lteration)的思想，通过估计每个状态动作对的价值函数（q值函数）来指导智能体在每个状态下选择最佳的动作。dqn算法中采用两个关键网络：主网络和目标网络。这两个网络本质上都是深度神经网络，但它们有不同的作用：主网络用于预测给定状态（s）和动作（a）下的预期奖励，也就是q值。q值表示智能体采取动作后期望获得的累积奖励。主网络通过与环境的交互来学习，不断更新其参数以更好地预测q值。目标网络是辅助网络，它的参数（θ'）是主网络参数（θ）的复制。目标网络的目的是为dqn算法提供一个稳定的训练目标，它使用与主网络相同的结构，但权重更新得更慢。目标网络通常在每隔一定次数的训练步骤后，直接复制主网络的参数。

技术实现思路

1、本发明的目的就在于提供一种解决上述问题，打破了传统基于静态规则的数据加载机制，能够根据设备和用户的实时需求自动调整加载优先级的，一种基于动态优先级调整的离线数据加载方法。

2、为了实现上述目的，本发明采用的技术方案是这样的：一种基于动态优先级调整的离线数据加载方法，包括以下步骤；

3、s1，用户通过设备访问整体数据，其中第i个数据块占用的数据空间为、设备访问整体数据d的可用空间为c，1≤i≤n；

4、s2，定义的综合价值；

5、，

6、，

7、，

8、其中，为权重参数，且，为的期望访问概率、为的重要性概率，为的重要性评分、为的未访问状态评分，e为自然常数，、分别为n个重要性评分的均值和标准差；

9、s3，将数据块加载过程创建为一马尔可夫决策过程，定义状态、动作、奖励；

10、所述状态包括已加载数据块索引集合和设备的剩余可用空间；

11、所述动作为选择下一可加载数据块，所述可加载数据块为未被加载且占用数据空间小于剩余可用空间的数据块；

12、所述奖励为动作中选择可加载数据块的综合价值；

13、s4，基于dqn算法建立主网络和目标网络，二者网络结构相同，所述主网络输入为状态，输出为该状态下执行动作的q函数值；

14、s5，在每个时间步执行动作生成经验，其中时间步t的经验为，、分别为时间步t、t+1的状态，为状态使q函数值最大的动作，为对应的可加载数据块的综合价值；

15、状态、动作对应的q函数值根据下式得到；

16、，

17、式中，t为预设的时间步总数，表示在状态和动作下进行期望计算，为折扣因子，k为时间步k，t≤k≤t, 时间步k对应的综合价值；

18、s6，预设迭代轮次、目标网络的更新时间间隔，基于经验回放训练主网络，以最小化损失函数l更新主网络参数，并在达到时，用主网络参数更新目标网络参数，直至达到迭代轮次，得到训练好的主网络和目标网络；

19、s7，用户访问整体数据，用训练好的主网络获取当前状态，计算该状态下各动作的q函数值，并选择q函数值最大的动作执行。

20、作为优选：、根据以下方法得到；

21、s21，预设的初始重要性评分、初始未访问状态评分，且所有数据块的、相同；

22、s22，当用户多次访问整体数据d时，统计被用户访问的次数、未被访问的次数，并根据下式更新的重要性评分、未访问状态评分；

23、，

24、 。

25、作为优选：步骤s4中，生成时间步t的经验包括步骤s41~s43；

26、s41，获取时间步t的状态，，其中为时间步t时已加载数据块的索引集合，为时间步t时设备的剩余可用空间；

27、s42，在状态时执行多个动作，将q函数值最大的动作标记为，将中可加载数据块的综合价值标记为；

28、s43，生成时间步t的经验，其中为时间步t+1的状态。

29、作为优选：s6中，损失函数l根据下式得到；

30、，

31、，

32、式中，y为状态、动作的目标值，为目标网络中，状态、动作时的q函数值最大值。

33、作为优选：所述整体数据为由林业遥感图像构成的图像集合。

34、与现有技术相比，本发明的优点在于：本发明基于dqn算法，通过实时监测设备中各数据块的访问频率，来确定数据块综合价值，从而评定数据块的重要性；并根据数据块实时的综合价值来确定数据块加载的顺序和权重，使不同数据块具有不同的优先级；最终通过对不同数据块的优先级动态分配，最大化有限资源的使用效率，确保在离线场景下设备能够快速获取最重要的数据。

35、所以，本发明打破了传统基于静态规则的数据加载机制，采用了一种自适应优化的策略，能够根据设备和用户的实时需求自动调整加载优先级。

36、通过这一方法，数据管理不再依赖于固定的加载规则，而是能够灵活应对各种复杂和动态的应用场景。特别是对于林业遥感数据等大规模数据集，该方法能够在离线环境中显著提升数据加载效率，降低系统响应时间，改善设备的整体性能，减少因过度加载不重要数据而带来的资源浪费。

技术特征：

1.一种基于动态优先级调整的离线数据加载方法，其特征在于：包括以下步骤；

2.根据权利要求1所述的一种基于动态优先级调整的离线数据加载方法，其特征在于：、根据以下方法得到；

3.根据权利要求1所述的一种基于动态优先级调整的离线数据加载方法，其特征在于：步骤s4中，生成时间步t的经验包括步骤s41~s43；

4.根据权利要求1所述的一种基于动态优先级调整的离线数据加载方法，其特征在于：s6中，损失函数l根据下式得到；

5.根据权利要求1所述的一种基于动态优先级调整的离线数据加载方法，其特征在于：所述整体数据为由林业遥感图像构成的图像集合。

技术总结
本发明公开了一种基于动态优先级调整的离线数据加载方法，属于电数字数据处理技术领域，包括步骤：用户通过设备访问整体数据；定义整体数据中各数据块的综合价值；将数据块加载过程创建为一马尔可夫决策过程，定义状态、动作、奖励；基于DQN算法建立主网络和目标网络；在每个时间步执行动作生成经验；基于经验回放训练主网络和目标网络；用户访问整体数据，用训练好的主网络选择下一可加载数据块。基于本发明方法，可使用户在访问整体数据时，根据实时反馈和监测需求自动调整加载优先级和策略，通过优先加载关键数据块，减少冗余计算，提升处理速度和处理的灵活性。

技术研发人员：李翔,王耿,欧立业,王琛,彭飞云,叶绍泽,邓超庆,李沅明
受保护的技术使用者：江西啄木蜂科技有限公司
技术研发日：
技术公布日：2025/3/24