基于马尔科夫决策过程的任意感染图下早期疫情检测方法

本发明涉及信息，尤其是一种针对任意个体数n、任意感染图一定检测约束条件下，目标为最小化检测到感染者出现的平均延迟的早期疫情检测方法。

背景技术：

1、在传染病群体检测的问题中，大多数工作关注静态、单次的检测问题。但在实际中，人群中感染者的出现，感染的传染、检测都是动态、持续的。目前也有少部分工作关注了动态的群体检测问题，这些工作关注对称传播模型和算法或是在每个阶段都选择了固定不变的个体进行检测，而利用群体中个体的联系结构或是在每个阶段都选择不同的个体进行检测用以提高检测的效率是有意义的。另外，尽早在人群中发现疫情的发生对于防止疫情的广泛传播是重要的。现有检测方法只适用于对称感染图或是检测方案每个阶段不能检测不同个体的情况。

技术实现思路

1、本发明目的在于提供了一种基于马尔科夫决策过程的任意感染图下早期疫情检测方法，针对任意个体数n，任意感染图每天测试容量为m，所有个体的要在τ天内至少检测1次的检测约束条件下，目标为最小化检测到感染者出现的平均延迟的检测策略确定方法，利用模型下检测结果阴性的条件概率，将问题建模成马尔科夫决策过程，并用策略迭代的方法解决，得到了基于马尔科夫决策过程的任意感染图下早期疫情检测方法，已解决任意感染图下每个阶段可以检测不同个体的的早期疫情检测技术问题。

2、技术方案：本发明采用的技术方案如下：

3、一种基于马尔科夫决策过程的任意感染图下早期疫情检测方法，包括如下步骤：

4、步骤1、对于n个个体，根据每天测试容量m和所有个体要在τ天内至少检测1次的检测约束条件，基于马尔科夫决策过程的模型定义系统的状态空间

5、步骤2、定义系统的动作空间为状态s的可行动作空间，即：其中为t时刻的系统动作，定义为该时刻系统选择检测的个体的集合，[n]＝{1,2,…n}为n个个体组成的集合，测试容量m为每个时刻允许检测的个体数量，s(i)为向量s中的第i项，表示集合s(1),s(2),…,s(τ-1)的并；

6、步骤3、定义系统的状态转移概率其中p(s'|s,a)表示系统在当前状态s下，作出动作a，进入下一状态s'的概率，设置如下：

7、

8、s(i)为向量s中的第i项；

9、步骤4、定义系统的奖励其中r(s,a)表示系统在状态下，作出动作时的奖励；

10、步骤5、设置折扣系数λ＝(1-p)n，p为在n个个体均未感染时，每个未感染个体在下一时刻被感染的概率，利用策略迭代算法求解建立的马尔可夫决策过程模型得到最优策略π*，策略π是从状态空间到动作空间的一个映射，a＝π(s)。

11、进一步的，步骤1设置状态空间如下：

12、时刻t时的系统状态st是时刻t之前τ-1个时刻检测策略的记录，即其中表示时刻i检测的个体的集合，表示整数集，状态空间为所有存在个体集合满足检测约束条件的状态组成的集合，即：

13、

14、其中测试容量m为每个时刻允许检测的个体数量，表示集合的并。

15、进一步的，步骤4系统在状态下，作出动作时的奖励r(s,a)的设置过程如下：

16、首先，针对n个个体和感染图得到个体感染状态u(t)的状态转移概率，即经过一个阶段的感染传播个体感染状态从u变为v的概率πuv：

17、

18、其中p为在n个个体均未感染时，每个未感染个体在下一时刻被感染的概率，·1表示向量·的一范数，向量u∈{0,1}n和v∈{0,1}n表示n个个体的感染状态，ui表示向量u的第i个元素，vi表示向量v的第i个元素，ui＝1表示个体i被感染，否则ui＝0，感染图是根据这些个体之间的联系建立起来的具有顶点集和随机边集的无向随机图，每个顶点代表一个唯一的个体，每条边表示个体之间的联系，节点i和节点j之间的每条边都以概率cij独立存在，即感染图的边的权重cij表示当个体i被感染时，下一时刻个体j被个体i传染的概率；

19、接着计算系统在状态下，作出动作时的奖励r(s,a)：

20、

21、其中，对于i∈[2,τ-1]，的计算分为如下子步骤：

22、步骤4.1、令迭代次数k＝0，对于所有u∈{0,1}n计算函数g0(u,s,a,i)：

23、

24、其中是满足检测结果为阴性的个体状态的集合，即s(τ-i+1)是当前前i-1个时刻检测的个体的集合，是向量s的第τ-i+1项；

25、步骤4.2、令k＝k+1；若k＜i继续顺序执行，否则跳转至步骤4.6；

26、步骤4.3、根据当前前i-k-1时刻检测的个体集s(τ-i+1+k)或a，得到满足检测结果为阴性的个体状态的集合

27、

28、步骤4.4、对于所有u∈{0,1}n依次计算函数hk(u,s,a,i)，fk(s,a,i)，gk(u,s,a,i)：

29、

30、

31、

32、步骤4.5、回到步骤4.2；

33、步骤4.6、计算函数

34、

35、进一步的，步骤5的策略迭代算法包括如下子步骤：

36、步骤5.1、初始化状态空间动作空间状态转移概率矩阵奖励函数折扣系数λ，将所有按一定顺序排列，依次记为s(1),s(2),…,s(|s|)；

37、步骤5.2、任意给出初始化策略π0，迭代次数k初始化为0；

38、步骤5.3、计算策略为π0时的期望价值更新策略为π1：

39、

40、步骤5.4、迭代次数k自加1；

41、步骤5.5、计算策略为πk时的期望价值更新策略为πk+1：

42、

43、步骤5.6、重复步骤5.4和5.5直到πk＝πk+1，即策略πk和策略πk+1一致；

44、步骤5.7、得到最优检测策略π*＝πk；

45、其中，表示迭代次数为k时的策略，是从状态空间到动作空间的一个映射，a＝πk(s)，表示自然数集，是策略为π时的状态转移矩阵，是一个的矩阵，是策略为π时的奖励向量，是一个的向量，i是的单位矩阵。

46、有益效果：本发明提出了一种基于马尔科夫决策过程的任意感染图下早期疫情检测方法，这一方法基于马尔科夫决策过程，通过对检测到感染者出现的平均延迟的数学建模及计算并合理设计马尔科夫决策过程的状态空间、动作空间、状态转移矩阵、奖励和折扣系数，将在一定检测约束条件下最小化平均延迟的问题转化为一个常见的马尔科夫决策过程的求解，最终对于一组相互感染的概率由感染图给出的个体设计了满足一定检测约束条件的检测策略，并且检测到感染者出现的平均延迟最小。

技术特征：

1.一种基于马尔科夫决策过程的任意感染图下早期疫情检测方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于马尔科夫决策过程的任意感染图下早期疫情检测方法，其特征在于，步骤1设置状态空间s如下：

3.如权利要求1所述的基于马尔科夫决策过程的任意感染图下早期疫情检测方法，其特征在于，步骤4系统在状态下，作出动作时的奖励r(s,a)的设置过程如下：

4.如权利要求1所述的基于马尔科夫决策过程的任意感染图下早期疫情检测方法，其特征在于，步骤5的策略迭代算法包括如下子步骤：

技术总结
本发明公开了一种基于马尔科夫决策过程的任意感染图下早期疫情检测方法。方法实施过程包括根据检测约束条件定义马尔科夫决策过程的状态空间、动作空间、状态转移概率，根据感染图模型计算个体感染状态间的转移概率，以检测阴性的条件概率定义马尔科夫决策过程的奖励函数，通过策略迭代算法得到决策结果。这一方法基于马尔科夫决策过程，对于一组相互感染的概率由感染图给出的个体设计了满足检测约束条件的检测策略，并且检测到感染者出现的平均延迟最小。

技术研发人员：康维,陆沁怡,刘楠
受保护的技术使用者：东南大学
技术研发日：
技术公布日：2024/1/15