一种智能物联网多模态数据感知方法

本发明属于物联网领域，涉及一种智能物联网多模态数据感知方法。

背景技术：

1、近年来，物联网(iot)终端设备大规模普及，导致终端多模态数据和连接井喷式增长，海量数据连接需要更高计算能力的iot网络架构实现多模态数据的及时分析和处理。随着万物智联时代临近，物联网(iot)与人工智能(ai)被视为重塑未来商业模式，甚至是变革人类生活模式的关键所在。通信技术的升级仅解决了物联网的联网层面问题，如何对多源异构、体量巨大、价值密度低的多模态数据进行灵活精准感知与智能融合计算，从而为物联网用户提供时效性、智慧化、个性化的服务是物联网发展的瓶颈所在。大数据和人工智能技术的发展，可以对感知平台所收集的大量多模态感知数据进行分析和挖掘，从而产生更多的应用和价值。多模态感知的发展源于移动互联网、社交网络、物联网、大数据和人工智能等多个领域的技术进步，为实现智能化、自动化、高效化的数据采集和分析提供了有力支撑。

2、在智慧城市中，感知数据天然以“多模态”的形式存在，这种多模态体现在各种物联网终端对环境的多模态感知所带来的多种模式的数据信息。智慧城市中的自动驾驶、智慧医疗和智慧办公等场景的实现离不开对于多模态数据的感知。感知平台通过招募移动工人完成对多模态数据的收集，由于大多数工人的出行具有重复性，工人会在不同的时间段有序的范围一些特定的多模态感知任务区域。不同的多模态感知任务区域存在时空相关性，通过分析工人执行任务的移动轨迹可以了解不同工人的移动模式，有利于感知平台进行多模态感知数据任务分配，从而提高任务完成率和多模态感知数据质量。首先感知成本影响着多模态感知任务分配，感知平台完成任务分配后会根据任务成本给予完成多模态感知任务的工人奖励。但是每个工人的感知能力和信誉度不同，如果给予所有工人一样的奖励，会造成提供高质量多模态感知数据的工人不愿意接受任务，从而影响多模态感知任务的完成率。其次，感知工人的移动性受到时空特征的影响，例如：有些工人在特定时间段会去特定的多模态感知数据任务位置，有些工人经常爱去特定的多模态感知数据位置等。以上研究忽略了时空特征对于移动性预测的影响，会导致感知工人的移动性预测准确率低，影响多模态感知任务分配，降低多模态感知的任务完成率，从而影响感知平台的利益。

3、目前，已有一些关于多模态数据感知方法的研究工作。wange,yangy,jiew在“anefficient prediction-based user recruitment for mobile crowdsensing”【in ieeetransactions on mobile computing,pp(1):1-1,2018】利用感知工人不同的价格计划将工人分为现收现付payg和按月支付paym两种类型，利用马尔科夫模型来预测工人到达多模态感知任务poi区域的时间概率分布，提出了基于移动性预测的工人招募算法来最小化多模态感知数据上传成本。yang y,liu w,wang e在“a prediction-based user selectionframework for heterogeneous mobile crowdsensing”【in ieee transactions onmobile computing,18(11):2460-2473,2019】考虑到多模态感知任务具有不同的时空要求，首先利用基于马尔科夫模型的感知工人移动性预测模型来获得工人完成多模态感知任务的概率，然后提出了一种贪婪的离线算法进行感知工人招募，对于在线模式，提出一种在线的多模态感知任务分配算法，有效提高了多模态感知任务完成率。zhu x,luo y,liu a在“a deep learning-based mobile crowdsensing scheme by predicting vehiclemobility”【in ieee transactions on intelligent transportation systems,pp(99):1-12,2020】

4、为了招募移动车辆在城市中收集多模态感知数据，提出了一种基于深度学习的lstm模型来预测车辆的移动性，然后基于预测结果利用在线的贪婪算法来对移动车辆分配多模态感知任务，提高了收集的多模态感知数据的数量。zhang j,zhang x在“multi-taskallocation in mobile crowd sensing with mobility prediction”【in ieeetransactions on mobile computing,pp(99):1-1,2021】研究了移动性工人的多模态感知任务分配问题，利用模糊逻辑对感知工人的移动性进行预测，然后基于预测结果提出了全局启发式算法ggpso，有效提高了感知工人性预测准确率和多模态感知任务完成率。但是，上述方法在对感知工人移动性预测时忽略了时空关系对于感知工人移动性的影响，导致感知工人移动性预测不准确，多模态感知数据收集质量降低，感知平台的效用受损。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种智能物联网多模态数据感知方法。首先由于工人会在不同时间段有序地访问其他一些特定多模态感知任务poi区域。时间注意力机制自适应地将更大的权重分配给具有更高相关性的位置以进行目标位置预测，以提高预测的准确性。因此，可以通过比较这些权重的值来定量分析不同感知工人位置序列中潜在时间的出行规律来提取时间注意力权重。由于工人更加倾向于完成离自己比较近的任务，对于相邻任务区域的任务更加相关。为了捕捉空间因素对于感知工人移动性预测的影响，通过基于高斯核函数来构造空间注意力权重，从而挖掘出时空关系对于感知工人移动性预测的影响。利用带有时空注意力机制的gru工人移动性预测模型对感知工人进行移动性预测。在获取了不同感知工人的移动规律后，然后提供一种基于移动性预测的多模态感知任务效用最大化任务分配方法以提高了多模态感知任务的效用和完成率。

2、为达到上述目的，本发明提供如下技术方案：

3、一种智能物联网多模态数据感知方法，该方法包括以下步骤：

4、s1：构建基础的门控循环单元结构gru预测模型；gru由隐藏状态和单元记忆组成，分别存储过去输入序列的信息，并通过门控机制控制输入和输出之间的信息流；以下递归方程表示gru的工作原理；

5、rt＝σ(wr·[ht-1,xt])

6、zt＝σ(wz·[ht-1,xt])

7、

8、

9、其中记忆增量由当前输入信息和过去记忆累加形成，重置门rt控制着过去记忆在当前记忆增量中的重要性，更新门zt控制过去记忆与当前记忆增量的比例，当前记忆ht受到更新门zt和记忆增量的影响；其中xt是输入向量，wr，wz，为学习参数的线性变化矩阵；

10、s2：构建基于编码解码的gru预测模型：基于编码解码的gru预测框架由一个编码器网络和一个解码器网络组成，分别读取和生成变长序列；编码器网络递归地输入代表工人wi长度为t的轨迹长度序列wt＝{wt1,wt2,…,wtt}，并通过公式ht＝gru(xt,ht-1)在每个时间步t更新隐藏状态向量ht，其中ht取决于当前输入xt和先前的隐藏状态ht-1；最后经过t时间步后编码器将整个输入序列wt＝{wt1,wt2,…,wtt}汇总为最终向量ht；

11、s3：构建时间注意力机制：解码器使用从编码器传递来ht作为其初始单元存储状态向量，其中h0′＝ht；通过将其隐藏状态ht′与解码阶段gru单元前一时刻的隐藏状态ht-1′和t-1时刻预测值yt-1′非线性组合，然后通过对时间注意力权重进行归一化操作，然后对权重及隐藏状态进行加权求和得到隐藏状态的权重h′；

12、s4：构建空间注意力机制：通过基于高斯的核函数来为不同任务poi区域之间分配权重，其中为不同任务poi区域的距离，κ为距离缩放参数；利用计算空间注意力分数函数，然后通过计算空间注意力的权重，最后利用得到编码器第t个隐藏状态的权重；其中wi′，wi，ui为模型训练过程的参数矩阵，bi为偏置向量；

13、s4：构建带有时空注意力机制的gru预测模型：对工人移动性进行预测，最后完成解码后，通过全连接层后利用softmax函数输出t时刻工人出现在位置的预测概率函数preij；

14、

15、s5：感知平台预先获取多模态感知任务的任务需求；

16、s6：构建感知工人的多模态感知数据质量分数模型；

17、s7：构建感知工人的信誉度模型；

18、s8：构建基于数据感知质量要求和感知成本约束的感知平台效用最大化模型；

19、s9：构建基于移动性预测的多模态感知任务效用最大化任务分配方法对多模态感知任务进行分配；

20、s10：感知工人分配的多模态感知任务，去完成多模态感知任务，然后将收集的多模态感知数据上传至感知平台，感知平台对多模态感知数据进行处理聚合后将多模态感知数据结果反馈给任务请求者并对工人分发奖励；

21、s3：构建群体兴趣模型：基于个人兴趣预测模型对群组用户＝{u1,u2,...,ui,...,um}的实体兴趣列表进行联合推理，获取群组用户的实体兴趣列表其中表示的实体ei的流行度，m表示用户总数。

22、可选的，所述s6和s7具体为：

23、首先多模态感知数据通常受到工人提交多模态感知数据的准确性wtq和感知工人信誉度wrp影响，工人wj完成多模态感知任务tj的多模态感知数据均值为工人wj完成任务tj的感知数据标准偏差为然后对多模态感知数据的标准偏差进行归一化处理得到工人提交多模态感知数据的准确性wtq，当用户的多模态感知数据准确性wtq越接近1时，说明用户提交的多模态感知数据越可靠；反之用户提交的多模态感知数据越不可靠；

24、

25、对感知工人的信誉度计算，其中sij代表任务请求者对工人wi执行多模态任务tj的满意程度，sij∈(0,1)；λh-e为衰减函数，因为随着多模态感知任务完成次数的不断增加，已经完成的多模态感知任务对于工人的信誉度评估影响权重越来越低；

26、

27、可选的，所述s8具体为：

28、首先利用多模态感知任务的数据质量约束和任务需求约束建立如下优化目标，其中优化目标系统效用函数u(t)是任务效用与平台效用之和，其中preij为工人wi出现在任务tj的概率；约束c1为成本约束，即最终感知平台支付给工人的总奖励不会超过多模态感知任务的总成本b，其中xij为0-1向量，当工人wi接受多模态感知任务tj时为1，否则为0；约束c2为工人wi在多模态感知任务poi位置停留时间wt在多模态感知任务感知时间stj内；c3为工人提交多模态感知数据的感知质量分数不能低于阈值tθ；

29、

30、可选的，所述s9具体为：

31、首先利用基于移动性预测的多模态感知任务效用最大化任务分配方法对感知平台效用最大化模型进行求解，包括初始粒子生成过程、粒子变异优化以及多模态感知任务分配过程三个步骤；

32、初始粒子优化过程：传统粒子群算法pso是一种模拟鸟类捕食行为的进化算法，一群鸟通过群体中个体之间的协作和信息共享来寻找食物；通过公式vt+1＝wvt+c1r1(pbestt-xt)+c2r2(gbestt-xt)和xt+1＝xt+vt+1来不断改变鸟的位置和速度来搜索离食物最近的区域；其中t为当前时间步长，w为惯性权重，c1、c2为加速度系数，r1和r2为[0,1]中的随机数，vt和xt分别是粒子i在t时刻的速度和位置，pbestt为粒子i的个人最佳位置，gbestt是全局的最佳位置；以随机方式初始化粒子群；存在平衡不良和粒子多样性差的问题；

33、粒子变异优化过程：混沌序列具有随机性和遍历性，在初始化时采用混沌序列来改善粒子的分布性和多样性；

34、

35、

36、其中li,d为粒子的坐标，dmax和dmin代表粒子的边界，yi(·)为三次映射数学模型；为提高映射的分布多样性，位置信息被嵌入到粒子的生成中时需要应满足公式(17)中的cos(xi,xj)小于阈值ε；

37、为克服算法提前收敛，引入混沌变异来帮助粒子逃离局部最优；将粒子当前最优位置pbest映射到logistic域中；然后通过logistic方程对yk进行迭代后得到混沌序列然后通过计算每个可行解向量的自适应值与原最优解比较得到可信解向量

38、

39、

40、多模态感知任务分配过程：针对基于数据感知质量要求和感知成本约束的多模态感知任务分配问题，引入惩罚函数来计算自适应度函数ffitness(l)；

41、

42、

43、其中ρ为介于0到1之间的随机数，xij为0-1向量，rij为感知工人完成多模态感知任务后的奖励，bij代表多模态感知任务的预算成本，tsq为多模态感知任务的质量分数，tθ为感知平台对发布的多模态感知任务的任务质量阈值，u(t)为感知平台的效用函数；

44、通过波函数计算所有量子粒子的平均最优位置mbestt，利用pi(t)＝rpbest(t)+(1-r)gbest(t)和得到粒子的位置更新方式；其中m为粒子群个数，pbest(t)和gbest(t)分别为粒子在t时刻迭代的个人最佳位置和全局最佳位置，r为控制参数，值为正负1概率各一半，u为(0,1)之间均匀分布的随机数；

45、最后，工人基于自己的日常移动路线接受多模态感知任务，完成多模态感知任务提交多模态感知数据，感知平台对感知工人提供的多模态感知数据进行处理和聚合，然后对完成多模态感知任务的工人发布奖励，同时将多模态感知数据返回给任务请求者。

46、本发明的有益效果在于：本发明提出的一种智能物联网多模态数据感知方法，首先利用感知工人会在不同时间段有序地访问多模态感知数据任务poi区域，通过时间注意力权重和空间注意力权重来构建时空注意力机制，利用时空注意力机制自适应地将更大的权重分配给具有更高相关性的位置以进行感知工人对于多模态数据任务的位置预测，以提高预测的准确性。然后基于感知工人移动性预测结果提出基于移动性预测的多模态感知任务效用最大化任务分配方法为感知工人分配多模态感知任务，在保证多模态感知数据质量的情况下，有效提高了感知平台的效用和多模态感知任务的完成率。

47、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。