监测方法、装置、设备、介质及程序产品与流程

本技术涉及通信，特别涉及一种监测方法、装置、设备、介质及程序产品。

背景技术：

1、移动性优化(mobility optimization)是第五代移动通信技术(5th generationmobile communication technology，5g)与人工智能(artificial intelligence，ai)技术结合的典型场景之一，具体的预测场景可以分为如下两大类：对用户设备(userequipment，ue)移动轨迹进行预测；对ue的无线资源管理(radio resource management，rrm测量)、切换失败(handover failure，hof)/无线链路失败(radio link failure，rlf)或测量事件进行预测。通过对上述两种基于ai的移动性预测场景的分析，可以看出针对rrm测量、hof/rlf或测量事件进行预测的场景，预测信息和反馈信息的交互更加复杂。特别是ai/机器学习(machine learning，ml)模型(model)位于终端侧的情况，ue可以利用ai/mlmodel对自身的rrm测量、hof/rlf、测量事件等进行预测，针对不同类型的预测，ue上报给网络设备的预测信息各不相同。然而，对于每一类的预测信息，网络设备均未评估预测精度，从而导致无法保障终端切换性能。

技术实现思路

1、本技术实施例提供一种监测方法、装置、设备、介质及程序产品，以解决相关技术中无法保障终端切换性能的问题。

2、为解决上述技术问题，本技术是这样实现的：

3、第一方面，本技术实施例提供一种监测方法，应用于网络设备，所述方法包括：

4、对第一信息进行功能和/或模型性能监测，所述第一信息包括无线资源管理rrm测量预测信息，失败事件预测信息和测量事件预测信息中的至少一项。

5、可选地，所述方法还包括：

6、接收终端发送的第一消息，所述第一消息包括所述第一信息。

7、可选地，所述对第一信息进行功能和/或模型性能监测包括：

8、统计性能指标信息，并基于所述性能指标信息确定预测精度是否满足性能要求；

9、在确定所述预测精度不满足预设要求的情况下，向终端发送第二消息，所述第二消息用于指示所述终端调整移动性预测功能和/或模型。

10、可选地，所述方法还包括：

11、基于所述第一信息生成第一移动性决策，所述第一移动性决策用于确定所述终端的目标切换小区；

12、向所述终端发送第三消息，所述第三消息用于指示所述目标切换小区。

13、可选地，所述基于所述第一信息生成第一移动性决策，包括：

14、基于所述第一信息中的rrm测量预测信息，比较第一预设时间段内服务小区和候选目标小区的rrm测量预测结果；

15、在所述第一预设时间段内所述候选目标小区的rrm测量预测结果大于或者等于所述服务小区的rrm测量预测结果的情况下，或者，在所述第一预设时间段内所述候选目标小区的rrm测量预测结果大于或者等于第一预设值的情况下，确定第一移动性决策，所述第一移动性决策用于将所述候选目标小区确定为目标切换小区。

16、可选地，所述基于所述第一信息生成第一移动性决策，包括：

17、基于所述第一信息中的失败事件预测信息，计算距离失败事件的预计发生时间的时长；

18、在所述时长大于小区切换准备时长的情况下，生成第一移动性决策。

19、可选地，所述基于所述第一信息生成第一移动性决策，包括：

20、基于所述第一信息中的测量事件预测信息，判断所述终端是否会出现失败事件；

21、在确定所述终端会出现失败事件的情况下，生成第一移动性决策。

22、可选地，所述统计性能指标信息，并基于所述性能指标信息确定预测精度是否满足性能要求，包括：

23、对第二预设时间段内的性能指标进行统计，得到第一性能指标值，所述性能指标信息包括所述第一性能指标值；

24、在所述第一性能指标值小于第二预设值，且所述第一移动性决策是基于预测值产生的情况下，确定预测精度不满足性能要求。

25、可选地，所述统计性能指标信息，并基于所述性能指标信息确定预测精度是否满足性能要求，包括：

26、基于所述rrm测量预测信息中的预测值生成第二移动性决策；

27、基于所述rrm测量预测信息中的实测值生成第三移动性决策；

28、统计所述第二移动性决策对应的第二性能指标值，以及所述第三移动性决策对应的第三性能指标值，所述性能指标信息包括所述第二性能指标值和所述第三性能指标值；

29、在所述第二性能指标值和所述第三性能指标值的差值大于第三预设值的情况下，确定预测精度不满足性能要求。

30、可选地，所述第二消息包括以下至少一项：

31、第三指示信息，所述第三指示信息用于指示预测信息类型；

32、第四指示信息，所述第四指示信息用于指示所述终端提高移动性预测精度；

33、第五指示信息，所述第五指示信息用于指示所述终端提高预测精度的预测信息类型；

34、第六指示信息，所述第六指示信息用于指示所述终端进行停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项；

35、第七指示信息，所述第七指示信息用于指示所述终端停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项的预测信息类型；

36、第八指示信息，所述第八指示信息用于指示预测配置信息。

37、可选地，所述rrm测量预测信息包括以下至少一项：

38、无线信息质量指标信息，所述无线信息质量指标信息包括实测值和预测值；

39、第一指示信息，所述第一指示信息用于指示所述无线信息质量指标信息为实测值或者预测值；

40、第二指示信息，所述第二指示信息用于指示测量减少对应的时域、频域或者空域图样；

41、所述终端的预测相关信息；

42、预测置信度、预测准确度或者预测精度；

43、无线信息质量指标信息中的预测值的产生时刻或者时段；

44、无线信息质量指标信息中预测值对应的预测时刻或者时段。

45、可选地，所述失败事件预测信息包括以下至少一项：

46、失败事件的预计发生时刻或者时段；所述失败事件的事件类型；所述失败事件的位置信息；所述失败事件对应的rrm测量信息；所述失败事件预测信息的产生时刻或者时段。

47、可选地，所述测量事件预测信息包括以下至少一项：

48、测量事件的预计满足时刻或者时段；所述测量事件的类型；所述测量事件预测信息的产生时刻或者时段。

49、第二方面，本技术实施例提供一种监测方法，应用于终端，所述方法包括：

50、向网络设备发送第一消息，所述第一消息包括无线资源管理rrm测量预测信息，失败事件预测信息和测量事件预测信息中的至少一项；

51、其中，所述第一消息用于所述网络设备进行功能和/或模型性能监测。

52、可选地，所述方法还包括：

53、接收所述网络设备发送的第二消息，所述第二消息用于指示所述终端调整移动性预测功能和/或模型。

54、可选地，所述第二消息包括以下至少一项：

55、第三指示信息，所述第三指示信息用于指示预测信息类型；

56、第四指示信息，所述第四指示信息用于指示所述终端提高预测精度；

57、第五指示信息，所述第五指示信息用于指示所述终端提高预测精度的预测信息类型；

58、第六指示信息，所述第六指示信息用于指示所述终端进行停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项；

59、第七指示信息，所述第七指示信息用于指示所述终端停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项的预测信息类型；

60、第八指示信息，所述第八指示信息用于指示预测配置信息。

61、可选地，所述方法还包括：

62、基于所述第二消息调整移动性预测的配置信息和/或模型输入信息；

63、或者，基于所述第二消息确定提高预测精度的预测信息类型；

64、或者，基于所述第二消息确定停止预测、暂停预测或去激活预测的预测信息类型。

65、可选地，所述方法还包括：

66、接收所述网络设备发送的第三消息，所述第三消息用于指示所述终端的目标切换小区。

67、可选地，所述rrm测量预测信息包括以下至少一项：

68、无线信息质量指标信息，所述无线信息质量指标信息包括实测值和预测值；

69、第一指示信息，所述第一指示信息用于指示所述无线信息质量指标信息为实测值或者预测值；

70、第二指示信息，所述第二指示信息用于指示测量减少对应的时域、频域或者空域图样；

71、所述终端的预测相关信息；

72、预测置信度、预测准确度或者预测精度；

73、无线信息质量指标信息中的预测值的产生时刻或者时段；

74、无线信息质量指标信息中预测值对应的预测时刻或者时段。

75、可选地，所述失败事件预测信息包括以下至少一项：

76、失败事件的预计发生时刻或者时段；所述失败事件的事件类型；所述失败事件的位置信息；所述失败事件对应的rrm测量信息；所述失败事件预测信息的产生时刻或者时段。

77、可选地，所述测量事件预测信息包括以下至少一项：

78、测量事件的预计满足时刻或者时段；所述测量事件的类型；所述测量事件预测信息的产生时刻或者时段。

79、第三方面，本技术实施例提供一种监测装置，包括：

80、监测模块，用于对第一信息进行功能和/或模型性能监测，所述第一信息包括无线资源管理rrm测量预测信息，失败事件预测信息和测量事件预测信息中的至少一项。

81、可选地，所述装置还包括：

82、第一接收模块，用于接收终端发送的第一消息，所述第一消息包括所述第一信息。

83、可选地，所述监测模块包括：

84、统计单元，用于统计性能指标信息，并基于所述性能指标信息确定预测精度是否满足性能要求；

85、发送单元，用于在确定所述预测精度不满足预设要求的情况下，向终端发送第二消息，所述第二消息用于指示所述终端调整移动性预测功能和/或模型。

86、可选地，所述装置还包括：

87、生成模块，用于基于所述第一信息生成第一移动性决策，所述第一移动性决策用于确定所述终端的目标切换小区；

88、发送模块，用于向所述终端发送第三消息，所述第三消息用于指示所述目标切换小区。

89、可选地，所述生成模块包括：

90、比较单元，用于基于所述第一信息中的rrm测量预测信息，比较第一预设时间段内服务小区和候选目标小区的rrm测量预测结果；

91、确定单元，用于在所述第一预设时间段内所述候选目标小区的rrm测量预测结果大于或者等于所述服务小区的rrm测量预测结果的情况下，或者，在所述第一预设时间段内所述候选目标小区的rrm测量预测结果大于或者等于第一预设值的情况下，确定第一移动性决策，所述第一移动性决策用于将所述候选目标小区确定为目标切换小区。

92、可选地，所述生成模块包括：

93、计算单元，用于基于所述第一信息中的失败事件预测信息，计算距离失败事件的预计发生时间的时长；

94、第一生成单元，用于在所述时长大于小区切换准备时长的情况下，生成第一移动性决策。

95、可选地，所述生成模块包括：

96、判断单元，用于基于所述第一信息中的测量事件预测信息，判断所述终端是否会出现失败事件；

97、第二生成单元，用于在确定所述终端会出现失败事件的情况下，生成第一移动性决策。

98、可选地，所述统计单元具体用于：

99、对第二预设时间段内的性能指标进行统计，得到第一性能指标值，所述性能指标信息包括所述第一性能指标值；

100、在所述第一性能指标值小于第二预设值，且所述第一移动性决策是基于预测值产生的情况下，确定预测精度不满足性能要求。

101、可选地，所述统计单元具体用于：

102、基于所述rrm测量预测信息中的预测值生成第二移动性决策；

103、基于所述rrm测量预测信息中的实测值生成第三移动性决策；

104、统计所述第二移动性决策对应的第二性能指标值，以及所述第三移动性决策对应的第三性能指标值，所述性能指标信息包括所述第二性能指标值和所述第三性能指标值；

105、在所述第二性能指标值和所述第三性能指标值的差值大于第三预设值的情况下，确定预测精度不满足性能要求。

106、可选地，所述第二消息包括以下至少一项：

107、第三指示信息，所述第三指示信息用于指示预测信息类型；

108、第四指示信息，所述第四指示信息用于指示所述终端提高移动性预测精度；

109、第五指示信息，所述第五指示信息用于指示所述终端提高预测精度的预测信息类型；

110、第六指示信息，所述第六指示信息用于指示所述终端进行停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项；

111、第七指示信息，所述第七指示信息用于指示所述终端停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项的预测信息类型；

112、第八指示信息，所述第八指示信息用于指示预测配置信息。

113、可选地，所述rrm测量预测信息包括以下至少一项：

114、无线信息质量指标信息，所述无线信息质量指标信息包括实测值和预测值；

115、第一指示信息，所述第一指示信息用于指示所述无线信息质量指标信息为实测值或者预测值；

116、第二指示信息，所述第二指示信息用于指示测量减少对应的时域、频域或者空域图样；

117、所述终端的预测相关信息；

118、预测置信度、预测准确度或者预测精度；

119、无线信息质量指标信息中的预测值的产生时刻或者时段；

120、无线信息质量指标信息中预测值对应的预测时刻或者时段。

121、可选地，所述失败事件预测信息包括以下至少一项：

122、失败事件的预计发生时刻或者时段；所述失败事件的事件类型；所述失败事件的位置信息；所述失败事件对应的rrm测量信息；所述失败事件预测信息的产生时刻或者时段。

123、可选地，所述测量事件预测信息包括以下至少一项：

124、测量事件的预计满足时刻或者时段；所述测量事件的类型；所述测量事件预测信息的产生时刻或者时段。

125、第四方面，本技术实施例提供一种网络设备，包括处理器，所述处理器用于：

126、对第一信息进行功能和/或模型性能监测，所述第一信息包括无线资源管理rrm测量预测信息，失败事件预测信息和测量事件预测信息中的至少一项。

127、可选地，所述网络设备还包括收发机，所述收发机用于：

128、接收终端发送的第一消息，所述第一消息包括所述第一信息。

129、可选地，所述处理器具体用于：

130、统计性能指标信息，并基于所述性能指标信息确定预测精度是否满足性能要求；

131、在确定所述预测精度不满足预设要求的情况下，向终端发送第二消息，所述第二消息用于指示所述终端调整移动性预测功能和/或模型。

132、可选地，所述处理器还用于：

133、基于所述第一信息生成第一移动性决策，所述第一移动性决策用于确定所述终端的目标切换小区；

134、所述收发机，还用于向所述终端发送第三消息，所述第三消息用于指示所述目标切换小区。

135、可选地，所述处理器具体用于：

136、基于所述第一信息中的rrm测量预测信息，比较第一预设时间段内服务小区和候选目标小区的rrm测量预测结果；

137、在所述第一预设时间段内所述候选目标小区的rrm测量预测结果大于或者等于所述服务小区的rrm测量预测结果的情况下，或者，在所述第一预设时间段内所述候选目标小区的rrm测量预测结果大于或者等于第一预设值的情况下，确定第一移动性决策，所述第一移动性决策用于将所述候选目标小区确定为目标切换小区。

138、可选地，所述处理器具体用于：

139、基于所述第一信息中的失败事件预测信息，计算距离失败事件的预计发生时间的时长；

140、在所述时长大于小区切换准备时长的情况下，生成第一移动性决策。

141、可选地，所述处理器具体用于：

142、基于所述第一信息中的测量事件预测信息，判断所述终端是否会出现失败事件；

143、在确定所述终端会出现失败事件的情况下，生成第一移动性决策。

144、可选地，所述处理器具体用于：

145、对第二预设时间段内的性能指标进行统计，得到第一性能指标值，所述性能指标信息包括所述第一性能指标值；

146、在所述第一性能指标值小于第二预设值，且所述第一移动性决策是基于预测值产生的情况下，确定预测精度不满足性能要求。

147、可选地，所述处理器具体用于：

148、基于所述rrm测量预测信息中的预测值生成第二移动性决策；

149、基于所述rrm测量预测信息中的实测值生成第三移动性决策；

150、统计所述第二移动性决策对应的第二性能指标值，以及所述第三移动性决策对应的第三性能指标值，所述性能指标信息包括所述第二性能指标值和所述第三性能指标值；

151、在所述第二性能指标值和所述第三性能指标值的差值大于第三预设值的情况下，确定预测精度不满足性能要求。

152、可选地，所述第二消息包括以下至少一项：

153、第三指示信息，所述第三指示信息用于指示预测信息类型；

154、第四指示信息，所述第四指示信息用于指示所述终端提高移动性预测精度；

155、第五指示信息，所述第五指示信息用于指示所述终端提高预测精度的预测信息类型；

156、第六指示信息，所述第六指示信息用于指示所述终端进行停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项；

157、第七指示信息，所述第七指示信息用于指示所述终端停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项的预测信息类型；

158、第八指示信息，所述第八指示信息用于指示预测配置信息。可选地，所述rrm测量预测信息包括以下至少一项：

159、无线信息质量指标信息，所述无线信息质量指标信息包括实测值和预测值；

160、第一指示信息，所述第一指示信息用于指示所述无线信息质量指标信息为实测值或者预测值；

161、第二指示信息，所述第二指示信息用于指示测量减少对应的时域、频域或者空域图样；

162、所述终端的预测相关信息；

163、预测置信度、预测准确度或者预测精度；

164、无线信息质量指标信息中的预测值的产生时刻或者时段；

165、无线信息质量指标信息中预测值对应的预测时刻或者时段。

166、可选地，所述失败事件预测信息包括以下至少一项：

167、失败事件的预计发生时刻或者时段；所述失败事件的事件类型；所述失败事件的位置信息；所述失败事件对应的rrm测量信息；所述失败事件预测信息的产生时刻或者时段。

168、可选地，所述测量事件预测信息包括以下至少一项：

169、测量事件的预计满足时刻或者时段；所述测量事件的类型；所述测量事件预测信息的产生时刻或者时段。

170、第五方面，本技术实施例提供一种监测装置，包括：

171、发送模块，用于向网络设备发送第一消息，所述第一消息包括无线资源管理rrm测量预测信息，失败事件预测信息和测量事件预测信息中的至少一项；

172、其中，所述第一消息用于所述网络设备进行功能和/或模型性能监测。

173、可选地，所述装置还包括：

174、第二接收模块，用于接收所述网络设备发送的第二消息，所述第二消息用于指示所述终端调整移动性预测功能和/或模型。

175、可选地，所述第二消息包括以下至少一项：

176、第三指示信息，所述第三指示信息用于指示预测信息类型；

177、第四指示信息，所述第四指示信息用于指示所述终端提高预测精度；

178、第五指示信息，所述第五指示信息用于指示所述终端提高预测精度的预测信息类型；

179、第六指示信息，所述第六指示信息用于指示所述终端进行停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项；

180、第七指示信息，所述第七指示信息用于指示所述终端停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项的预测信息类型；

181、第八指示信息，所述第八指示信息用于指示预测配置信息。可选地，所述装置还包括：

182、调整模块，用于基于所述第二消息调整移动性预测的配置信息和/或模型输入信息；

183、或者，第一确定模块，用于基于所述第二消息确定提高预测精度的预测信息类型；

184、或者，第二确定模块，用于基于所述第二消息确定停止预测、暂停预测或去激活预测的预测信息类型。

185、可选地，所述方法还包括：

186、第三接收模块，用于接收所述网络设备发送的第三消息，所述第三消息用于指示所述终端的目标切换小区。

187、可选地，所述rrm测量预测信息包括以下至少一项：

188、无线信息质量指标信息，所述无线信息质量指标信息包括实测值和预测值；

189、第一指示信息，所述第一指示信息用于指示所述无线信息质量指标信息为实测值或者预测值；

190、第二指示信息，所述第二指示信息用于指示测量减少对应的时域、频域或者空域图样；

191、所述终端的预测相关信息；

192、预测置信度、预测准确度或者预测精度；

193、无线信息质量指标信息中的预测值的产生时刻或者时段；

194、无线信息质量指标信息中预测值对应的预测时刻或者时段。

195、可选地，所述失败事件预测信息包括以下至少一项：

196、失败事件的预计发生时刻或者时段；所述失败事件的事件类型；所述失败事件的位置信息；所述失败事件对应的rrm测量信息；所述失败事件预测信息的产生时刻或者时段。

197、可选地，所述测量事件预测信息包括以下至少一项：

198、测量事件的预计满足时刻或者时段；所述测量事件的类型；所述测量事件预测信息的产生时刻或者时段。

199、第六方面，本技术实施例提供一种终端，包括收发机，所述收发机用于：

200、向网络设备发送第一消息，所述第一消息包括无线资源管理rrm测量预测信息，失败事件预测信息和测量事件预测信息中的至少一项；

201、其中，所述第一消息用于所述网络设备进行功能和/或模型性能监测。

202、可选地，所述收发机还用于：

203、接收所述网络设备发送的第二消息，所述第二消息用于指示所述终端调整移动性预测功能和/或模型。

204、可选地，所述第二消息包括以下至少一项：

205、第三指示信息，所述第三指示信息用于指示预测信息类型；

206、第四指示信息，所述第四指示信息用于指示所述终端提高预测精度；

207、第五指示信息，所述第五指示信息用于指示所述终端提高预测精度的预测信息类型；

208、第六指示信息，所述第六指示信息用于指示所述终端进行停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项；

209、第七指示信息，所述第七指示信息用于指示所述终端停止移动性预测、暂停移动性预测及去激活移动性预测中的至少一项的预测信息类型；

210、第八指示信息，所述第八指示信息用于指示预测配置信息。可选地，所述终端还包括处理器，所述处理器用于：

211、基于所述第二消息调整移动性预测的配置信息和/或模型输入信息；

212、或者，基于所述第二消息确定提高预测精度的预测信息类型；

213、或者，基于所述第二消息确定停止预测、暂停预测或去激活预测的预测信息类型。

214、可选地，所述收发机还用于：

215、接收所述网络设备发送的第三消息，所述第三消息用于指示所述终端的目标切换小区。

216、可选地，所述rrm测量预测信息包括以下至少一项：

217、无线信息质量指标信息，所述无线信息质量指标信息包括实测值和预测值；

218、第一指示信息，所述第一指示信息用于指示所述无线信息质量指标信息为实测值或者预测值；

219、第二指示信息，所述第二指示信息用于指示测量减少对应的时域、频域或者空域图样；

220、所述终端的预测相关信息；

221、预测置信度、预测准确度或者预测精度；

222、无线信息质量指标信息中的预测值的产生时刻或者时段；

223、无线信息质量指标信息中预测值对应的预测时刻或者时段。

224、可选地，所述失败事件预测信息包括以下至少一项：

225、失败事件的预计发生时刻或者时段；所述失败事件的事件类型；所述失败事件的位置信息；所述失败事件对应的rrm测量信息；所述失败事件预测信息的产生时刻或者时段。

226、可选地，所述测量事件预测信息包括以下至少一项：

227、测量事件的预计满足时刻或者时段；所述测量事件的类型；所述测量事件预测信息的产生时刻或者时段。

228、第七方面，本技术实施例提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上述第一方面所述的监测方法的步骤；或者，所述程序被所述处理器执行时实现如上述第二方面所述的监测方法的步骤。

229、第八方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的监测方法的步骤；或者，所述计算机程序被处理器执行时实现如上述第二方面所述的监测方法的步骤。

230、第九方面，本技术实施例提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上述第一方面所述的监测方法的步骤；或者，所述计算机指令被处理器执行时实现如上述第二方面所述的监测方法的步骤。

231、本技术实施例中，上述监测方法应用于网络设备，基于第一信息包括的无线资源管理rrm测量预测信息，失败事件预测信息和测量事件预测信息中的至少一项进行功能和/或模型性能监测，使得可以根据第一信息对终端的预测性能进行实时监测，以避免因预测精度不足导致的终端切换性能下降等问题，从而能够提高终端的小区切换性能以及用户体验。