一种进行数据压缩的方法和装置及设备与流程

文档序号:29923357发布日期:2022-05-07 10:07阅读:146来源:国知局
一种进行数据压缩的方法和装置及设备与流程

1.本发明涉及通信技术领域,尤其涉及一种进行数据压缩的方法和装置及设备。


背景技术:

2.在lte(long-term evolution,长期演进)/lte-a(long-term evolution-advance,进一步长期演进)系统中,网络可以配置ue(user equipment,用户设备)使用udc(uplink data compression上行数据压缩)功能,对上行数据进行压缩后再传输,以降低空口资源开销。
3.在进行上行数据压缩时,发送ue利用预置字典或采用压缩缓存内的内容作为字典,对待传输数据进行压缩,从而进一步提升压缩率;相应的,基站侧根据预置字典或使用之前收到的数据作为字典对接收数据进行解压缩。
4.现有udc机制中,字典的生成是采用压缩缓存内的内容作为字典,其中,压缩缓存中基于配置可以预置字典,也可以全零,当有数据传输,则压缩缓存采用先进先出策略,使用新的数据替代原有数据作为新的字典。上述方式虽然利用了数据之间的相关性,但并不能达到最佳压缩效果。此外,现有udc机制中技术中使用配置的压缩算法,没有考虑为了提高压缩率采用灵活的压缩算法。


技术实现要素:

5.本发明提供一种进行数据压缩的方法和装置及设备,解决现有技术中生成压缩字典的算法,不能达到最佳压缩效果,且未考虑采用灵活的压缩算法,以提高压缩率的问题。
6.第一方面,本发明提供一种进行数据压缩的方法,应用于数据传输设备,该方法包括:
7.业务传输过程中,确定当前采用的压缩字典和压缩算法,其中初始时采用初始化的压缩字典和压缩算法,之后确定满足更新条件时,利用ai模型输出的压缩字典和压缩算法,分别对应更新当前采用的压缩字典和压缩算法;
8.基于当前采用压缩字典,利用当前采用的压缩算法对传输的业务数据进行压缩或解压缩。
9.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
10.可选地,所述方法还包括:
11.根据预先设置信息,初始化当前采用的压缩字典和压缩算法;或者
12.建立业务连接时,根据上一次完成业务传输时,ai模型输出的压缩字典和压缩算法,初始化当前采用的压缩字典和压缩算法。
13.可选地,确定满足更新条件,包括如下至少一个步骤:
14.确定建立业务连接时,满足更新条件;
15.确定建立业务连接后,到达设定的更新周期时,满足更新条件;
16.确定满足事件性触发条件时,满足更新条件。
17.可选地,确定满足事件性触发条件,包括如下至少一个步骤:
18.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
19.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
20.可选地,业务传输过程中,还包括:
21.获取本地的ai模型输出的压缩字典和压缩算法;或
22.获取本地的ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备;或
23.从对端数据传输设备获取利用ai模型输出的压缩字典和压缩算法;或
24.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,所述第三方设备为位于云或边缘的功能节点的设备;或
25.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备,所述第三方设备为位于云或边缘的功能节点的设备。
26.可选地,所述方法还包括:
27.将最新传输的业务数据及当前完成传输的业务数据的压缩率发送至第三方设备。
28.第二方面,本发明提供一种进行数据压缩的方法,应用于第三方设备,该方法包括:
29.响应于数据传输设备的请求,获取当前业务最新传输的业务数据及当前完成传输的业务数据的压缩率;
30.将最新传输的业务数据输入到ai模型,并利用ai模型输出压缩字典和压缩算法;
31.将所述压缩字典和压缩算法发送至所述数据传输设备。
32.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并以将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
33.可选地,将所述压缩字典和压缩算法发送至所述数据传输设备,具体包括:
34.确定满足更新条件时,将所述压缩字典和压缩算法发送至所述数据传输设备。
35.可选地,确定满足更新条件,包括如下至少一个步骤:
36.确定所述数据传输设备建立业务连接时,满足更新条件;
37.确定所述数据传输设备建立业务连接后,到达设定的更新周期时,满足更新条件;
38.确定满足事件性触发条件时,满足更新条件。
39.可选地,确定满足事件性触发条件,包括如下至少一个步骤:
40.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
41.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
42.第三方面,本发明提供一种进行数据压缩的数据传输设备,包括存储器,收发机,处理器:
43.存储器,用于存储计算机程序;收发机,用于在所述处理器的控制下收发数据;处理器,用于读取所述存储器中的计算机程序并执行以下操作:
44.业务传输过程中,确定当前采用的压缩字典和压缩算法,其中初始时采用初始化的压缩字典和压缩算法,之后确定满足更新条件时,利用ai模型输出的压缩字典和压缩算法,分别对应更新当前采用的压缩字典和压缩算法;
45.基于当前采用压缩字典,利用当前采用的压缩算法对传输的业务数据进行压缩或解压缩。
46.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
47.可选地,所述处理器还用于:
48.根据预先设置信息,初始化当前采用的压缩字典和压缩算法;或者
49.建立业务连接时,根据上一次完成业务传输时,ai模型输出的压缩字典和压缩算法,初始化当前采用的压缩字典和压缩算法。
50.可选地,所述处理器确定满足更新条件,包括如下至少一个步骤:
51.确定建立业务连接时,满足更新条件;
52.确定建立业务连接后,到达设定的更新周期时,满足更新条件;
53.确定满足事件性触发条件时,满足更新条件。
54.可选地,所述处理器确定满足事件性触发条件,包括如下至少一个步骤:
55.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
56.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
57.可选地,业务传输过程中,所述处理器还用于:
58.获取本地的ai模型输出的压缩字典和压缩算法;或
59.获取本地的ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备;或
60.从对端数据传输设备获取利用ai模型输出的压缩字典和压缩算法;或
61.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,所述第三方设备为位于云或边缘的功能节点的设备;或
62.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备,所述第三方设备为位于云或边缘的功能节点的设备。
63.可选地,所述处理器还用于:
64.将最新传输的业务数据及当前完成传输的业务数据的压缩率发送至第三方设备。
65.第四方面,本发明提供一种进行数据压缩的第三方设备,包括存储器,收发机,处理器:
66.存储器,用于存储计算机程序;收发机,用于在所述处理器的控制下收发数据;处
理器,用于读取所述存储器中的计算机程序并执行以下操作:
67.响应于数据传输设备的请求,获取当前业务最新传输的业务数据及当前完成传输的业务数据的压缩率;
68.将最新传输的业务数据输入到ai模型,并利用ai模型输出压缩字典和压缩算法;
69.将所述压缩字典和压缩算法发送至所述数据传输设备。
70.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
71.可选地,将所述压缩字典和压缩算法发送至所述数据传输设备,所述处理器具体用于:
72.确定满足更新条件时,将所述压缩字典和压缩算法发送至所述数据传输设备。
73.可选地,所述处理器确定满足更新条件,包括如下至少一个步骤:
74.确定所述数据传输设备建立业务连接时,满足更新条件;
75.确定所述数据传输设备建立业务连接后,到达设定的更新周期时,满足更新条件;
76.确定满足事件性触发条件时,满足更新条件。
77.可选地,所述处理器确定满足事件性触发条件,包括如下至少一个步骤:
78.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
79.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
80.第五方面,本发明提供一种进行数据压缩的装置,包括:
81.字典算法确定单元,用于业务传输过程中,确定当前采用的压缩字典和压缩算法,其中初始时采用初始化的压缩字典和压缩算法,之后确定满足更新条件时,利用ai模型输出的压缩字典和压缩算法,分别对应更新当前采用的压缩字典和压缩算法;
82.压缩单元,用于基于当前采用压缩字典,利用当前采用的压缩算法对传输的业务数据进行压缩或解压缩。
83.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
84.可选地,所述字典算法确定单元还用于:
85.根据预先设置信息,初始化当前采用的压缩字典和压缩算法;或者
86.建立业务连接时,根据上一次完成业务传输时,ai模型输出的压缩字典和压缩算法,初始化当前采用的压缩字典和压缩算法。
87.可选地,所述字典算法确定单元确定满足更新条件,包括如下至少一个步骤:
88.确定建立业务连接时,满足更新条件;
89.确定建立业务连接后,到达设定的更新周期时,满足更新条件;
90.确定满足事件性触发条件时,满足更新条件。
91.可选地,所述字典算法确定单元确定满足事件性触发条件,包括如下至少一个步骤:
92.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
93.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
94.可选地,业务传输过程中,所述字典算法确定单元还用于:
95.获取本地的ai模型输出的压缩字典和压缩算法;或
96.获取本地的ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备;或
97.从对端数据传输设备获取利用ai模型输出的压缩字典和压缩算法;或
98.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,所述第三方设备为位于云或边缘的功能节点的设备;或
99.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备,所述第三方设备为位于云或边缘的功能节点的设备。
100.可选地,所述压缩单元还用于:
101.将最新传输的业务数据及当前完成传输的业务数据的压缩率发送至第三方设备。
102.第六方面,本发明提供一种进行数据压缩的装置,包括:
103.数据接收单元,用于响应于数据传输设备的请求,获取当前业务最新传输的业务数据及当前完成传输的业务数据的压缩率;
104.字典算法生成单元,用于将最新传输的业务数据输入到ai模型,并利用ai模型输出压缩字典和压缩算法;
105.数据发送单元,用于将所述压缩字典和压缩算法发送至所述数据传输设备。
106.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
107.可选地,将所述压缩字典和压缩算法发送至所述数据传输设备,所述数据发送单元具体用于:
108.确定满足更新条件时,将所述压缩字典和压缩算法发送至所述数据传输设备。
109.可选地,所述数据发送单元确定满足更新条件,包括如下至少一个步骤:
110.确定所述数据传输设备建立业务连接时,满足更新条件;
111.确定所述数据传输设备建立业务连接后,到达设定的更新周期时,满足更新条件;
112.确定满足事件性触发条件时,满足更新条件。
113.可选地,所述数据发送单元确定满足事件性触发条件,包括如下至少一个步骤:
114.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
115.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
116.第七方面,本发明提供一种计算机程序介质,其上存储有计算机程序,该程序被处
理器执行时实现如上述第一方面提供的一种进行数据压缩的方法的步骤。
117.第八方面,本发明提供一种芯片,所述芯片与设备中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现本技术实施例上述各个方面以及各个方面涉及的任一可能涉及的进行数据压缩的方法。
118.第九方面,本发明提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本技术实施例上述各个方面以及各个方面涉及的任一可能涉及的进行数据压缩的方法。
119.本发明提供的一种进行数据压缩的方法和装置及设备,具有以下有益效果:
120.在数据传输过程中,利用ai模型输出的压缩字典和压缩算法,分别对应更新当前采用的压缩字典和压缩算法,对压缩字典优化,并采用灵活的压缩算法,使数据的发送端和接收端同步更新压缩字典和压缩算法,并使用更新的压缩字典和压缩算法进行数据压缩和解压缩,提高压缩率。
附图说明
121.图1为本发明实施例给出的一种进行数据压缩的系统的示意图;
122.图2为本发明实施例提供的一种基站获取本地的ai模型输出的压缩字典和压缩算法进行数据压缩的示意图;
123.图3为本发明实施例提供的一种从第三方设备获取利用ai模型输出的压缩字典和压缩算法进行数据压缩的示意图;
124.图4为本发明实施例提供的一种从第三方设备获取利用ai模型输出的压缩字典和压缩算法且更新条件为确定建立业务连接进行数据压缩的示意图;
125.图5为本发明实施例提供的一种数据传输设备进行数据压缩的方法流程图;
126.图6为本发明实施例提供的一种第三方设备进行数据压缩的方法流程图;
127.图7为本发明实施例提供的一种进行数据压缩的数据传输设备的示意图;
128.图8为本发明实施例提供的一种进行数据压缩的第三方设备的示意图;
129.图9为本发明实施例提供的一种数据传输设备进行数据压缩的装置的示意图;
130.图10为本发明实施例提供的一种第三方设备进行数据压缩的装置的示意图。
具体实施方式
131.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,并不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
132.在lte(long-term evolution,长期演进)/lte-a(long-term evolution-advance,进一步长期演进)系统中,网络可以配置ue(user equipment,用户设备)使用udc(uplink data compression上行数据压缩)功能,对上行数据进行压缩后再传输,以降低空口资源开销。
133.在进行上行数据压缩时,发送ue利用预置字典或采用压缩缓存内的内容作为字典,对待传输数据进行压缩,从而进一步提升压缩率;相应的,基站侧根据预置字典或使用
之前收到的数据作为字典对接收数据进行解压缩。
134.下面对udc压缩机制和基于预置字典的压缩机制进行详细的介绍:
135.1)udc压缩机制
136.1.1)发送端维护压缩缓存,接收端维护解压缓存,压缩和解压缓存均为先入先出队列;
137.1.2)发送端在发送数据前,先对待发送数据进行压缩:
138.a)在待发送数据包中,寻找符合以下特征的目标字段:
139.长度超过预设门限;
140.目标字段与压缩缓存中或本数据包内位于目标字段之前的某字段相同。
141.b)如果找到上述目标字段,则将上述目标字段替换为偏移量和长度组合:
142.偏移量为目标字段与目标字段之前的相同字段之间的位置偏移量;
143.长度为目标字段的长度;
144.因为偏移量和长度组合的长度短于目标字段本身的长度,因此,起到了压缩的效果。在一个数据包内,可能存在多个字段符合上述特征,对这些字段均可进行压缩。
145.1.3)发送端发送压缩数据包给对端;同时,将对应的原始数据包,即未压缩数据填入压缩缓存;
146.1.4)接收端基于上述偏移量和长度,以及解压缓存对收到的数据包进行解压;然后,将解压后的数据包填入解压缓存。
147.2)基于预置字典的压缩机制
148.作为udc的一种优化,基于预置字典的压缩机制,可以基于业务特征,将高频出现的字段编写预置字典,在udc启动前,分别存入压缩端和解压段的压缩和解压缓存中。
149.这样,在udc刚启动时,压缩和解压缓存不再为空,而是存有高频字段的预置字典,能有效提升目标字段的发现概率,提升压缩率。
150.显然,为了实现上述机制,在udc启动前,终端和基站需要分别获取将使用的预置字典,即完成预置字典同步过程。
151.基于上述基于预置字典的压缩机制的原理,在udc刚启动时,压缩和解压缓存可能配置为空,压缩端在当前待发包中找到目标字段的概率低,压缩率相应较低;在udc运行一段时间后,压缩缓存逐渐增多,压缩端在当前待发包中找到目标字段的概率有所提升,压缩率才能相应提升。
152.现有udc机制中,字典的生成是采用压缩缓存内的内容作为字典,其中,压缩缓存中基于配置可以预置字典,也可以全零,当有数据传输,则压缩缓存采用先进先出策略,使用新的数据替代原有数据作为新的字典。上述方式虽然利用了数据之间的相关性,但并不能达到最佳压缩效果。此外,现有udc机制中技术中使用配置的压缩算法,没有考虑为了提高压缩率采用灵活的压缩算法。
153.针对上述问题,本技术实施例提供了一种进行数据压缩的方法和装置及设备,通过对数据的学习和训练对压缩字典和压缩算法进行优化,从而提高压缩率。下面给出本发明实施例提供的一种进行数据压缩的方法和装置及设备的实施方式。
154.实施例1
155.如图1所示,本发明实施例给出一种进行数据压缩的系统的示意图,包括:
156.作为发送端的第一数据传输设备101,用于业务传输过程中,确定当前采用的压缩字典和压缩算法,其中初始时采用初始化的压缩字典和压缩算法,之后确定满足更新条件时,利用ai模型输出的压缩字典和压缩算法,分别对应更新当前采用的压缩字典和压缩算法;
157.基于当前采用压缩字典,利用当前采用的压缩算法对传输的业务数据进行压缩;
158.需要说明的是,当上述第一数据传输设备101作为发送端时,执行压缩操作;当上述第一数据传输设备101作为接收端时,执行解压缩操作。
159.作为接收端的第二数据传输设备102,用于业务传输过程中,确定当前采用的压缩字典和压缩算法,其中初始时采用初始化的压缩字典和压缩算法,之后确定满足更新条件时,利用ai模型输出的压缩字典和压缩算法,分别对应更新当前采用的压缩字典和压缩算法;
160.基于当前采用压缩字典,利用当前采用的压缩算法对传输的业务数据进行解压缩;
161.需要说明的是,当上述第二数据传输设备102作为发送端时,执行压缩操作;当上述第二数据传输设备102作为接收端时,执行解压缩操作。
162.需要说明的是,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
163.需要说明的是,在进行业务传输时,上述第一数据传输设备101和第二数据传输设备102作为发送端和接收端的身份可以进行改变,例如,上述第一数据传输设备101使用当前采用的压缩字典和压缩算法对业务数据进行压缩后,发送给第二数据传输设备102,上述第二数据传输设备102使用当前采用的压缩字典和压缩算法对传输的业务数据进行解压缩,此时,上述第一数据传输设备101为数据的发送端,上述第二数据传输设备102为数据的接收端;上述第二数据传输设备102使用当前采用的压缩字典和压缩算法对业务数据进行压缩后,发送给第一数据传输设备101,上述第一数据传输设备101使用当前采用的压缩字典和压缩算法对传输的业务数据进行解压缩,此时,上述第一数据传输设备101为数据的接收端,上述第二数据传输设备102为数据的发送端。
164.作为一种可选的实施方式,业务传输过程中,还包括:
165.(1)上述第一数据传输设备101获取本地的ai模型输出的压缩字典和压缩算法,并发送给上述第二数据传输设备102;
166.(2)上述第二数据传输设备102获取本地的ai模型输出的压缩字典和压缩算法,并发送给上述第一数据传输设备101;
167.(3)上述第一数据传输设备101和/或上述第二数据传输设备102从第三方设备获取利用ai模型输出的压缩字典和压缩算法,所述第三方设备为位于云或边缘的功能节点的设备。
168.需要说明的是,当上述第三方设备将输出的压缩字典和压缩算法发送给上述第一数据传输设备101或上述第二数据传输设备102中的任一设备时,接收到上述压缩字典和压缩算法的数据传输设备将上述压缩字典和压缩算法发送给对端数据传输设备。
169.作为一种可选地实施方式,发送压缩字典和压缩算法,包括:
170.通过rrc消息发送压缩字典和压缩算法;
171.通过控制单元mac ce发送压缩字典和压缩算法;
172.通过在第一条数据包的分组数据汇聚协议pdcp头中携带压缩字典和压缩算法,发送压缩字典和压缩算法;
173.通过在第一条数据包的pdcp头中携带压缩字典和压缩算法指示信息,使用pdcp subpdu携带压缩字典和压缩算法,发送压缩字典和压缩算法。
174.需要说明的是,对于上述数据传输设备的发送端和接收端其中任意一端,自身利用ai模型输出压缩字典和压缩算法的情况,上述发送端和接收端之间直接传输新的压缩字典和/或压缩算法;对于第三方设备利用ai模型输出压缩字典和压缩算法的情况,例如上述第三方设备为云或边缘的功能节点,上述发送端和接收端从上述功能节点获取压缩字典和/或压缩算法。
175.当采用上述第(3)种从第三方设备接收压缩字典和压缩算法的实施方式时,上述系统还包括:
176.第三方设备103,用于响应于数据传输设备的请求,获取当前业务最新传输的业务数据及当前完成传输的业务数据的压缩率;将最新传输的业务数据输入到ai模型,并利用ai模型输出压缩字典和压缩算法;将所述压缩字典和压缩算法发送至所述数据传输设备。
177.需要说明的是,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
178.作为一种可选地实施方式,数据传输设备向上述第三方设备发送请求压缩字典和压缩算法的请求消息。
179.作为一种可选地实施方式,对于上述从第三方设备接收压缩字典和压缩算法的实施方式,还包括:
180.将最新传输的业务数据及当前完成传输的业务数据的压缩率发送至第三方设备。
181.需要说明的是,上述将最新传输的业务数据及当前完成传输的业务数据的压缩率发送至第三方设备的操作,可以由数据传输设备的发送端和接收端其中任意一端执行。
182.作为一种可选地实施方式,上述第三方设备主动感知上述最新传输的业务数据及当前完成传输的业务数据的压缩率。
183.作为一种可选地实施方式,将所述压缩字典和压缩算法发送至所述数据传输设备,具体包括:
184.确定满足更新条件时,将所述压缩字典和压缩算法发送至所述数据传输设备。
185.需要说明的是,上述系统架构仅是对本发明实施例适用系统架构的举例说明,本发明实施例适用的系统架构相比图1所示的系统架构还可以增加其它实体,或减少部分实体。
186.作为一种可选的实施方式,上述数据传输设备101为用户终端ue,上述数据传输设备102为基站,上述第三方设备103为部署了上述ai模型的云或边缘功能节点,例如ai压缩服务器。
187.本技术实施例涉及的用户终端ue,可以是指向用户提供语音和/或数据连通性的设备,具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。在不同的系统中,终端设备的名称可能也不相同,例如在5g系统中,终端设备可以称为用户设备(user equipment,ue)。无线终端设备可以经无线接入网(radio access network,ran)与一个或多个核心网进行通信,无线终端设备可以是移动终端设备,如移动电话(或称为“蜂窝”电话)和具有移动终端设备的计算机,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,它们与无线接入网交换语言和/或数据。例如,个人通信业务(personal communication service,pcs)电话、无绳电话、会话发起协议(session initiated protocol,sip)话机、无线本地环路(wireless local loop,wll)站、个人数字助理(personal digital assistant,pda)等设备。无线终端设备也可以称为系统、订户单元(subscriber unit)、订户站(subscriber station),移动站(mobile station)、移动台(mobile)、远程站(remote station)、接入点(access point)、远程终端设备(remote terminal)、接入终端设备(access terminal)、用户终端设备(user terminal)、用户代理(user agent)、用户装置(user device),本技术实施例中并不限定。
188.本技术实施例涉及的基站,根据具体应用场合不同,又可以称为接入点,或者可以是指接入网中在空中接口上通过一个或多个扇区与无线终端设备通信的设备,或者其它名称。网络设备可用于将收到的空中帧与网际协议(internet protocol,ip)分组进行相互转换,作为无线终端设备与接入网的其余部分之间的路由器,其中接入网的其余部可包括网际协议(ip)通信网络。网络设备还可协调对空中接口的属性管理。例如,本技术实施例涉及的网络设备可以是全球移动通信系统(global system for mobile communications,gsm)或码分多址接入(code division multiple access,cdma)中的网络设备(base transceiver station,bts),也可以是带宽码分多址接入(wide-band code division multiple access,wcdma)中的网络设备(nodeb),还可以是长期演进(long term evolution,lte)系统中的演进型网络设备(evolutionalnodeb,enb或e-nodeb)、5g网络架构(nextgeneration system)中的5g基站,也可是家庭演进基站(homeevolv ednodeb,henb)、中继节点(relay node)、家庭基站(femto)、微微基站(pico)等,本技术实施例中并不限定。
189.作为一种可选地实施方式,将上述ai模型集成在ai模块,上述ai模块可以实现:
190.(1)压缩字典和压缩算法的ai模型生成;
191.(2)压缩率反馈,使用ai压缩字典和压缩算法对传输数据进行压缩,计算压缩率并反馈给ai训练模型;
192.(3)使用ai训练模型对新的传输数据进行ai学习,并生成新的压缩字典和压缩算法。
193.需要说明的是,上述ai模块可以位于数据传输设备的发送端和接收端其中任意一端,或位于第三方设备,例如云或边缘的功能节点中。
194.作为一种可选的实施方式,在上述三种实施方式中,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
195.需要说明的是,上述ai模型可以采用现有的反馈神经网络模型,通过自学习机制不断调整ai模型的参数,不断加强通过分析输入数据的关联特征进行字典词语提取的能力,随着业务数据的持续输入,将识别字典的效果向压缩率提高的正向方向进行调整。ai模型利用不同压缩算法计算数据压缩率,上述不同压缩算法为现有算法,例如,哈夫曼编码、rice编码、运行长度编码等。另外,具体将压缩率反馈输入ai模型,调整模型参数的过程可以采用现有方式,这里不再详述。
196.特别的,当上述数据传输设备初始建立连接,第一次进行业务传输时,需要确定初始时采用初始化的压缩字典和压缩算法。
197.作为一种可选的实施方式,根据预先设置信息,初始化当前采用的压缩字典和压缩算法;或者
198.建立业务连接时,根据上一次完成业务传输时,ai模型输出的压缩字典和压缩算法,初始化当前采用的压缩字典和压缩算法。
199.需要说明的是,上述根据预先设置信息,初始化当前采用的压缩字典,包括:
200.根据预先设置信息,初始化当前采用的压缩字典为基于业务特性配置的压缩字典;或
201.根据预先设置,初始化当前采用的压缩字典为空。
202.需要说明的是,上述根据预先设置信息,初始化当前采用的压缩算法,包括:
203.根据预先设置信息,初始化当前采用的压缩算法为默认压缩算法;或
204.根据预先设置信息,初始化当前采用的压缩算法为预配置压缩算法;或
205.根据预先设置信息,初始化当前采用的压缩算法为根据业务特性选择的压缩算法。
206.需要说明的是,上述ai模型对每一次传输的业务数据都进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,即根据每一次业务传输的数据调整压缩字典和压缩算法,但是,只有在满足更新条件时,才利用ai模型输出的压缩字典和压缩算法,分别对应更新当前采用的压缩字典和压缩算法。
207.作为一种可选的实施方式,确定满足更新条件,包括如下至少一个步骤:
208.确定建立业务连接时,满足更新条件;
209.确定建立业务连接后,达到设定的更新周期时,满足更新条件;
210.确定满足事件性触发条件时,满足更新条件。
211.需要说明的是,确定满足更新条件包括上述三个条件中的任一或任多,即确定满足更新条件为确定满足上述三个条件之一或上述任两个条件的任意组合或三个条件。
212.针对上述三种确定满足更新条件的方法,给出具体的实施方式:
213.实施方式a:通过确定建立业务连接确定更新。
214.针对每个进行压缩传输的业务,上述业务连接建立后,针对上述业务同步一次压缩字典和压缩算法,通信过程中不进行压缩字典和压缩算法更新。
215.基于传输数据和压缩率的压缩字典和压缩算法更新用于下次该业务的通信,即,只在业务连接建立之后,进行一次压缩字典和压缩算法更新,在一次业务连接过程中使用的压缩字典和压缩算法保持不变。
216.实施方式b:通过确定建立业务连接后,确定达到设定的更新周期确定更新。
217.针对每个进行数据压缩传输的业务,业务连接建立后,针对该业务同步一次压缩字典和压缩算法,在通信过程中周期性进行压缩字典和压缩算法更新,达到周期时,利用当前模型输出的压缩字典和压缩算法进行更新,在一个周期内使用的压缩字典和压缩算法保持不变。
218.实施方式c:通过确定满足事件性触发条件确定更新。
219.作为一种可选地实施方式,确定满足事件性触发条件,包括如下至少一个步骤:
220.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
221.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
222.需要说明的是,上述当前ai模型输出的压缩字典和压缩算法所预期的压缩率,为利用当前ai模型输出的压缩字典和压缩算法,对最新传输的业务数据进行压缩,所预期的压缩率。
223.需要说明的是,上述事件性触发条件仅是一种举例说明,并不对事件性触发条件形成具体的限定,可以根据具体的实施情况,进行具体的事件性触发条件的设置,例如,设置事件性触发条件为,根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,当所述预期的压缩率大于预设值时,确定满足事件性触发条件。
224.基于上述实施例,本发明实施例提供三种具体的实施方式,对上述一种进行数据压缩的方法进行具体的说明。
225.实施方式一:基站获取本地的ai模型输出的压缩字典和压缩算法。
226.如图2所示,本发明实施例提供一种基站获取本地的ai模型输出的压缩字典和压缩算法进行数据压缩的示意图。
227.pdcp(packet data convergence protocol,分组数据汇聚协议)层负责数据压缩和解压缩,在uu接口进行上下行压缩数据传输,基站获取本地的ai模型输出的压缩字典和压缩算法,更新的压缩字典和/或压缩算法通过uu接口直接进行同步。
228.需要说明的是,下述实施方式2与实施方式3均采用上述传输方式,不再赘述。
229.需要说明的是,在本实施方式中,数据传输设备为基站和用户终端ue。
230.步骤1:用户终端ue和基站间建立连接。
231.需要说明的是,这里没有描述用户终端ue与核心网之间的交互过程,用户终端ue与核心网之间的交互在步骤2前完成。
232.步骤2:基站确定采用的初始化的压缩字典和压缩算法。
233.需要说明的是,上述初始化的压缩字典和压缩算法,可以根据预先设置信息确定;或者根据上一次完成业务传输时,ai模型输出的压缩字典和压缩算法确定。
234.步骤3:基站将初始化的压缩字典和压缩算法发送给用户终端ue。
235.需要说明的是,发送方式可以是rrc消息,mac ce,在第一条数据包的pdcp头中携带ai压缩字典和压缩算法,或在第一条数据包的pdcp头中携带ai压缩字典和压缩算法指示信息,使用pdcp subpdu携带ai压缩字典和压缩算法。
236.步骤4:基站和用户终端ue中的数据发送端使用上述初始化的压缩字典和压缩算
法对数据进行压缩传输,接收端使用上述初始化的压缩字典和压缩算法对数据进行解压缩,并在此过程中统计压缩率。
237.需要说明的是,当基站/用户终端ue为数据发送端时,使用上述初始化的压缩字典和压缩算法对数据进行压缩,并将压缩的数据发送至用户终端ue/基站;当基站/用户终端ue为数据接收端时,接收用户终端ue/基站发送的压缩的数据,使用上述初始化的压缩字典和压缩算法对上述压缩的数据进行解压缩。
238.需要说明的是,用户终端ue将统计的压缩率发送给基站。
239.步骤5:基站基于传输的数据和数据压缩率对训练模型进行调整,并生成新的压缩字典和压缩算法。
240.需要说明的是,当基站为数据发送端时,将待传输的数据输入ai模型,使用ai模型对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,并利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数;当基站为数据接收端时,接收用户终端ue发送的压缩的数据,使用上述初始化的压缩字典和压缩算法对上述压缩的数据进行解压缩,将解压缩的数据输入ai模型,使用ai模型对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,并利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
241.需要说明的是,对训练模型进行调整,并生成新的压缩字典和压缩算法的过程,在数据传输的过程中,持续进行。
242.步骤6:确定满足更新条件时,基站将更新的压缩字典和压缩算法发送给用户终端ue。
243.需要说明的是,上述步骤6的更新条件可以是基于周期,也可以是基于事件性触发。
244.需要说明的是,上述步骤6中使用的发送方式同步骤3,不再赘述。
245.步骤7:基站和用户终端ue中的数据发送端使用新的压缩字典和压缩算法对数据进行压缩传输,接收端使用新的压缩字典和压缩算法对数据进行解压缩,在此过程中统计压缩率。
246.需要说明的是,上述实施方式同样适用于用户终端ue获取本地的ai模型输出的压缩字典和压缩算法进行数据压缩的实施方式,将上述过程中的基站与用户终端ue的操作对调,即可实现。
247.实施方式二:从第三方设备获取利用ai模型输出的压缩字典和压缩算法。
248.如图3所示,本发明实施例提供一种从第三方设备获取利用ai模型输出的压缩字典和压缩算法进行数据压缩的示意图。
249.需要说明的是,在本实施方式中,数据传输设备为基站和用户终端ue,第三方设备为云或边缘ai压缩服务器。
250.步骤1:用户终端ue和基站间建立连接。
251.需要说明的是,为了简化描述,这里没有描述用户终端ue与核心网之间的交互过程,用户终端ue与核心网之间的交互在步骤2前完成。
252.步骤2a/2b:用户终端ue和/或基站向ai压缩服务器请求压缩字典和压缩算法。
253.需要说明的是,上述步骤可以是数据传输设备双方都向ai压缩服务器请求,也可以是其中一端向ai压缩服务器请求。
254.步骤3:ai压缩服务器确定采用的初始化的压缩字典和压缩算法。
255.需要说明的是,上述初始化的压缩字典和压缩算法,可以根据预先设置信息确定;或者根据上一次完成业务传输时,ai模型输出的压缩字典和压缩算法确定。
256.步骤4a/4b:ai压缩服务器将初始化的压缩字典和压缩算法发送给基站和用户终端ue。
257.需要说明的是,此步骤可以是ai压缩服务器将压缩字典和压缩算法向数据传输设备双方都发送,也可以是其中一端从ai压缩服务器获取了压缩字典和压缩算法后发送给对端。
258.步骤5:基站和用户终端ue中的数据发送端使用上述初始化的压缩字典和压缩算法对数据进行压缩传输,接收端使用上述初始化的压缩字典和压缩算法对数据进行解压缩,并在此过程中统计压缩率。
259.需要说明的是,当基站/用户终端ue为数据发送端时,使用上述初始化的压缩字典和压缩算法对数据进行压缩,并将压缩的数据发送至用户终端ue/基站;当基站/用户终端ue为数据接收端时,接收用户终端ue/基站发送的压缩的数据,使用上述初始化的压缩字典和压缩算法对上述压缩的数据进行解压缩。
260.需要说明的是,在此过程中基站和/或用户终端ue发送最新传输的业务数据及当前完成传输的业务数据的压缩率给ai压缩服务器。
261.步骤6:ai压缩服务器基于最新传输的业务数据及当前完成传输的业务数据的压缩率对训练模型进行调整,并生成新的压缩字典和压缩算法。
262.需要说明的是,ai压缩服务器接收基站和/或用户终端ue发送的最新传输的业务数据及当前完成传输的业务数据的压缩率。
263.需要说明的是,ai压缩服务器将最新传输的业务数据输入ai模型,使用ai模型对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,并利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
264.步骤7a/7b:确定满足更新条件时,ai压缩服务器将更新的压缩字典和压缩算法发送给基站和用户终端ue。
265.需要说明的是,上述步骤7a/7b的更新条件可以是基于周期,也可以是基于事件触发。
266.需要说明的是,上述发送方式可以是ai压缩服务器将压缩字典和压缩算法向数据传输设备双方都发送,也可以是其中一端从ai压缩服务器获取了压缩字典和压缩算法后发送给对端。
267.步骤8:基站和用户终端ue中的数据发送端使用新的压缩字典和压缩算法对数据进行压缩传输,接收端使用新的压缩字典和压缩算法对数据进行解压缩,并在此过程中统计压缩率,并将数据和压缩率反馈给ai压缩服务器。
268.作为一种可选的实施方式,在上述实施方式二的基础上,在上述步骤5之后增加步
骤:针对这个业务的连接释放,在上述步骤6后增加步骤:针对这个业务的连接再次建立,和步骤:用户终端ue和/或基站向ai压缩服务器请求压缩字典和压缩算法,得到更新条件为确定建立业务连接的实施方式三。如图4所示,本发明实施例提供一种从第三方设备获取利用ai模型输出的压缩字典和压缩算法且更新条件为确定建立业务连接进行数据压缩的示意图。
269.实施例2
270.本发明实施例提供一种数据传输设备进行数据压缩的方法流程图,如图5所示,包括:
271.步骤s501,业务传输过程中,确定当前采用的压缩字典和压缩算法,其中初始时采用初始化的压缩字典和压缩算法,之后确定满足更新条件时,利用ai模型输出的压缩字典和压缩算法,分别对应更新当前采用的压缩字典和压缩算法;
272.步骤s502,基于当前采用压缩字典,利用当前采用的压缩算法对传输的业务数据进行压缩或解压缩。
273.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
274.可选地,所述方法还包括:
275.根据预先设置信息,初始化当前采用的压缩字典和压缩算法;或者
276.建立业务连接时,根据上一次完成业务传输时,ai模型输出的压缩字典和压缩算法,初始化当前采用的压缩字典和压缩算法。
277.可选地,确定满足更新条件,包括如下至少一个步骤:
278.确定建立业务连接时,满足更新条件;
279.确定建立业务连接后,到达设定的更新周期时,满足更新条件;
280.确定满足事件性触发条件时,满足更新条件。
281.可选地,确定满足事件性触发条件,包括如下至少一个步骤:
282.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
283.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
284.可选地,业务传输过程中,还包括:
285.获取本地的ai模型输出的压缩字典和压缩算法;或
286.获取本地的ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备;或
287.从对端数据传输设备获取利用ai模型输出的压缩字典和压缩算法;或
288.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,所述第三方设备为位于云或边缘的功能节点的设备;或
289.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备,所述第三方设备为位于云或边缘的功能节点的设备。
290.可选地,所述方法还包括:
291.将最新传输的业务数据及当前完成传输的业务数据的压缩率发送至第三方设备。
292.本发明实施例提供一种第三方设备进行数据压缩的方法流程图,如图6所示,包括:
293.步骤s601,响应于数据传输设备的请求,获取当前业务最新传输的业务数据及当前完成传输的业务数据的压缩率;
294.步骤s602,将最新传输的业务数据输入到ai模型,并利用ai模型输出压缩字典和压缩算法;
295.步骤s603,将所述压缩字典和压缩算法发送至所述数据传输设备。
296.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
297.可选地,将所述压缩字典和压缩算法发送至所述数据传输设备,具体包括:
298.确定满足更新条件时,将所述压缩字典和压缩算法发送至所述数据传输设备。
299.可选地,确定满足更新条件,包括如下至少一个步骤:
300.确定所述数据传输设备建立业务连接时,满足更新条件;
301.确定所述数据传输设备建立业务连接后,到达设定的更新周期时,满足更新条件;
302.确定满足事件性触发条件时,满足更新条件。
303.可选地,确定满足事件性触发条件,包括如下至少一个步骤:
304.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
305.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
306.本发明实施例所提供的进行数据压缩的数据传输设备,与本发明上述实施例1的数据传输设备属于同一发明构思,应用到上述实施例提供的系统中数据传输设备进行数据压缩的各种实施方式,可以应用到本实施例中进行数据压缩的方法,这里不再重述。
307.本发明实施例所提供的进行数据压缩的第三方设备,与本发明上述实施例1的第三方设备属于同一发明构思,应用到上述实施例提供的系统中第三方设备进行数据压缩的各种实施方式,可以应用到本实施例中进行数据压缩的方法,这里不再重述。
308.本发明实施例提供一种进行数据压缩的数据传输设备的示意图,如图7所示,包括:
309.存储器701、处理器702、收发机703以及总线接口704。
310.处理器702负责管理总线架构和通常的处理,存储器701可以存储处理器702在执行操作时所使用的数据。收发机703用于在处理器702的控制下接收和发送数据。
311.总线架构可以包括任意数量的互联的总线和桥,具体由处理器702代表的一个或多个处理器和存储器701代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。处理器702负责管理总线架构和通常的处理,存储器701可以存储处理器702在执行操作时所使用的数据。
312.本发明实施例揭示的流程,可以应用于处理器702中,或者由处理器702实现。在实现过程中,信号处理流程的各步骤可以通过处理器702中的硬件的集成逻辑电路或者软件形式的指令完成。处理器702可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器701,处理器702读取存储器701中的信息,结合其硬件完成信号处理流程的步骤。
313.具体地,处理器702,用于读取存储器701中的程序并执行:
314.业务传输过程中,确定当前采用的压缩字典和压缩算法,其中初始时采用初始化的压缩字典和压缩算法,之后确定满足更新条件时,利用ai模型输出的压缩字典和压缩算法,分别对应更新当前采用的压缩字典和压缩算法;
315.基于当前采用压缩字典,利用当前采用的压缩算法对传输的业务数据进行压缩或解压缩。
316.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
317.可选地,所述处理器还用于:
318.根据预先设置信息,初始化当前采用的压缩字典和压缩算法;或者
319.建立业务连接时,根据上一次完成业务传输时,ai模型输出的压缩字典和压缩算法,初始化当前采用的压缩字典和压缩算法。
320.可选地,所述处理器确定满足更新条件,包括如下至少一个步骤:
321.确定建立业务连接时,满足更新条件;
322.确定建立业务连接后,到达设定的更新周期时,满足更新条件;
323.确定满足事件性触发条件时,满足更新条件。
324.可选地,所述处理器确定满足事件性触发条件,包括如下至少一个步骤:
325.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
326.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
327.可选地,业务传输过程中,所述处理器还用于:
328.获取本地的ai模型输出的压缩字典和压缩算法;或
329.获取本地的ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备;或
330.从对端数据传输设备获取利用ai模型输出的压缩字典和压缩算法;或
331.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,所述第三方设备为位于云或边缘的功能节点的设备;或
332.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备,所述第三方设备为位于云或边缘的功能节点的设备。
333.可选地,所述处理器还用于:
334.将最新传输的业务数据及当前完成传输的业务数据的压缩率发送至第三方设备。
335.本发明实施例提供一种进行数据压缩的第三方设备的示意图,如图8所示,包括:
336.存储器801、处理器802、收发机803以及总线接口804。
337.处理器802负责管理总线架构和通常的处理,存储器801可以存储处理器802在执行操作时所使用的数据。收发机803用于在处理器802的控制下接收和发送数据。
338.总线架构可以包括任意数量的互联的总线和桥,具体由处理器802代表的一个或多个处理器和存储器801代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。处理器802负责管理总线架构和通常的处理,存储器801可以存储处理器802在执行操作时所使用的数据。
339.本发明实施例揭示的流程,可以应用于处理器802中,或者由处理器802实现。在实现过程中,信号处理流程的各步骤可以通过处理器802中的硬件的集成逻辑电路或者软件形式的指令完成。处理器802可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801,处理器802读取存储器801中的信息,结合其硬件完成信号处理流程的步骤。
340.具体地,处理器802,用于读取存储器801中的程序并执行:
341.响应于数据传输设备的请求,获取当前业务最新传输的业务数据及当前完成传输的业务数据的压缩率;
342.将最新传输的业务数据输入到ai模型,并利用ai模型输出压缩字典和压缩算法;
343.将所述压缩字典和压缩算法发送至所述数据传输设备。
344.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
345.可选地,将所述压缩字典和压缩算法发送至所述数据传输设备,所述处理器具体用于:
346.确定满足更新条件时,将所述压缩字典和压缩算法发送至所述数据传输设备。
347.可选地,所述处理器确定满足更新条件,包括如下至少一个步骤:
348.确定所述数据传输设备建立业务连接时,满足更新条件;
349.确定所述数据传输设备建立业务连接后,到达设定的更新周期时,满足更新条件;
350.确定满足事件性触发条件时,满足更新条件。
351.可选地,所述处理器确定满足事件性触发条件,包括如下至少一个步骤:
352.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
353.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
354.本发明实施例所提供的进行数据压缩的数据传输设备,与本发明上述实施例1的数据传输设备属于同一发明构思,应用到上述实施例提供的系统中数据传输设备进行数据压缩的各种实施方式,可以应用到本实施例中进行数据压缩的数据传输设备,这里不再重述。
355.本发明实施例所提供的进行数据压缩的第三方设备,与本发明上述实施例1的第三方设备属于同一发明构思,应用到上述实施例提供的系统中第三方设备进行数据压缩的各种实施方式,可以应用到本实施例中进行数据压缩的第三方设备,这里不再重述。
356.本发明实施例提供一种数据传输设备进行数据压缩的装置的示意图,如图9所示,包括:
357.字典算法确定单元901,用于业务传输过程中,确定当前采用的压缩字典和压缩算法,其中初始时采用初始化的压缩字典和压缩算法,之后确定满足更新条件时,利用ai模型输出的压缩字典和压缩算法,分别对应更新当前采用的压缩字典和压缩算法;
358.压缩单元902,用于基于当前采用压缩字典,利用当前采用的压缩算法对传输的业务数据进行压缩或解压缩。
359.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
360.可选地,所述字典算法确定单元还用于:
361.根据预先设置信息,初始化当前采用的压缩字典和压缩算法;或者
362.建立业务连接时,根据上一次完成业务传输时,ai模型输出的压缩字典和压缩算法,初始化当前采用的压缩字典和压缩算法。
363.可选地,所述字典算法确定单元确定满足更新条件,包括如下至少一个步骤:
364.确定建立业务连接时,满足更新条件;
365.确定建立业务连接后,到达设定的更新周期时,满足更新条件;
366.确定满足事件性触发条件时,满足更新条件。
367.可选地,所述字典算法确定单元确定满足事件性触发条件,包括如下至少一个步骤:
368.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
369.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
370.可选地,业务传输过程中,所述字典算法确定单元还用于:
371.获取本地的ai模型输出的压缩字典和压缩算法;或
372.获取本地的ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备;或
373.从对端数据传输设备获取利用ai模型输出的压缩字典和压缩算法;或
374.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,所述第三方设备为位于云或边缘的功能节点的设备;或
375.从第三方设备获取利用ai模型输出的压缩字典和压缩算法,并发送给对端数据传输设备,所述第三方设备为位于云或边缘的功能节点的设备。
376.可选地,所述压缩单元还用于:
377.将最新传输的业务数据及当前完成传输的业务数据的压缩率发送至第三方设备。
378.本发明实施例提供一种第三方设备进行数据压缩的装置,如图10所示,包括:
379.数据接收单元1001,用于响应于数据传输设备的请求,获取当前业务最新传输的业务数据及当前完成传输的业务数据的压缩率;
380.字典算法生成单元1002,用于将最新传输的业务数据输入到ai模型,并利用ai模型输出压缩字典和压缩算法;
381.数据发送单元1003,用于将所述压缩字典和压缩算法发送至所述数据传输设备。
382.可选地,所述ai模型用于对最新传输的业务数据进行特征提取,根据提取的特征和所述业务数据之间的关联性输出压缩字典,及利用不同压缩算法以当前压缩字典进行压缩,输出压缩率最高所对应的压缩算法,并将该最高的压缩率作为反馈输入,调整ai模型的模型参数。
383.可选地,将所述压缩字典和压缩算法发送至所述数据传输设备,所述数据发送单元具体用于:
384.确定满足更新条件时,将所述压缩字典和压缩算法发送至所述数据传输设备。
385.可选地,所述数据发送单元确定满足更新条件,包括如下至少一个步骤:
386.确定所述数据传输设备建立业务连接时,满足更新条件;
387.确定所述数据传输设备建立业务连接后,到达设定的更新周期时,满足更新条件;
388.确定满足事件性触发条件时,满足更新条件。
389.可选地,所述数据发送单元确定满足事件性触发条件,包括如下至少一个步骤:
390.确定当前完成传输的业务数据的压缩率低于预设门限时,确定满足事件性触发条件;
391.根据当前ai模型输出的压缩字典和压缩算法所预期的压缩率,与当前完成传输的业务数据的压缩率的差值大于预设值时,确定满足事件性触发条件。
392.本发明实施例所提供的进行数据压缩的装置,与本发明上述实施例1的数据传输设备属于同一发明构思,应用到上述实施例提供的系统中数据传输设备进行数据压缩的各种实施方式,可以应用到本实施例中进行数据压缩的装置,这里不再重述。
393.本发明实施例所提供的进行数据压缩的装置,与本发明上述实施例1的第三方设备属于同一发明构思,应用到上述实施例提供的系统中第三方设备进行数据压缩的各种实施方式,可以应用到本实施例中进行数据压缩的装置,这里不再重述。
394.本发明还提供一种处理器可读存储介质,所述处理器可读存储介质存储有计算机程序,所述计算机程序用于使所述处理器执行上述实施例1中提供的应用于数据传输设备的一种进行数据压缩的方法的步骤。
395.本发明还提供一种处理器可读存储介质,所述处理器可读存储介质存储有计算机程序,所述计算机程序用于使所述处理器执行上述实施例1中提供的应用于第三方设备的一种进行数据压缩的方法的步骤。
396.在本技术所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
397.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
398.另外,在本技术各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
399.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
400.所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘(solid state disk,ssd))等。
401.以上对本技术所提供的技术方案进行了详细介绍,本技术中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的一般技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
402.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
403.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
404.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
405.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
406.显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1