一种用于文献的深度学习的数字传输方法与流程

本发明属于数字传输，特别是涉及一种用于文献的深度学习的数字传输方法。

背景技术：

1、根据互联网行业报告调查显示，互联网上的文献数据从2020年起呈几何倍数增加。虽然移动终端的计算能力大幅提高，4g网络也日益完善，但是文献数据的爆发式增长给在移动互联网上文献存储和传输带来了新的挑战。

2、目前，在主流文献传输方法中，文献压缩和比特传输被认为是实现传输任务的两个不可或缺的部分，如果数据传输的过程中难以及时有效地适应信道的变化，可能会导致文献信号的质量下降，甚至于导致文献传输任务的失败；同时，在许多应用中，通信网络或存储设备可能对最大比特率施加约束，这要求文献编码器需要适应给定的比特率预算，在一些应用中，这种约束甚至会随着时间动态变化。目前的基于深度学习的文献压缩传输方法可以通过神经网络来适应特定情况下的传输条件，但对于不同情况下的信道条件，缺乏一定的鲁棒性；同时，还无法大规模部署到实际生活中，其原因在于时间和空间上的高复杂度限制了该方法的实践性，例如不可持续的计算负担和内存消耗。除此之外，为了获得最佳的率失真性能，大多数基于深度学习的方法需要为单个比特率目标重新训练单独的模型，在时间和空间上都是低效的。因此，研究文献如何在多变的信道条件下传输有着深刻的现实意义，同时，多速率传输问题也是基于深度学习的文献传输亟需解决的问题。

技术实现思路

1、本发明的目的在于提供一种用于文献的深度学习的数字传输方法，通过深度学习算法来训练模型，利用模型判断传输路径的最大可用宽带，对文献进行压缩后，使用最大可用带宽来传输文献，解决了现有的文献传输宽带成本高、传输速率低的问题。

2、为解决上述技术问题，本发明是通过以下技术方案实现的：

3、本发明为一种用于文献的深度学习的数字传输方法，包括如下步骤：

4、步骤s1、收集网络性能数据：收集大量关于网络性能的数据，具体包括：带宽使用情况、延迟数据和丢包率数据；

5、步骤s2、数据清洗：将收集到的数据进行清洗，去除异常值和噪声；

6、步骤s3、特征提取：从清洗的网络性能数据中提取能够反映传输路径最大可用宽带的特征，具体包括：链路上的最小带宽、平均带宽和延迟抖动；

7、步骤s4、深度学习模型训练：选择卷积神经网络对提取的特征数据集进行训练；

8、步骤s5、模型验证：使用测试集对训练好的深度学习模型进行验证；

9、步骤s6、文献传输：对需要传输的文献采用编码技术进行文档压缩；

10、步骤s7、传输识别：输入训练好的深度学习模型，判断传输路径的最大可用宽带；

11、步骤s8：输出显示：深度学习模型输出并显示解压后的文献。

12、作为一种优选的技术方案，所述步骤s1中，收集网络性能数据采用网络监控工具来实时获取或通过在网络中的关键节点部署硬件或软件探针，来捕获和分析节点的网络性能数据；网络监控工具如：wireshark、solarwinds、nagios、zabbix等，也有许多路由器、交换机等网络设备都支持snmp(简单网络管理协议)，可以通过snmp协议获取设备的运行状态、流量统计等信息；探针可以提供更精确的网络性能数据，但需要一定的硬件投入和维护成本；

13、在收集网络性能数据时，需要注意以下几点：1、确保数据收集的准确性和完整性，避免数据丢失或误差；2、根据实际需求选择合适的数据收集方法和工具；3、定期对收集到的数据进行分析和评估，及时发现并解决网络性能问题；4、保护好收集到的数据的安全性和隐私性，避免数据泄露或被滥用。

14、作为一种优选的技术方案，所述步骤s2中，网络性能数据进行数据清洗的具体流程如下：

15、步骤s21、删除超出时间范围的数据：确定数据的时间范围，对超出这个时间范围的数据进行删除；

16、步骤s22、处理重复数据：识别并删除重复的数据记录；

17、步骤s23、处理缺失数据：对于缺失的数据，根据实际情况进行填充、插值或删除；

18、步骤s24、过滤异常值：使用统计方法识别并过滤掉异常值；

19、在清洗完成后还需进行应用数据转换：根据需要对数据进行转换，如对数变换、平方根变换等，以使数据更符合分析模型的假设条件；验证数据质量：在清洗完成后，对数据进行质量检查，确保数据的准确性和完整性；备份原始数据：在进行任何数据清洗操作之前，务必备份原始数据，以防止意外损失或错误；记录清洗过程：详细记录数据清洗的过程和所使用的方法，以便后续审查和验证。

20、作为一种优选的技术方案，所述步骤s3中，从清洗的网络性能数据中提取能够反映传输路径最大可用宽带的特征采用主成分分析方法，具体方法如下：

21、步骤s31：将数据进行中心化处理，转换成数据矩阵；

22、步骤s32：将中心化处理后的数据进行协方差矩阵计算：

23、

24、式中，x为中心化后的数据矩阵，n为样本数量；

25、步骤s33：对协方差矩阵∑进行特征值分解，得到特征值和特征向量；

26、步骤s34：选择前k个最大特征值对应的特征向量作为主成分；

27、步骤s35：将原始数据投影到选定的主成分上，得到降维后的数据。

28、作为一种优选的技术方案，所述步骤s42中，对于卷积神经网络中的每个权重和偏置，使用小的随机数进行初始化，并对于输入数据集中的每一个样本，执行以下操作：从输入层开始，逐层计算神经元的输出。每一层神经元的输出是其输入与权重的乘积加上偏置，然后通过激活函数进行非线性变换；将当前层的输出作为下一层的输入，继续向前传播，直到达到输出层；输出层的结果是网络对当前输入样本的预测值。

29、作为一种优选的技术方案，所述步骤s6中，文献采用编码技术进行文档压缩构建二叉树对字符进行编码，频率高的字符使用短的编码，频率低的字符使用长的编码，具体先计算文件编码的平均码长：在计算给定字符集的信源熵：式中，pi为第i个字符出现的概率，li为该字符的长度，n表示字符集中字符的总数；

30、则文献进行编码的效率为：

31、作为一种优选的技术方案，所述步骤s7中，训练好的深度学习模型输出路径的最大可用宽带，并计算该带宽是否拥塞程度；当拥塞程度超过一定阈值时，接收方返回ack，发送端采用低优先级重传数据方案，当拥塞程度小于阈值时，则不需要重传数据，接收端不返回ack；判定为丢包的数据，发送端采用高优先级数据传输方案。

32、本发明具有以下有益效果：

33、本发明通过深度学习算法来训练模型，利用模型判断传输路径的最大可用宽带，对文献进行压缩后，使用最大可用带宽来传输文献并计算该最大带宽的拥塞程度，降低文献传输宽带成本，提高传输速率。

34、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

技术特征：

1.一种用于文献的深度学习的数字传输方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种用于文献的深度学习的数字传输方法，其特征在于，所述步骤s1中，收集网络性能数据采用网络监控工具来实时获取或通过在网络中的关键节点部署硬件或软件探针，来捕获和分析节点的网络性能数据。

3.根据权利要求1所述的一种用于文献的深度学习的数字传输方法，其特征在于，所述步骤s2中，网络性能数据进行数据清洗的具体流程如下：

4.根据权利要求1所述的一种用于文献的深度学习的数字传输方法，其特征在于，所述步骤s3中，从清洗的网络性能数据中提取能够反映传输路径最大可用宽带的特征采用主成分分析方法，具体方法如下：

5.根据权利要求1所述的一种用于文献的深度学习的数字传输方法，其特征在于，所述步骤s4中，深度学习模型训练的具体流程如下：

6.根据权利要求5所述的一种用于文献的深度学习的数字传输方法，其特征在于，所述步骤s42中，对于卷积神经网络中的每个权重和偏置，使用小的随机数进行初始化，并对于输入数据集中的每一个样本，执行以下操作：从输入层开始，逐层计算神经元的输出；每一层神经元的输出是其输入与权重的乘积加上偏置，然后通过激活函数进行非线性变换；将当前层的输出作为下一层的输入，继续向前传播，直到达到输出层；输出层的结果是网络对当前输入样本的预测值。

7.根据权利要求1所述的一种用于文献的深度学习的数字传输方法，其特征在于，所述步骤s6中，文献采用编码技术进行文档压缩构建二叉树对字符进行编码，频率高的字符使用短的编码，频率低的字符使用长的编码，具体先计算文件编码的平均码长：在计算给定字符集的信源熵：式中，pi为第i个字符出现的概率，li为该字符的长度，n表示字符集中字符的总数；

8.根据权利要求1所述的一种用于文献的深度学习的数字传输方法，其特征在于，所述步骤s7中，训练好的深度学习模型输出路径的最大可用宽带，并计算该带宽是否拥塞程度；当拥塞程度超过一定阈值时，接收方返回ack，发送端采用低优先级重传数据方案，当拥塞程度小于阈值时，则不需要重传数据，接收端不返回ack；判定为丢包的数据，发送端采用高优先级数据传输方案。

技术总结
本发明公开了一种用于文献的深度学习的数字传输方法，涉及数字传输技术领域。本发明包括如下步骤：收集网络性能数据；步骤S2、数据清洗；步骤S3、特征提取；步骤S4、深度学习模型训练；步骤S5、模型验证；步骤S6、文献传输；步骤S7、传输识别；步骤S8：输出显示。本发明通过深度学习算法来训练模型，利用模型判断传输路径的最大可用宽带，对文献进行压缩后，使用最大可用带宽来传输文献并计算该最大带宽的拥塞程度，降低文献传输宽带成本，提高传输速率。

技术研发人员：张健
受保护的技术使用者：北京起创科技有限公司
技术研发日：
技术公布日：2025/3/10