渐进式编码的边缘智能图像传输方法、系统、设备及介质与流程

1.本发明涉及计算机传输技术领域，具体为渐进式编码的边缘智能图像传输方法、系统、设备及介质。


背景技术：

2.随着边缘计算技术和人工智能技术的发展，出现了一个新兴的交叉领域：边缘智能。边缘智能是指在边缘网络的边缘服务器上提供智能服务。相比传统的云计算模式，边缘网络增加了可利用的网络带宽，降低了传输时延，从而提高了边缘智能服务的实时性和可靠性。一般用两个指标衡量边缘智能的可靠性：时间可靠性和算法模型可靠性。
3.为了提高边缘智能的可靠性，普遍的做法是以高效且准确率较高的算法模型为基础，进行进一步优化，提升鲁棒性。优化时间可靠性的途径主要有两种：
4.1.对模型进行剪枝，使得在一些情况下，推理结果能提前输出。
5.2.进行计算卸载，让用户设备先处理一部分任务，对传输的数据进行降维后再发送给边缘服务器处理计算密集型任务。只有使得传输的内容。
6.这两种途径的前提是数据的完整性不受到损坏。而为了降低传输时延，往往更倾向于使用无状态的用户数据报协议作为传输层协议。这一协议只负责将在发送端将数据包送出，不保证数据的可靠传输，而对于边缘智能常依赖的移动互联网，不可避免地会发生丢包现象。
7.联合图像专家小组制定的静态图片格式被广泛使用。以符合这种格式的图像为例，虽然在丢包情况下仍能解码，但图片的空间信息、色彩通道和都可能受损，从而对人工智能模型推理的可靠性有比较大的影响。


技术实现要素：

8.针对现有技术中丢包情况下边缘智能服务存在可靠性差的问题，本发明提供渐进式编码的边缘智能图像传输方法、系统、设备及介质，提升了在丢包情况下边缘智能的算法模型可靠性，改善了网络不稳定情况下的边缘智能服务可靠性。
9.本发明是通过以下技术方案来实现：
10.一种渐进式编码的边缘智能图像传输方法，包括如下步骤：
11.采集图像；
12.将采集到的图像按照技术途径描述的渐进式编码流程输出为jpg格式的图片；
13.将jpg格式的图片进行base64编码操作，并加入图片信息后整理为json数据格式；
14.使用用户数据报协议的套接字编程，把包含图片信息的数据包通过边缘网络发送给边缘服务器；
15.边缘服务器对接收到的图片信息的数据包进行解析，得到图片信息，并对其中的图片信息进行base64解码操作，并进行编排；
16.在编排中将完成接收或出现丢包的图片进行截断；
17.被截断后的图片进入人工智能算法模型，输出结果。
18.优选的，图像通过用户设备进行采集。
19.优选的，图片信息包括图片的文件名、时间和数据包编号。
20.优选的，将图片信息进行base64解码操作后按照数据包编号进行编排。
21.优选的，人工智能算法模型采用开源目标检测模型yolov5s。
22.一种渐进式编码的边缘智能图像传输系统，包括：
23.图形采集模块，用于采集图像；
24.图像处理模块，用于将采集到的图像按照技术途径描述的渐进式编码流程输出为jpg格式的图片；
25.第一数据处理模块，用于将jpg格式的图片进行base64编码操作，并加入图片信息后整理为json数据格式；
26.第二数据处理模块，用于使用用户数据报协议的套接字编程，把包含图片信息的数据包通过边缘网络发送给边缘服务器；
27.第三数据处理模块，用于边缘服务器对接收到的图片信息的数据包进行解析，得到图片信息，并对其中的图片信息进行base64解码操作，并进行编排；
28.第四数据处理模块，用于在编排中将完成接收或出现丢包的图片进行截断；
29.第五数据处理模块，用于被截断后的图片进入人工智能算法模型，输出结果。
30.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述渐进式编码的边缘智能图像传输方法的步骤。
31.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述渐进式编码的边缘智能图像传输方法的步骤。
32.与现有技术相比，本发明具有以下有益的技术效果：
33.本发明提供了一种渐进式编码的边缘智能图像传输方法，边缘智能的结构可以简化为用户设备和边缘服务器。图片等用户数据由搭载传感器的低功耗小型计算设备收集，然后通过边缘网络传输给附近的边缘服务器，由边缘服务器完成对智能服务的计算。为了衡量边缘智能可靠性，需要量化时间可靠性和算法模型可靠性。通常对边缘智能服务设定一个服务需要完成的截止时间。对于数据集中的一张图片，时间可靠性可以表示为在截至时间之前能否完成服务，结果为1或0。在用于测试边缘服务的整个数据集上，边缘智能可靠性可以表示为所有图片的服务可靠性的平均值。算法模型可靠性由算法模型在测试数据集上的衡量指标(准确性等)给出。通过利用渐进式编码的特性，提升了在丢包情况下边缘智能的算法模型可靠性，改善了网络不稳定情况下的边缘智能服务可靠性。
附图说明
34.图1为本发明中渐进式编码的边缘智能图像传输方法的流程示意图；
35.图2为本发明中第一种丢包环境的测试结果示意图；
36.图3为本发明中第三种丢包环境的测试结果示意图。
具体实施方式
37.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
38.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
39.下面结合附图对本发明做进一步详细描述：
40.参见图1，本发明一个实施例中，提供了一种渐进式编码的边缘智能图像传输方法，主要采用分布式、计算机网络、人工智能等技术实现。整个系统由用户设备，边缘网络和边缘服务器三个环节组成。
41.本发明提出的方法使用渐进式编码在用户设备处对图像进行编码或重编码。按照联合图像专家小组制定的静态图片标准，用户设备输出的图像一般经历采样、离散余弦变换、量化、熵编码、哈夫曼编码等步骤。渐进式编码是熵编码的一种方式。
42.采样是通过图像传感器获得环境中的红色、蓝色、绿色的值。随后，图片被转换到亮度和色度空间的三通道矩阵，并分成长、宽均为8像素的子模块。每个子模块通过离散余弦变换，得到8*8的64个频率分量。通过专家制定的量化表，量化过程去掉了大量人眼不敏感的高频信息。
43.具体的，该渐进式编码的边缘智能图像传输方法，包括如下步骤：
44.采集图像；
45.将采集到的图像按照技术途径描述的渐进式编码流程输出为jpg格式的图片；
46.将jpg格式的图片进行base64编码操作，并加入图片信息后整理为json数据格式；
47.使用用户数据报协议的套接字编程，把包含图片信息的数据包通过边缘网络发送给边缘服务器；
48.边缘服务器对接收到的图片信息的数据包进行解析，得到图片信息，并对其中的图片信息进行base64解码操作，并进行编排；
49.在编排中将完成接收或出现丢包的图片进行截断；
50.被截断后的图片进入人工智能算法模型，输出结果。
51.具体的，图像通过用户设备进行采集。
52.具体的，图片信息包括图片的文件名、时间和数据包编号。
53.具体的，将图片信息进行base64解码操作后按照数据包编号进行编排。
54.具体的，人工智能算法模型采用开源目标检测模型yolov5s。
55.本发明中采用的渐进式编码原本用于早期低带宽的网络中图像的传输，以减少用户浏览时的等待加载时间。本发明创新性的使用渐进式编码解决边缘智能场景下由于网络
传输不可靠影响边缘智能服务可靠性的问题。
56.本发明通过渐进式编码提高丢包环境下边缘智能服务稳定性的方法，从编码的角度改善边缘智能服务的可靠性。
57.本发明中近年来，人工智能应用逐渐得到普及。计算设备效率的提高也使得人工智能的应用不再依赖于数据中心专用的计算设备，可以部署在更靠近用户的边缘网络，降低了运营成本，缩短了响应时间，同时保护了敏感数据。边缘智能的出现，更灵活地满足了对人工智能应用的需求。
58.由于无线、可移动、低功耗的数据采集设备的普及(如智能手机)，边缘计算有时候运行在移动互联网上。由于移动互联网的传输受用户设备到基站或移动网关的距离、障碍影响交大，很容易出现丢包等问题。本发明可以有效改善环境下边缘智能服务的可靠性，具有很强的实用性。
59.为了说明本技术提出的方法对提升边缘智能服务可靠性的作用，以下比较三种丢包测试环境中的人工智能算法模型可靠性和系统时延。
60.首先说明测试环境，边缘服务器为英国树莓派基金会发布的树莓派4b，边缘服务器的中央处理器为英特尔公司发布的i7-11800h型号，图形处理器为英伟达公司发布的rtx3060 laptop型号。测试用的图片数据集为开源数据集coco128，长边分辨率为640，格式为jpg。算法模型为开源目标检测模型yolov5s。图像从用户设备发送到边缘服务器的数据包包含1千字节的图片信息。
61.第一种丢包环境是在数据集中的不同图像位置丢1个包，即1千字节的图像信息。丢失的数据包在整个图像中的相对位置以百分比的形式表示，结果如图2所示。
62.第二种丢包环境是在数据集的不同区域丢2/4/6/8个包，同时区分连续丢包和随机丢包两种情况。丢包的区域在根据上一次的测试结果，大致可以把丢包的区域分成三等分，结果如表1所示。
63.64.表1为第二种丢包环境的测试结果
65.第三种丢包环境是设定丢包率为0.5％/1％/2％，随机丢包，结果如图3所示。
66.从以上测试中可以看出，渐进式编码在多种丢包场景中，在人工智能算法模型的推断可靠性方面较顺序编码有显著提升。
67.因此，本发明在边缘智能场景中提升了对丢包的容忍度，使得无需使用传输控制协议实现可靠的数据传输。该协议的缺点是在丢包环境下网络吞吐量会大幅下降。在接收丢包的前提下，由于用户数据报协议的无状态的属性，使得在带宽充裕的边缘网络，传输时延可以忽略不计。
68.下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未纰漏的细节，请参照本发明方法实施例。
69.本发明再一个实施例中，提供一种渐进式编码的边缘智能图像传输系统，能够用于实现上述实施例中所述的渐进式编码的边缘智能图像传输方法，根据图2所示，具体的，包括：
70.图形采集模块，用于采集图像；
71.图像处理模块，用于将采集到的图像按照技术途径描述的渐进式编码流程输出为jpg格式的图片；
72.第一数据处理模块，用于将jpg格式的图片进行base64编码操作，并加入图片信息后整理为json数据格式；
73.第二数据处理模块，用于使用用户数据报协议的套接字编程，把包含图片信息的数据包通过边缘网络发送给边缘服务器；
74.第三数据处理模块，用于边缘服务器对接收到的图片信息的数据包进行解析，得到图片信息，并对其中的图片信息进行base64解码操作，并进行编排；
75.第四数据处理模块，用于在编排中将完成接收或出现丢包的图片进行截断；
76.第五数据处理模块，用于被截断后的图片进入人工智能算法模型，输出结果。
77.本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器
(digital signal processor、dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于渐进式编码的边缘智能图像传输方法的操作。
78.本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中渐进式编码的边缘智能图像传输方法的相应步骤。
79.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
80.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
81.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
82.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
83.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。