一种端边协同的数据共享和计算方法与流程

本发明属于边缘计算，具体涉及一种端边协同的数据共享和计算方法。

背景技术：

1、随着物联网、5g网络和人工智能等前沿技术的快速发展，端侧设备上处理数据的能力得到了极大地提升，因此越来越多的应用场景中采用端侧计算与边缘计算相结合的方式，形成边缘和端侧的混合模式，以实现更高效的数据处理和分发，满足不同的计算需求。

2、但是，传统的端边协同计算框架中，端侧和边侧的计算过程或者是分开的，或者是串行式的计算过程，端侧设备更多的承担的还是小计算量或者数据前处理的工作，规模化的数据计算更多的是边侧或者云侧进行承担。而随着芯片向着微型化、高频化和高算力的方向发展，未来端边协同会出现越来越多的端侧与边侧并行计算的分布式计算场景，但是当期的端边协同框架，显然无法满足一些分布式计算的场景中数据共享和数据计算的要求。

技术实现思路

1、为了解决上述背景技术中提到的至少一个问题，本发明提出了一种端边协同的数据共享和计算方法。

2、一种端边协同的数据共享和计算方法，包括以下步骤：

3、步骤s1，构建边侧设备和端侧设备的通信协议和工作模式，并将构建的工作模式和通信协议写入所述边侧设备和所述端侧设备，具体地，通信协议包括：指定边侧设备和端侧设备的访问权限以及写入权限；

4、工作模式包括容量协同模式和格式协同模式，其中，容量协同模式下，端侧设备和边侧设备相互之间拥有访问权限和写入权限；格式协同模式下，边侧设备对端侧设备和端侧设备相互之间拥有访问权限，且无写入权限。

5、步骤s2，所述边侧设备和所述端侧设备根据设置的工作模式建立通信连接，具体地，

6、若工作模式为容量协同模式，则由所述端侧设备和所述边侧设备建立全双工通信模式，数据传输方式为并行传输；

7、若工作模式为格式协同模式，则由所述端侧设备和所述边侧设备建立半双工通信模式，数据传输方式为并行传输；

8、步骤s3，由所述端侧设备对数据进行采集，并通过设置的不同工作模式执行不同的数据共享模式，具体包括步骤：

9、步骤s301，所述端侧设备对数据进行采集，并将采集到的数据存储在缓存中；

10、步骤s302，根据设置的不同工作模式，分别执行不同的数据共享流程，其中，

11、若工作模式为容量协同模式，则执行步骤：

12、步骤a1，所述端侧设备将其硬件参数发送给所述边侧设备，由边侧设备根据其硬件参数和端侧设备的硬件参数计算出不同设备的算力大小，具体算力大小的计算公式为：

13、

14、式中，表示设备的算力大小，表示设备中计算单元的编号，表示设备的编号，表示对应计算单元的算力，表示计算单元的权重值，为经验数，表示计算单元中计算核心的数量，表示计算核心的在周期内运算次数，表示该计算单元的运作频率。

15、步骤a2，所述边侧设备按照不同算力大小进行数据切分计算，并将计算得到的端侧设备数据切分大小发送给所述端侧设备，具体数据切分计算公式为：

16、

17、式中，表示该边侧设备算力大小，表示该端侧设备算力大小，m表示总的边侧设备和端侧设备的数量，表示总数量的大小，表示边侧设备划分的数据量大小，表示端侧设备数据量的大小；表示边侧设备的编号，表示端侧设备的编号。

18、步骤a3，所述端侧设备接收所述边侧设备发送的数据切分大小，按照数据切分大小的值对内存中的数据进行切分，并将划分后的数据封装成结构化信息；

19、步骤a4，由所述端侧设备将切分后的数据和数据结构化信息一并发送给所述边侧设备；

20、步骤a5，所述边侧设备接收所述端侧设备发送的数据和数据结构化信息，并对数据结构信息进行解析，根据解析出的内容对数据进行一轮校验，具体数据校验流程为：

21、首先对数据结构化信息进行解析，从数据结构化信息中解析出接收到数据的数据格式和数据大小；

22、然后由边侧对存储位置进行扫描，读取存储后数据的数据格式和数据大小；

23、最后比对读取到存储数据的数据格式及数据大小和解析出接收到数据的数据格式及数据大小是否一致。

24、若工作模式为格式协同模式，则执行步骤：

25、步骤b1，所述边侧设备将其计算的数据格式发送给所述端侧设备，由所述端侧设备读取缓存中数据的格式，并根据数据的格式对数据进行切分，具体地，

26、切分时的执行过程，是通过端侧设备读取内存中的数据并判别数据的格式，进而根据端侧设备预先设置的数据格式来加载内存中特定格式的数据；

27、切分后的数据分流，分流一是对于需要端侧设备加载的数据，将数据写入计算单元并执行计算过程，分流二是对于需要被边侧设备加载的数据，继续存放在内存中等待下一步的数据传输过程。

28、步骤b2，所述端侧设备将切分后的数据封装成结构化信息，并将切分后的数据和数据结构化信息一并发送给所述边侧设备；

29、步骤b3，所述边侧设备接收所述端侧设备发送的数据和数据结构化信息，并对数据结构信息进行解析，根据解析出的内容对数据进行一轮校验，具体过程包括：

30、首先对数据结构化信息进行解析，从数据结构化信息中解析出接收到数据的数据格式和数据大小；

31、然后由边侧设备对接收的数据进行扫描，读取存储后数据的数据格式和数据大小；

32、最后通过判断读取到的数据格式及数据大小和解析出的数据的数据格式及数据大小是否一致来判断数据传输和存储过程中是否发生错误。

33、步骤s4，所述端侧设备和所述边侧设备根据不同的工作模式对共享后的数据进行计算，具体包括步骤：

34、步骤s401，所述端侧设备和所述边侧设备对按照指令进行读取数据，并将数据加载至内存中；

35、步骤s402，根据设置的不同工作模式，分别执行不同的数据计算流程，其中，

36、若工作模式为容量协同模式，则执行步骤：

37、步骤c1，所述端侧设备和所述边侧设备读取内存中的数据并进行计算，并将计算过程中的参数保存在各自的缓存中；

38、步骤c2，所述端侧设备通过访问所述边侧设备内存中的参数来更新自身的计算过程，对应地，所述边侧设备通过访问所述端侧设备内存中的参数来更新自身的计算过程；

39、具体更新方式为：其边侧设备和端侧设备中的参数是通过与对方设备中的数据进行非逻辑运算来更新对方设备的计算过程，参数会参与后续的计算步骤，并且最终数值会被写入对方设备；

40、步骤c3，所述端侧设备和边侧设备执行完计算过程得到计算结果，所述端侧设备将计算结果传输给所述边侧设备，由所述边侧设备将端侧设备传输的计算结果和自身的计算结果进行合并，并将合并后的计算结果存储至本地；

41、若工作模式为格式协同模式，则执行步骤：

42、步骤d1，所述端侧设备和所述边侧设备读取内存中的数据并进行计算，并将计算过程中的参数保存在各自的缓存中；

43、步骤d2，所述端侧设备通过访问所述边侧设备内存中的参数来更新自身的计算过程，对应地，所述边侧设备通过访问所述端侧设备内存中的参数来更新自身的计算过程；

44、具体更新方式为：其边侧设备和端侧设备中的参数是通过与对方设备中的数据进行逻辑运算来更新对方设备的计算过程，参数不会参与后续的计算步骤，并且最终数值也不会被写入对方设备；

45、步骤d3，所述端侧设备和边侧设备执行完计算过程得到计算结果，由所述端侧设备将计算结果传输给所述边侧设备，由所述边侧设备将端侧设备的计算结果并和自身计算结果进行合并，并将合并后的计算结果存储至本地。

46、本发明提出了一种端边协同的数据共享和计算方法，与现有的技术相比，具有以下有益效果：

47、本发明提出了一种端边协同下数据共享和计算的方法，该方法根据不同的分布式计算场景，设计了容量协同模式和格式协同模式，满足了不同分布式计算场景下的数据共享和数据计算的需求；

48、本发明提供的方法，设计了容量协同模式下，不同指令集设备共存时算力的计算方式，并提出了边侧设备和端侧设备依据不同算力大小进行数据自动切分的方式，实现了存在不同算力设备时的分布式计算场景中，依据不同设备算力大小进行数据自适应切分和传输的功能；

49、本发明提供的方法，设计了容量协同模式下和格式协同模式下，不同的设备访问权限、数据传输方向以及数据校验流程，在满足了不同模式下数据共享和传输要求的前提下，保证了数据的传输效率和数据的安全。