数据处理方法、装置、设备和计算机存储介质与流程

1.本公开涉及数据处理技术领域，尤其涉及增强现实、深度学习、计算机视觉技术等人工智能技术领域。


背景技术：

2.随着计算机视觉技术的不断发展，越来越多的应用实现了复杂的视觉处理效果。例如图像增强技术、图像特效、3d渲染等等。然而在目前的数据处理过程中，对于数据源输出的数据和算法数据两者很难同步，从而造成处理效果不佳。例如，数据源输出各帧数据，原本进行的诸如人脸、头发等区域分割数据(即算法数据)是针对第一帧数据的，但却因为一些原因将该算法数据施加到了第二帧数据或第三帧数据等上，造成针对各区域进行的上色存在偏差。


技术实现要素：

3.有鉴于此，本公开提供了一种数据处理方法、装置、设备和计算机存储介质，以便于提高数据处理的效果。
4.根据本公开的第一方面，提供了一种数据处理方法，包括：
5.算法缓存模块获取算法模块对待处理数据进行第一处理得到的算法数据，并将封装有所述待处理数据的时间戳、算法能力类型和所述算法数据的句柄传递给管理模块；
6.所述管理模块依据所述算法能力类型确定对应的处理模块，将所述时间戳和所述算法数据传递给所述处理模块；
7.所述处理模块依据所述时间戳确定对应的待处理数据，并利用所述算法数据对所述待处理数据进行第二处理。
8.根据本公开的第二方面，提供了一种数据处理装置，包括算法缓存模块、管理模块和一个以上的处理模块；
9.所述算法缓存模块，用于获取算法模块对待处理数据进行第一处理得到的算法数据，并将封装有所述待处理数据的时间戳、算法能力类型和所述算法数据的句柄传递给所述管理模块；
10.所述管理模块，用于依据所述算法能力类型确定对应的处理模块，将所述时间戳和所述算法数据传递给确定出的处理模块；
11.所述处理模块，用于依据所述时间戳确定对应的待处理数据，并利用所述算法数据对所述待处理数据进行第二处理。
12.根据本公开的第三方面，提供了一种电子设备，包括：
13.至少一个处理器；以及
14.与所述至少一个处理器通信连接的存储器；其中，
15.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
16.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。
17.根据本公开的第五方面，一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
18.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
19.附图用于更好地理解本方案，不构成对本公开的限定。其中：
20.图1是本公开实施例所涉及的系统架构示意图；
21.图2是本公开实施例提供的数据处理方法的流程图；
22.图3是本公开实施例提供的一个详细方法流程图；
23.图4是本公开实施例提供的装置结构图；
24.图5是用来实现本公开实施例的电子设备的框图。
具体实施方式
25.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
26.为了方便对本公开的理解，首先对本公开所涉及的系统架构进行描述。如图1中所示，该系统架构主要包括：数据获取装置、数据源模块、算法模块、算法缓存模块、管理模块和处理模块。
27.其中，数据获取装置和算法模块是客户端上的模块。数据获取装置用以采集数据，该数据即为本公开中的待处理数据。待处理数据可以是文本、图像、视频、音频等。作为一种典型的应用场景，在本公开后续实施例中，待处理数据以视频所包含的各图像帧为例进行描述。
28.算法模块用以对待处理数据执行与算法相关的处理，得到算法数据。该部分将在后续实施例中详述。
29.数据源模块、管理模块和处理模块是引擎中的模块。数据源模块用以从数据获取装置获取采集数据并进行缓存，在引擎中作为数据源进行数据分发。处理模块是用以对待处理数据进行处理的模块，执行的是产生最终效果的处理，例如对图片进行增强、特效、3d渲染等处理。通常在一个引擎中会包含一个以上的处理模块，用以完成不同类型的处理。管理模块是用以对各处理模块进行调度管理的模块。
30.算法缓存模块是本公开新增的模块，用以串连算法模块和管理模块。在通常情况下，算法缓存模块与管理模块之间会通过诸如lua虚拟机等进行数据的传递。本公开中提高数据处理效果的改进在于上述算法缓存模块和引擎中的模块，对于端上的算法模块不产生影响，能够完美适配。
31.下面结合实施例对本公开提供的数据处理方法进行详细描述。图2为本公开实施
localization and mapping，并发建图与定位)、人脸识别、区域分割、手势识别、物体检测、姿态检测，等等。其中区域分割可以进一步包括人像分割、头发分割、天空分割等等。具体进行了什么第一处理反映了算法能力类型，也就是说，算法模块所具有的算法能力决定了第一处理的内容。各种算法能力类型可以采用类型标识进行区分，例如，slam的类型标识为5，人脸识别的类型标识为10，等等。
47.进行第一处理后得到的结果就是算法数据。例如人脸识别后，得到人脸的关键点信息。再例如，区域分割后，得到区域信息。如果客户端对这些算法数据具有同步要求，则可以送入同步算法队列，执行本公开所述的处理方式来保证同步。如果客户端对这些算法数据没有同步要求，则可以送入异步算法队列，执行现有的异步处理方式。
48.上述同步算法队列是在内存中为需要进行同步的算法数据分配的存储空间。
49.在304中，算法缓存模块检测到同步算法队列中存在算法数据且图像帧序列存在图像帧，则获取该图像帧对应的时间戳。
50.同步算法队列中存在算法数据则说明对应时间戳的图像帧需要保证与算法数据在时间上的同步。
51.在本公开中，关于图像帧序列的检测可以由管理模块调用诸如相机更新回调接口来触发算法缓存模块执行。其中，相机更新回调接口可以采用诸如：
52.void algo_handle_update()
53.算法缓存模块在从同步算法队列中获取算法数据时，可以通过调用获取算法接口实现。其中，获取算法接口可以采用诸如：
54.long long get_algo_handle(int algo_type,long long pts)
55.其中，algo_type表示算法能力类型，pts表示时间戳。
56.在305中，算法缓存模块将封装有该时间戳、算法能力类型和算法数据的句柄通过lua虚拟机传递给管理模块。
57.在本步骤中，作为一种可实现的方式，算法缓存模块可以在存储算法数据的内存中设置算法能力类型和时间戳，将标识该内存资源的句柄放入与算法能力类型对应的句柄队列，以通过句柄队列传递给管理模块。
58.其中，系统在创建资源(例如本公开的同步算法队列中的各算法数据)时会为它们分配内存，并返回标识这些资源的标识号，即句柄(handle)。句柄指的是一个核心对象在某一个进程中的唯一索引。在本公开中，内存中除了存储算法数据之外，还进一步设置了算法能力类型和时间戳。可以理解为算法数据、算法能力类型和时间戳作为“一条数据”存储于内存中，指向该“一条数据”的句柄相当于封装了该时间戳、算法能力类型和算法数据。
59.其中，算法缓存模块在将封装了时间戳、算法能力类型和算法数据的句柄放入与算法能力类型对应的算法队列时，可以通过调用设置算法句柄接口实现。其中设置算法句柄接口可以采用诸如：
60.void set_algo_handle(long long algo_handle)
61.另外，本实施例中，句柄队列可以针对算法能力类型分别设置，也可以统一设置。
62.由于算法模块在同步算法队列中存储的算法数据可由算法模块删除。为了避免算法模块因为一些原因删除算法数据导致后续处理模块在进行第二处理时算法数据缺失，作为另一种可实现的方式，算法缓存模块可以对算法数据进行拷贝，在存储拷贝的算法数据
的内存中设置算法能力类型和时间戳，将标识该内存资源的句柄放入与该算法能力类型对应的句柄队列，以通过句柄队列传递给管理模块。
63.在本公开实施例中，lua虚拟机仅仅执行句柄的透传处理。
64.在本公开中客户端可以在算法模块初始化成功后，通过调用新增算法类型接口增加新的句柄队列。其中新增算法类型接口可以采用诸如：
65.bool add_algo_type(std::vector<int>&type_list,int sync_mode)
66.其中，type_list参数表示需要增加的新的算法能力类型列表；sync_mode表示增加的新的算法能力类型是否需要同步。调用该接口的返回值表示是否有足够的内存创建对应的缓存空间。
67.对于句柄队列而言，可以在适当的情况下对其进行删除以释放内存资源。其中，句柄队列的删除可以采用但不限于以下两种方式：
68.第一种方式：若完成算法能力类型对应的所有第二处理，则删除算法能力类型对应的句柄队列。例如，当前图像处理任务执行完毕，则可以将该图像处理任务下算法能力类型对应的句柄队列删除。可以由客户端调用移除算法类型接口实现，其中移除算法类型接口可以采用诸如：
69.void remove_algo_type(std::vector<int>&type_list)
70.其中，type_list表示需要删除的算法能力类型列表。
71.第二种方式：若完成所有算法能力类型对应的所有第二处理，或者，检测到退出应用，则删除所有算法能力类型对应的句柄队列。例如，应用退出时，该应用的客户端调用清空算法类型接口，其中清空算法类型接口可以采用诸如：
72.void clear_algo_cache()
73.另外，需要说明的是，在一些情况下，处理模块进行第二处理可能用到多种算法数据。例如进行美妆处理可能会涉及到人脸识别结果、区域分割结果等。这种情况下，算法缓存模块需要将同一时间戳对应的多个算法结果的句柄均传递给管理模块。
74.对于没有同步需求的算法数据，例如在异步算法队列中的算法数据，则将最早的算法数据传递给管理模块即可。
75.在步骤306中，管理模块依据算法能力类型确定对应的处理模块，将时间戳和算法数据传递给处理模块。
76.对于具备图像处理功能的引擎中可以存在多种处理模块，不同处理模块具有不同的功能，用以执行不同的第二处理。例如，引擎中可能包含滤镜处理模块、渲染模块、颜色填充模块，等等。
77.由于处理模块执行的第二处理与算法能力是对应的，在管理模块中，预先存储有算法能力类型与处理模块之间的对应关系。依据句柄封装的算法能力类型能够确定对应的处理模块，即由哪个处理模块执行对应图像帧的第二处理。然后从句柄对应的内存空间中获取时间戳和算法数据并传递给处理模块。
78.在步骤307中，处理模块从数据源模块获取该时间戳对应的图像帧，并利用算法数据对图像帧进行第二处理。
79.处理模块接收到管理模块发送的时间戳和算法数据后，依据时间戳就能够知晓哪个图像帧需要与该算法数据保证同步。然后利用算法数据对该图像帧进行第二处理。
80.在步骤308中，处理模块将第二处理后的图像帧提供给显示装置。
81.例如，处理模块利用算法数据对图像帧进行滤镜处理后，滤镜效果就能够上屏显示。再例如，处理模块利用算法数据进行3d渲染后，3d渲染效果就能够上屏显示。
82.上面是对一帧图像帧进行的处理过程，对于后续具有同步要求的图像帧依据上述流程逐帧进行处理即可。
83.由以上实施例可以看出，本公开提供的上述方法可以具备以下优点：
84.1)能够保证算法数据和待处理数据的同步，提高数据处理的效果。例如，将针对某一图像帧所产生的算法数据应用于该图像帧的处理，而不产生偏差。
85.2)本公开对于客户端不产生改进和影响，能够适配各种客户端，且避免了因客户端平台(例如ios或安卓)不同所产生的差异影响，提供了一套统一的缓存和同步策略。
86.以上是对本公开所提供方法进行的详细描述，下面结合实施例对本公开所提供的装置进行详细描述。
87.图4为本公开实施例提供的装置结构图，该装置可以为位于引擎中的功能单元、插件或软件开发工具包，本公开实施例对此不加以特别限定。如图4中所示，该装置400可以包括：算法缓存模块401、管理模块402和一个以上的处理模块403，还可以进一步包括队列维护模块404。其中各组成模块的主要功能如下：
88.算法缓存模块401，用于获取算法模块对待处理数据进行第一处理得到的算法数据，并将封装有待处理数据的时间戳、算法能力类型和算法数据的句柄传递给管理模块402。
89.管理模块402，用于依据算法能力类型确定对应的处理模块403，将时间戳和算法数据传递给确定出的处理模块403。
90.处理模块403，用于依据时间戳确定对应的待处理数据，并利用算法数据对待处理数据进行第二处理。
91.作为其中一种可实现的方式，算法缓存模块401可以在存储算法数据的内存中设置算法能力类型和时间戳，将标识内存资源的句柄放入与算法能力类型对应的句柄队列，以通过句柄队列传递给管理模块402。
92.作为另一种可实现的方式，算法缓存模块401可以对算法数据进行拷贝，在存储拷贝的算法数据的内存中设置算法能力类型和时间戳，将标识内存资源的句柄放入与算法能力类型对应的句柄队列，以通过句柄队列传递给管理模块402。
93.更进一步地，算法缓存模块401可以在将封装有待处理数据的时间戳、算法能力类型和算法数据的句柄传递给管理模块之前，从数据源模块检测到待处理数据的时间戳，且在同步算法队列存在该时间戳对应的算法数据。
94.其中数据源模块在从数据获取模块获取到新一帧的待处理数据后，会将该待处理数据送入缓存队列进行进行缓存，算法缓存模块401从该缓存队列中检测待处理数据的时间戳。另外，上述同步算法队列是算法模块将需要进行同步的算法数据所送入的队列。对于不需要进行同步的算法数据，可以送入异步算法队列。
95.处理模块403从数据源模块获取该时间戳对应的待处理数据。
96.作为一种可实现的方式，若算法能力类型对应的所有第二处理均完成，则队列维护模块404删除算法能力类型对应的句柄队列。
97.作为另一种可实现的方式，若所有算法能力类型对应的所有第二处理均完成，或者，检测到退出应用，则队列维护模块404删除所有算法能力类型对应的句柄队列。
98.作为一些典型的应用场景，上述第一处理可以包括但不限于：并发建图与定位、人脸识别、区域分割、手势识别、物体检测或姿态检测；第二处理可以包括但不限于：图像增强处理、图像特效处理或3d渲染处理。
99.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
100.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
101.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
102.如图5所示，是根据本公开实施例的数据处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
103.如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(rom)502中的计算机程序或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序，来执行各种适当的动作和处理。在ram 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
104.设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
105.计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。
106.在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到ram 503并由计算单元501执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。
107.此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系
统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
108.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控30制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
109.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
110.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
111.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
112.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(vps，
ⅵ
irtual private server)服务中存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
113.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
114.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。