视觉伺服方法和视觉伺服系统与流程

1.本发明涉及通信和视觉伺服技术领域，具体涉及一种视觉伺服方法和视觉伺服系统。


背景技术：

2.视觉伺服(visualservo)指通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，通过图像反馈的信息，来让系统对机器做进一步控制或相应的自适应调整的行为。
3.随着机器人技术的迅猛发展，机器人承担的任务更加复杂多样，传统检测手段往往面临检测范围局限性和检测手段单一性的不足。视觉伺服控制利用视觉相关信息作为反馈,对环境进行非接触式的测量,具有更大的信息量,提高了机器人系统的灵活性和精确性,在机器人控制中发挥着越来越重要的作用。因此，需要提高视觉伺服控制系统进行视觉处理的性能和速度。


技术实现要素：

4.为此，本发明提供一种视觉伺服方法和视觉伺服系统，以解决现有技术中如何提高视觉处理的性能和速度的问题。
5.为了实现上述目的，本发明第一方面提供一种视觉伺服方法，该方法包括：通过移动边缘计算mec系统接收由预定区域内的分布式的采集设备通过机器到机器m2m信道进行广播的视觉相关信息；其中，所述m2m信道是预先在通信网络中部署的基于广播的信道；通过mec伺服中间件对接收到的所述视觉相关信息进行视觉处理，得到第一视觉反馈信息，并根据预定任务的实现策略对所述第一视觉反馈信息进行处理，得到第一行为控制信息；通过所述m2m信道广播所述第一行为控制信息，以使所述预定区域内的机器人设备执行与所述第一行为控制信息相对应的动作，从而对所述机器人设备进行伺服控制。
6.其中，在所述通过移动边缘计算mec系统接收由预定区域内的分布式的采集设备通过机器到机器m2m信道进行广播的视觉相关信息之前，所述方法还包括：通过mec伺服中间件接收预定任务的任务信息，生成与所述任务信息对应的任务需求信息，并生成与所述任务需求信息对应的机器人实现策略。
7.其中，在所述预定区域为预设简单场景现场区域的情况下，该方法还包括：通过预定区域内部署的至少一个前端处理服务器接收所述视觉相关信息；根据从所述mec系统中预先获取的视觉处理算法对所述视觉相关信息进行视觉处理，得到第二视觉反馈信息；其中，多个所述前端处理服务器之间所使用的视觉处理算法不同；根据从所述mec系统中预先获取的所述预定任务的实现策略处理所述第二视觉反馈信息，得到所述第二行为控制信息；由所述前端处理服务器通过所述m2m信道广播所述第二行为控制信息，以使所述预定区域内的机器人设备执行与所述第二行为控制信息相对应的动作。
8.其中，所述视觉相关信息包括：由分布式的每个采集设备采集的视觉信息；所述通
过mec伺服中间件对接收到的所述视觉相关信息进行视觉处理，得到第一视觉反馈信息，包括：获取所述mec系统中的与分布式的所述每个采集设备相关联的视觉处理实例；在所述每个采集设备相关联的视觉处理实例中，通过伺服中间件对各自关联的采集设备所采集的视觉信息进行视觉处理，得到每个所述采集设备分别对应的视觉反馈信息；根据每个所述采集设备分别对应的视觉反馈信息生成所述第一视觉反馈信息。
9.其中，在所述分布式的采集设备总数大于预定密集设备数量阈值的情况下，所述视觉相关信息包括与分布式的每个采集设备对应的视觉特征信息，所述视觉特征信息通过第一处理流程得到；所述第一处理流程包括：通过所述每个采集设备对应的前端处理模块，对相应采集设备所采集的视觉信息进行特征提取，得到所述每个采集设备对应的视觉特征信息；其中，所述前端处理模块是由所述预定区域内部署的至少一个前端处理服务器提供的处理模块，用于进行视觉信息的特征提取；由所述每个采集设备通过所述m2m信道广播各自对应的视觉特征信息。
10.其中，通过mec伺服中间件对接收到的所述视觉相关信息进行视觉处理，得到第一视觉反馈信息，包括：在所述mec系统中采用任务卸载的方式，通过mec伺服中间件对所述每个采集设备对应的视觉特征信息进行基于特征的融合处理，得到融合后的视觉特征信息；对所述融合后的视觉特征信息进行处理，得到所述第一视觉反馈信息；
11.或者，所述根据预定任务的实现策略对所述第一视觉反馈信息进行处理，得到第一行为控制信息，包括：通过所述mec伺服中间件，根据预定任务的实现策略对所述每个采集设备对应的视觉特征信息进行处理，得到所述每个采集设备对应的行为控制信息；对所述每个采集设备对应的行为控制信息进行基于决策的融合处理，得到融合后的行为控制信息，以作为所述第一行为控制信息。
12.其中，通过mec伺服中间件对接收到的所述视觉相关信息进行视觉处理，得到第一视觉反馈信息，包括：通过所述伺服中间件，对接收到的所述视觉相关信息进行基于数据的融合处理，得到融合后的视觉相关信息；对所述融合后的视觉相关信息进行视觉处理，得到所述第一视觉反馈信息。
13.其中，所述采集设备包括：被部署在所述机器人设备上的第一采集设备和被部署在预定区域现场环境中的第二采集设备；所述视觉相关信息包括：使用所述第一采集设备通过眼在手的方式获取的整体视觉数据，和使用所述第二采集设备通过眼到手的方式采集到的局部视觉数据；在预定任务的实现策略为机器人自主控制策略的情况下，所述通过所述m2m信道广播所述第一行为控制信息，以使所述预定区域内的机器人设备执行与所述第一行为控制信息相对应的动作，包括：通过mec伺服中间件，从预先在所述mec系统配置的机器学习算法库中选择机器学习算法，使用所选择的机器学习算法对所述整体视觉数据和所述局部视觉数据进行数据融合，得到融合后的视觉数据；使用从所述mec系统中预先获取的同步定位与建图算法，根据所述融合后的视觉数据对所述机器人设备进行定位，并根据定位结果进行地图构建；将所述第一行为控制信息和构建的地图，通过所述m2m信道广播到所述机器人设备，以使所述机器人设备根据构建的地图进行自主导航的过程中，执行与所述第一行为控制信息相对应的动作。
14.其中，采集设备包括分布式的指令采集设备；在预定任务的实现策略为人机协作策略的情况下，所述方法还包括：通过所述mec系统接收由所述分布式的指令采集设备采集
并通过所述m2m信道进行广播的控制指令信息；所述根据预定任务的实现策略对所述第一视觉反馈信息进行处理，得到第一行为控制信息，包括：根据预先从所述mec系统中获取的控制伺服策略，对所述控制指令信息和所述第一视觉反馈信息进行处理，得到所述第一行为控制信息；并且，在所述预定区域内的机器人设备执行与所述第一行为控制信息相对应的动作的情况下，所述方法还包括：所述机器人设备将动作执行结果通过所述m2m信息到广播到预定的操作设备，与在所述操作设备中显示所述机器人设备的工作状态。
15.其中，所述采集设备包括图像采集设备和预定的传感器；在所述视觉相关信息包括：由分布式的每个采集设备采集的视觉信息的情况下，所述视觉信息包括：由所述图像采集设备采集的图像信息和由所述传感器采集的传感信息。
16.本发明具有如下优点：借助5g架构和高效的b-m2m广播体系，利用分布式视觉采集技术构建分布式视觉伺服架构，从而有效克服现有单一视觉伺服系统存在的问题，消除不确定性，取得更加可靠、准确的结果；借助5g中的mec覆盖范围大、数据处理能力强的优势，通过在mec中构建伺服中间件，从而实现视觉处理各类实现策略与机器人运动的动态映射关系，实现更加灵活的视觉伺服机制，提高视觉伺服控制系统进行视觉处理的性能和速度；极大拓展了机器人功能的多样性和应用场景，对提高复杂机器人的发展，以及丰富5g网络和b-m2m的技术生态，都具有积极的意义。
附图说明
17.附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
18.图1为本发明实施例提供的视觉伺服方法的流程示意图；
19.图2为本发明实施例提供的视觉服务系统的模块示意图；
20.图3为本发明实施例提供的视觉伺服架构系统的架构示意图；
21.图4示出本发明示例性实施例提供的视觉伺服方法的流程示意图。
具体实施方式
22.以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
23.如本发明所使用的，术语“和/或”包括一个或多个相关列举条目的任何和全部组合。
24.本发明所使用的术语仅用于描述特定实施例，且不意欲限制本发明。如本发明所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。
25.当本发明中使用术语“包括”和/或“由
……
制成”时，指定存在特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
26.本发明实施例可借助本发明的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。
27.除非另外限定，否则本发明所用的全部术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语
应当被解释为具有与其在相关技术以及本发明的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本发明明确如此限定。
28.在一些应用场景中，视觉伺服控制系统有以下几种分类方式：例如按照摄像机的数目的不同，可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统；按照摄像机放置位置的不同，可以分为手眼系统(eye in hand)和固定摄像机系统(eye to hand或stand alone)；按照机器人的空间位置或图像特征，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统。在一些实施例中，手眼系统可以称为是眼在手系统，固定摄像机系统可以称为是眼到手系统。
29.传统的视觉伺服系统通常由视觉系统、控制策略和执行机器人系统组成。首先，系统根据任务需求生成相应的实现策略，然后在策略的执行过程中，视觉系统不断通过处理获取的图像生成对应的视觉反馈信息,再由控制器输出到机器人，控制机器人完成相应的动作，该构成持续进行，直到任务完成。
30.在一些实施例中，第五代通信技术(5th generation mobile communication technology，5g)不仅具有高速、低时延的数据传输能力，为分布式架构提供了可靠的通信方式，同时基站中的移动边缘计算(mobile edge computing，mec)靠近用户端，用户数据可直接传输到mec中而无需穿越整个网络，而且mec具有强大的数据处理和存储能力，5g网络的这些特点，为构建各类应用的新型架构提供了良好的基础。5g技术与传统视觉伺服技术的结合，也给运营商带来了新的发展空间，充分利用5g网络的资源，不仅为用户提供数据传输服务，同时为用户提供基于机器人的智能制造的各类增值服务，充分发挥5g的潜力构建不同的增值服务策略，建立新的运营模式，帮助生产企业实现智能制造的升级，降低产业升级成本，赋予企业更大的发展前景和竞争力。
31.由于现有模式下的视觉伺服控制系统面临如下至少一个问题：图像处理对速度的要求和计算处理实际处理速度的差异是图像伺服重要难点；单一视频来源由于受环境、光照、背景的影响，不能保证系统在工作时是大范围稳定的；以及在图像处理完成后，图像特征转换成机器人运动的策略不能随任务的不同灵活实现，造成视觉伺服功能的单一和升级困难。
32.第一方面，本发明实施例提供一种视觉伺服方法。
33.图1示出本发明实施例提供的视觉伺服方法的流程示意图。如图1所示，该视觉伺服方法可以包括如下步骤。
34.s110，通过移动边缘计算mec系统接收由预定区域内的分布式的采集设备通过机器到机器m2m信道进行广播的视觉相关信息；其中，m2m信道是预先在通信网络中部署的基于广播的信道；
35.s120，通过mec伺服中间件对接收到的视觉相关信息进行视觉处理，得到第一视觉反馈信息，并根据预定任务的实现策略对第一视觉反馈信息进行处理，得到第一行为控制信息；
36.s130，通过m2m信道广播第一行为控制信息，以使预定区域内的机器人设备执行与第一行为控制信息相对应的动作，从而对机器人设备进行伺服控制。
37.根据本发明实施例的视觉伺服方法，基于5g和基于广播的机器到机器(broadcast machine to machine，b-m2m)的分布式视觉伺服架构，借助5g架构和高效的b-m2m广播体
系，利用分布式视觉采集技术构建分布式视觉伺服架构，从而有效克服现有单一视觉伺服系统存在的问题，消除不确定性，取得更加可靠、准确的结果；借助5g中的mec覆盖范围大、数据处理能力强的优势，通过在mec中构建伺服中间件，从而实现视觉处理各类实现策略与机器人运动的动态映射关系，实现更加灵活的视觉伺服机制，提高视觉伺服控制系统进行视觉处理的性能和速度；极大拓展了机器人功能的多样性和应用场景，对提高复杂机器人的发展，以及丰富5g网络和b-m2m的技术生态，都具有积极的意义。
38.在一些实施例中，采集设备包括图像采集设备和预定的传感器；在视觉相关信息包括：由分布式的每个采集设备采集的视觉信息的情况下，视觉信息包括：由图像采集设备采集的图像信息和由传感器采集的传感信息。
39.在一些实施例中，中间件指的可以是服务器，也可以是一种独立的系统软件或者服务程序。在本发明实施例中不做具体限定。
40.在该实施例中，借助5g的架构和高效的b-m2m广播体系，利用分布式视觉采集和多传感器融合技术，构建新型的分布式视觉伺服架构，从而有效克服现有单一视觉伺服系统存在的问题，消除不确定性，取得更加可靠、准确的结果。
41.在一些实施例中，在步骤s110之前，视觉伺服方法还包括：通过mec伺服中间件接收预定任务的任务信息，生成与任务信息对应的任务需求信息，并生成与任务需求信息对应的机器人实现策略。
42.在该实施例中，可以预先将具体任务输入mec的伺服中间件，生成相应的任务需求；伺服中间件对应任务需求生成视觉伺服系统的实现策略。
43.在一些实施例中，在预定区域为预设简单场景现场区域的情况下，视觉服务方法还包括如下步骤：
44.s11，通过预定区域内部署的至少一个前端处理服务器接收视觉相关信息。
45.s12，根据从mec系统中预先获取的视觉处理算法对视觉相关信息进行视觉处理，得到第二视觉反馈信息；其中，多个前端处理服务器之间所使用的视觉处理算法不同。
46.s13，根据从mec系统中预先获取的预定任务的实现策略处理第二视觉反馈信息，得到第二行为控制信息。
47.s14，由前端处理服务器通过m2m信道广播第二行为控制信息，以使预定区域内的机器人设备执行与第二行为控制信息相对应的动作。
48.通过上述步骤s11-s14，前端摄像头采集图像后，通过b-m2m信道进行广播，对于简单场景(例如页面简单固定的生产场景)由一个或者多个前端处理服务器进行处理，前端处理服务器部署在现场，并配备b-m2m模块，实时接收摄像头广播的图像，处理后将结果广播。由于采用b-m2m广播信道，多个前端处理服务器可以不同的视觉处理策略，增加视觉处理的性能和速度；
49.在一些实施例中，视觉相关信息包括：由分布式的每个采集设备采集的视觉信息，步骤s120中通过mec伺服中间件对接收到的视觉相关信息进行视觉处理，得到第一视觉反馈信息的步骤，具体可以包括如下步骤。
50.s21，获取mec系统中的与分布式的每个采集设备相关联的视觉处理实例。
51.s22，在每个采集设备相关联的视觉处理实例中，通过伺服中间件对各自关联的采集设备所采集的视觉信息进行视觉处理，得到每个采集设备分别对应的视觉反馈信息。
52.s23，根据每个采集设备分别对应的视觉反馈信息生成第一视觉反馈信息。
53.通过上述步骤s21-s23，前端摄像头采集图像后，可以通过b-m2m信道进行广播，mec中创建一个视觉处理实例，并将该实例与摄像头关联，此后该摄像头采集的图像流在关联的实例中处理，并将结果再通过b-m2m模块广播，从而建立前端摄像头和mec中视觉处理模块的映射，完成前端摄像头视觉处理任务在mec中的卸载操作。由于mec的强大的数据处理能力和b-m2m信道高效的广播体制，可以通过软件定义的方式实现了高性能的前端视觉系统。软件定义带来了硬件资源虚拟化、系统软件平台化、应用多样化的优势，可以灵活构建不同功能和性能要求的视觉系统。
54.在一些实施例中，在分布式的采集设备总数大于预定密集设备数量阈值的情况下，视觉相关信息包括与分布式的每个采集设备对应的视觉特征信息，视觉特征信息通过第一处理流程得到；第一处理流程包括：s31，通过每个采集设备对应的前端处理模块，对相应采集设备所采集的视觉信息进行特征提取，得到每个采集设备对应的视觉特征信息；其中，前端处理模块是由预定区域内部署的至少一个前端处理服务器提供的处理模块，用于进行视觉信息的特征提取；s32，由每个采集设备通过m2m信道广播各自对应的视觉特征信息。
55.在一些实施例中，前端处理模块的功能由前端处理器来提供，且每个前端处理模块可以运行于机器人设备和/或前端处理器中，并可以将处理结果通过b-m2m信道传输至分布式的图像采集设备。
56.在该实施例中，前端摄像头采集图像后，首先经过前端处理模块进行图像压缩和图像的特征提取，生成图像的特征描述，然后通过b-m2m模块广播，mec采用任务卸载的方式完成图像特征描述的处理。这种方式，既有mec任务卸载的高性能和灵活性，同时也极大降低了通过b-m2m信道广播的图像数据量，适用于节点密集的应用场景。
57.在一些实施例中，上述步骤s120中通过mec伺服中间件对接收到的视觉相关信息进行视觉处理，得到第一视觉反馈信息的步骤，具体可以包括如下步骤：s41，在mec系统中采用任务卸载的方式，通过mec伺服中间件对每个采集设备对应的视觉特征信息进行基于特征的融合处理，得到融合后的视觉特征信息；s42，对融合后的视觉特征信息进行处理，得到第一视觉反馈信息。
58.或者，在一些实施例中，步骤s120中，根据预定任务的实现策略对第一视觉反馈信息进行处理，得到第一行为控制信息，包括：s43，通过mec伺服中间件，根据预定任务的实现策略对每个采集设备对应的视觉特征信息进行处理，得到每个采集设备对应的行为控制信息；s44，对每个采集设备对应的行为控制信息进行基于决策的融合处理，得到融合后的行为控制信息，以作为第一行为控制信息。
59.在本发明实施例中，视觉处理主要是完成视觉反馈。mec中的视觉处理算法库部署多种视觉处理算法，例如基于位置、图像特征和多视图几何的算法，根据具体的任务由伺服中间件灵活调用。视觉处理受到图像噪声和物体遮挡的影响较大，而且在发生尺度和旋转变化时，提取的特征提取保持重复性和精度都很难取得满意的效果。因此，本实施例基于b-m2m高效广播体制，以及mec的强大的处理能力，采用分布式协同的视觉处理策略，通过现场多个局部视觉采集点和全局视觉采集点，再结合其他的传感器信息采集点，例如雷达，然后通过b-m2m广播到mec，通过伺服中间件进行协同处理，从而增强视觉系统的性能和鲁棒性。
60.在一些实施例中，步骤s120具体可以包括：s51，通过伺服中间件，对接收到的视觉相关信息进行基于数据的融合处理，得到融合后的视觉相关信息；对融合后的视觉相关信息进行视觉处理，得到第一视觉反馈信息。
61.在本发明实施例中，融合处理的处理可以表示为下面的表达式(1)：
[0062][0063]
在上述表达式(1)中，s
*
表示目标状态，表示当前状态，f为融合算法，i个mi(t)是在i个采集点采集的图像或者传感器信息，n是采集点的总数，a是预设的系统参数。
[0064]
在本发明实施例中，分布式融合控制策略根据任务特点由伺服中间件调用不同的融合策略，例如基于像素的融合、基于特征的融合、基于决策的融合。例如，在上述步骤s31和s32描述的节点密集的应用场景中，可以基于特征的融合提取各个分布式信息的目标特征，然后通过融合算法获取目标特征量，既能保持足够数量的目标有效信息，去除冗余信息，又提高了精确性，具有较好的性能。分布式控制策略根据任务不同，伺服中间件可以调用不同的实现算法，例如自适应算法、鲁棒算法和智能算法。部署在mec中的伺服中间件，为各类不同任务提供了灵活的分布式融合控制策略。
[0065]
在本发明实施例中，提供两类机器人实现策略：一种是机器人自主控制策略；令一种是人机协作策略。
[0066]
在一些实施例中，采集设备包括：被部署在机器人设备上的第一采集设备和被部署在预定区域现场环境中的第二采集设备；视觉相关信息包括：使用第一采集设备通过眼在手的方式获取的整体视觉数据，和使用第二采集设备通过眼到手的方式采集到的局部视觉数据。
[0067]
在一些实施例中，在预定任务的实现策略为机器人自主控制策略的情况下，步骤s130具体可以包括如下步骤。
[0068]
s61，通过mec伺服中间件，从预先在mec系统配置的机器学习算法库中选择机器学习算法，使用所选择的机器学习算法对整体视觉数据和局部视觉数据进行数据融合，得到融合后的视觉数据。
[0069]
s62，使用从mec系统中预先获取的同步定位与建图算法，根据融合后的视觉数据对机器人设备进行定位，并根据定位结果进行地图构建。
[0070]
s63，将第一行为控制信息和构建的地图，通过m2m信道广播到机器人设备，以使机器人设备根据构建的地图进行自主导航的过程中，执行与第一行为控制信息相对应的动作。
[0071]
在该实施例中，机器人自主控制策略，可以完全由机器人自身根据视觉反馈完成任务；对于局部空间内执行重复性任务的工业机器人，采用示教和机器学习的方法，mec中配置针对分布式视觉信息的多种机器学习算法库供伺服中间件调用。由于采用分布式视觉信息，并通过b-m2m信道汇总到mec中，分布式机器学习算法基于多维、多角度、整体和局部的视觉数据的融合，配合mec的强大的数据处理能力，因此具有良好的性能和灵活性。
[0072]
对于大范围移动的机器人，需要增加视觉导航部分，通过将摄像头分别安装在机械臂上(eye in hand)和周围环境中(eye to hand)，然后将视觉信息通过b-m2m信道广播，
mec通过b-m2m接收到大范围的视觉信息后，通过mec中的同步定位与建图(simultaneous localization and mapping，slam)算法库，功能是机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航)进行自主导航。
[0073]
在一些实施例中，采集设备包括分布式的指令采集设备；在预定任务的实现策略为人机协作策略的情况下，视觉伺服方法还包括：通过mec系统接收由分布式的指令采集设备采集并通过m2m信道进行广播的控制指令信息。
[0074]
在该实施例中，s120中根据预定任务的实现策略对第一视觉反馈信息进行处理，得到第一行为控制信息的步骤具体可以包括：s71，根据预先从mec系统中获取的控制伺服策略，对控制指令信息和第一视觉反馈信息进行处理，得到第一行为控制信息；并且，在预定区域内的机器人设备执行与第一行为控制信息相对应的动作的情况下，方法还包括：s72，机器人设备将动作执行结果通过m2m信息到广播到预定的操作设备，与在操作设备中显示机器人设备的工作状态。
[0075]
在该实施例中，对于一些难以用数学描述且在任务完成的过程中需要进行智能决策的复杂任务，采用人机协同策略实现。此时，人通过语音、手势、操纵器等产生控制指令，然后通过b-m2m广播到mec，由mec中伺服中间件的人机协同部分调用控制伺服策略，根据视觉信息生成控制指令，然后再通过b-m2m广播到机器人，控制机器人完成指定的配合动作，同时将执行结果通过b-m2m广播到人的操作设备中显示机器人的实时工作状态，人可以根据机器人的实时工作状态，完成人机切换、增加机器人运动约束等操作指令，这些指令再通过b-m2m信道广播各个机器人或者机器人的相关部分，更好完成人的工作，例如手术中医生和多个不同功能的手术机器人的配合工作应用场景中。
[0076]
根据本发明实施例的视觉伺服系统，通过借助5g的架构和高效的b-m2m广播体系，利用分布式视觉采集和多传感器融合技术，构建新型的分布式视觉伺服架构，从而有效克服现有单一视觉伺服系统存在的问题，消除不确定性，取得更加可靠、准确的结果。并借助5g的mec覆盖范围大、数据处理能力强的优势，通过在mec中构建伺服中间件，从而实现各类策略与机器人运动的动态映射关系，实现更加灵活的视觉伺服机制，从而极大拓展机器人功能的多样性和应用场景，对提高复杂机器人的发展，以及丰富5g网络和b-m2m的技术生态，都具有积极的意义。
[0077]
图2示出本发明实施例提供的视觉服务系统的模块示意图。在图2中，视觉伺服系统200可以包括如下模块。
[0078]
接收模块210，用于通过移动边缘计算mec系统接收由预定区域内的分布式的采集设备通过机器到机器m2m信道进行广播的视觉相关信息；其中，m2m信道是预先在通信网络中部署的基于广播的信道。
[0079]
处理模块220，用于通过mec伺服中间件对接收到的视觉相关信息进行视觉处理，得到第一视觉反馈信息，并根据预定任务的实现策略对第一视觉反馈信息进行处理，得到第一行为控制信息。
[0080]
控制模块230，用于通过m2m信道广播第一行为控制信息，以使预定区域内的机器人设备执行与第一行为控制信息相对应的动作，从而对机器人设备进行伺服控制。
[0081]
在一些实施例中，采集设备包括图像采集设备和预定的传感器；在视觉相关信息
包括：由分布式的每个采集设备采集的视觉信息的情况下，视觉信息包括：由图像采集设备采集的图像信息和由传感器采集的传感信息。
[0082]
在一些实施例中，视觉伺服系统200还包括：需求生成模块，用于在通过移动边缘计算mec系统接收由预定区域内的分布式的采集设备通过机器到机器m2m信道进行广播的视觉相关信息之前，通过mec伺服中间件接收预定任务的任务信息，生成与任务信息对应的任务需求信息；策略生成模块，用于生成与任务需求信息对应的机器人实现策略。
[0083]
在一些实施例中，在预定区域为预设简单场景现场区域的情况下，视觉伺服系统200还包括：前端处理服务器，用于通过预定区域内部署的至少一个前端处理服务器接收视觉相关信息；根据从mec系统中预先获取的视觉处理算法对视觉相关信息进行视觉处理，得到第二视觉反馈信息；其中，多个前端处理服务器之间所使用的视觉处理算法不同；根据从mec系统中预先获取的预定任务的实现策略处理第二视觉反馈信息，得到第二行为控制信息；由前端处理服务器通过m2m信道广播第二行为控制信息，以使预定区域内的机器人设备执行与第二行为控制信息相对应的动作。
[0084]
在一些实施例中，视觉相关信息包括：由分布式的每个采集设备采集的视觉信息；处理模块220在用于通过mec伺服中间件对接收到的视觉相关信息进行视觉处理，得到第一视觉反馈信息的情况下，具体可以用于：获取mec系统中的与分布式的每个采集设备相关联的视觉处理实例；在每个采集设备相关联的视觉处理实例中，通过伺服中间件对各自关联的采集设备所采集的视觉信息进行视觉处理，得到每个采集设备分别对应的视觉反馈信息；根据每个采集设备分别对应的视觉反馈信息生成第一视觉反馈信息。
[0085]
在一些实施例中，在分布式的采集设备总数大于预定密集设备数量阈值的情况下，视觉相关信息包括与分布式的每个采集设备对应的视觉特征信息，视觉特征信息通过第一处理流程得到。
[0086]
在该实施例中，第一处理流程包括：通过每个采集设备对应的前端处理模块，对相应采集设备所采集的视觉信息进行特征提取，得到每个采集设备对应的视觉特征信息；其中，前端处理模块是由预定区域内部署的至少一个前端处理服务器提供的处理模块，用于进行视觉信息的特征提取；由每个采集设备通过m2m信道广播各自对应的视觉特征信息。
[0087]
在一些实施例中，处理模块220，在用于通过mec伺服中间件对接收到的视觉相关信息进行视觉处理，得到第一视觉反馈信息的情况下，具体可以用于：在mec系统中采用任务卸载的方式，通过mec伺服中间件对每个采集设备对应的视觉特征信息进行基于特征的融合处理，得到融合后的视觉特征信息；对融合后的视觉特征信息进行处理，得到第一视觉反馈信息。
[0088]
或者，在一些实施例中，处理模块220，在用于根据预定任务的实现策略对第一视觉反馈信息进行处理，得到第一行为控制信息的情况下，具体可以用于：通过mec伺服中间件，根据预定任务的实现策略对每个采集设备对应的视觉特征信息进行处理，得到每个采集设备对应的行为控制信息；对每个采集设备对应的行为控制信息进行基于决策的融合处理，得到融合后的行为控制信息，以作为第一行为控制信息。
[0089]
在一些实施例中，处理模块220在用于通过mec伺服中间件对接收到的视觉相关信息进行视觉处理，得到第一视觉反馈信息的情况下，具体可以用于：通过伺服中间件，对接收到的视觉相关信息进行基于数据的融合处理，得到融合后的视觉相关信息；对融合后的
视觉相关信息进行视觉处理，得到第一视觉反馈信息。
[0090]
在一些实施例中，采集设备包括：被部署在机器人设备上的第一采集设备和被部署在预定区域现场环境中的第二采集设备；视觉相关信息包括：使用第一采集设备通过眼在手的方式获取的整体视觉数据，和使用第二采集设备通过眼到手的方式采集到的局部视觉数据。
[0091]
在该实施例中，在预定任务的实现策略为机器人自主控制策略的情况下，控制模块230，具体可以包括：数据融合单元，用于通过mec伺服中间件，从预先在mec系统配置的机器学习算法库中选择机器学习算法，使用所选择的机器学习算法对整体视觉数据和局部视觉数据进行数据融合，得到融合后的视觉数据；定位和地图构建单元，用于使用从mec系统中预先获取的同步定位与建图算法，根据融合后的视觉数据对机器人设备进行定位，并根据定位结果进行地图构建；广播单元，用于将第一行为控制信息和构建的地图，通过m2m信道广播到机器人设备，以使机器人设备根据构建的地图进行自主导航的过程中，执行与第一行为控制信息相对应的动作。
[0092]
在一些实施例中，采集设备包括分布式的指令采集设备；在预定任务的实现策略为人机协作策略的情况下，接收模块210还用于通过mec系统接收由分布式的指令采集设备采集并通过m2m信道进行广播的控制指令信息；处理模块220在用于根据预定任务的实现策略对第一视觉反馈信息进行处理，得到第一行为控制信息的情况下，具体可以用于：根据预先从mec系统中获取的控制伺服策略，对控制指令信息和第一视觉反馈信息进行处理，得到第一行为控制信息；并且，在预定区域内的机器人设备执行与第一行为控制信息相对应的动作的情况下，视觉伺服系统200还可以包括：执行结果广播模块，用于机器人设备将动作执行结果通过m2m信息到广播到预定的操作设备，与在操作设备中显示机器人设备的工作状态。
[0093]
根据本发明实施例的视觉伺服系统200，基于5g和b-m2m的分布式视觉伺服架构，借助5g架构和高效的b-m2m广播体系，利用分布式视觉采集和多传感器融合技术，构建新型的分布式视觉伺服架构，从而有效克服现有单一视觉伺服系统存在的问题，消除不确定性,取得更加可靠、准确的结果。借助5g的mec覆盖范围大、数据处理能力强的优势，通过在mec中构建伺服中间件，从而实现各类策略与机器人运动的动态映射关系，实现更加灵活的视觉伺服机制，从而极大拓展机器人功能的多样性和应用场景，对提高复杂机器人的发展，以及丰富5g网络和b-m2m的技术生态，都具有积极的意义。
[0094]
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
[0095]
图3是本发明示例性实施例的视觉伺服架构系统的架构示意图。在一些实施例中，本发明实施例的视觉伺服架构系统300可以包括：分布式视觉伺服子系统310、无线广播网络子系统320和伺服中间件架构子系统330。
[0096]
在一些实施例中，分布式视觉伺服子系统310用于完成图像获取和视觉处理。示例性地，分布式视觉伺服子系统310可以由摄像头、前端处理模块、b-m2m信道、前端处理服务器、mec视觉处理任务卸载模块组成。
[0097]
示例性地，分布式视觉伺服子系统310可以用于执行上述结合图1描述的视觉伺服方法。
[0098]
在一些实施例中，无线广播网络子系统320是基于b-m2m的网络架构，b-m2m的网络架构可以利用5g的授权频段，在工业现场基站覆盖范围内，动态划分出专用的频段，采用时分方式部署广播信道，网络内所有节点具有接收所有广播时隙能力，终端可以动态选择空闲时隙发送广播信息，从而实现所有设备的广播发送和接收，同时配置专用的控制时隙。
[0099]
在一些实施例中，分布式视觉伺服子系统310可以包括：包括：设备节点、公共广播信道资源池、b-m2m管理单元。
[0100]
其中，设备节点具有无线广播信息发送和接收功能，安装在工业生产设备的各个核心部位，所有设备节点具有接收公共广播信道资源池所有时隙的功能。
[0101]
公共广播信道资源池，可以在基站覆盖范围内，由基站内的b-m2m管理单元进行管理的具有连续频段和时隙的公共广播信道资源池，资源池的频段宽度和时隙数量由b-m2m管理单元根据实时的广播强度进行动态调整，以保证各个设备节点的广播发送延迟符合生产现场的质量要求。
[0102]
b-m2m管理单元，部署在基站和移动边缘计算中，在5g基站的接入网(5g ng-ran)中部署b-m2m广播发送接收模块，具有广播管理信息、确认信息和状态信息的功能、系统管理以及接收公共广播信道资源池所有时隙的功能。基站的移动边缘计算平台部署b-m2m管理和控制系统，以及生产应用系统的运行。
[0103]
在一些实施例中，伺服中间件架构子系统330，可以用于根据不同功能需求分为部署在mec中的伺服中间件和各个节点上的伺服中间件，为本实施例的各类策略执行提供具体的功能实现。伺服中间件使用系统所提供的数据处理、算法库管理、b-m2m通信能力、消息处理能力、进程调度和系统管理功能，提供通用的各类功能接口，衔接分布式伺服应用的各个部分或不同的应用，达到资源共享、功能共享的目的。
[0104]
在一些实施例中，伺服中间件架构子系统330可以包括：分布式网络通信管理和接口、节点归一化管理模块、事件和任务管理模块和数据管理模块。
[0105]
其中，分布式网络通信管理和接口，可以用于负责各节点各服务之间的通信。本实施例中的分布式模式，涉及各个节点的b-m2m通信调度和mec的远程卸载操作等复杂性应用，需要处理大量节点的数据通信和交换。本实施例的分布式网络通信管理主要完成mec中不同任务、mec同视觉采集单元和机器人执行单元、以及不同节点之间的进程间通信、远程调用和间接通信。其中的远程调用(rpc remote procedure call protocol)实现节点中的进程远程调用mec中的对应本节点任务卸载中的各功能进程的通信，其接口为远程方法调用(rmi，remote method invocation)是实现远程调用的应用程序(app)的接口。其中的间接通信是为了协调分布式节点在通信、处理速度、延时等方面的差异，采用分布式消息队列的方式。各个节点都能同步接收b-m2m信道广播的消息，然后放入本地的消息队列中，然后再由本地进程进行调用。这种方式，适用于数据量较小的消息。对于数据量较大的消息，采用发布/订阅模式，本地消息队列只保存b-m2m广播消息中本节点订阅的主题。
[0106]
节点归一化管理，本技术实施例中可以包含视觉信息采集节点、视觉处理节点、视觉执行节点等各类节点，伺服中间件将各类节点的属性及功能进行抽象，分配唯一标识，这样将各类形态各异的节点归一化为具有统一格式的功能和属性，以及统一标识的归一化节
点，方便各类任务进行访问。
[0107]
事件和任务管理模块具有复杂的各类策略，为将各类策略进行具体的实现，本实施例将各类策略统一为“事件-任务”模式，即各个进程在不同时刻的数据产生事件，中间件根据事件的类型调用对应的任务进程。采取这种方式，实现各类策略的具体实现，直到任务完成。
[0108]
数据管理模块，可以用于完成通信数据清洗、基于数据的事件检测和生成、持久层数据源读取。
[0109]
图4示出本发明示例性实施例视觉伺服方法的流程示意图。在该实施例中，视觉系统方法可以包括如下步骤。
[0110]
s401，将具体的任务信息输入mec的伺服中间件，生成相应的任务需求。
[0111]
s402，伺服中间件对应任务需求生成视觉伺服系统的实现策略。
[0112]
s403，现场分布式图像单元通过摄像头获取实时图像，分布式传感器辅助单元获取传感信息，通过基于广播的m2m广播信道传输到mec，mec的伺服中间件创建对应的视觉处理任务卸载实例，经过视觉处理后得到视觉反馈信息。
[0113]
s404，将视觉反馈信息输入系统的实现策略输出机器人的控制信息，将控制信息通过b-m2m信道广播。
[0114]
s405，现场机器人根据接收到的控制信息执行相应的动作。
[0115]
在本发明实施例中，上述步骤s403-s405持续执行，直到任务完成。
[0116]
根据本发明实施例的视觉伺服方法和视觉伺服系统，可以基于5g和b-m2m的分布式视觉伺服架构，借助5g架构和高效的b-m2m广播体系，利用分布式视觉采集和多传感器融合技术，构建新型的分布式视觉伺服架构，从而有效克服现有单一视觉伺服系统存在的问题，消除不确定性,取得更加可靠、准确的结果。借助5g的mec覆盖范围大、数据处理能力强的优势，通过在mec中构建伺服中间件，从而实现各类策略与机器人运动的动态映射关系，实现更加灵活的视觉伺服机制，从而极大拓展机器人功能的多样性和应用场景，对提高复杂机器人的发展，以及丰富5g网络和b-m2m的技术生态，都具有积极的意义。
[0117]
需要明确的是，本发明并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁，这里省略了对已知方法的详细描述，并且上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0118]
本领域普通技术人员可以理解，上文中所发明方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其它存储器技术、cd-rom、数字多功能盘(dvd)或其它光盘存储、磁
盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
[0119]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0120]
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本实施例的范围之内并且形成不同的实施例。
[0121]
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。