一种摄影机器人的实时控制方法及系统与流程

本发明涉及运镜，具体涉及一种摄影机器人的实时控制方法及系统。

背景技术：

1、随着影视技术的发展，影视行业对于高灵活度、高稳定性的摄影运镜设备的需求也显著增加。当前，常用的运镜方法为通过工业机器人挂载摄影机以实现摄影运镜。其中，利用工业机器人运镜的方法通常有两类：

2、1)利用虚拟摄影机打点，再通过摄影机器人复现打点路径；

3、例如，专利申请号为cn2019106238656的发明专利申请，其公开了一种机器人轨迹生成和控制方法、装置及系统。其中，该方法通过动作捕捉系统获取的虚拟装置的位姿以求解出机器人的实际运行轨迹。又例如，专利申请号为cn202010842227.6的发明申请，其公开了一种摄影机器人离线编程方法、系统及电子设备。类似地，该方法通过对虚拟摄像机器人的空间轨迹进行离散化处理，并在虚拟拍摄系统中实时查看虚实结合效果，以帮助用户完成拍摄任务。再例如，专利申请号为cn2019101367788的发明专利申请，其公开了一种摄像机器人路径规划的方法及计算机存储介质。该方法通过对运动路径进行快捷的可视化路径曲线编辑，以便于用户能够实时的直观查看虚拟摄像机器的拍摄效果。然而，这种基于虚拟摄影机所实现的路径复现方式在实际拍摄过程中往往存在以下问题：一是打点数据容易出现不流畅等问题(在摄影师操作虚拟摄影机的过程中，可能因为手部抖动而在打点数据上产生较大操作误差)；二是这种虚拟摄影机的操作方式相对复杂，对于摄影师的专业水平也提出了更高的要求(即要求现场的摄影师既要保证镜头艺术感，同时还要熟练虚拟摄影机、工业机器人、真实摄影机各个模块的控制操作，甚至可能需要摄影师、机器人工程师等多人参与拍摄)。因此，这类方法往往更适用于摄影机拍摄轨迹的示教工作，但在真实片场的拍摄环境下将面临上述的诸多问题或限制。

4、2)通过遥控设备(如遥操作设备等)控制工业机器人实现运镜；

5、例如，参见专利申请号为cn201410357772.0的发明申请，其公开了一种基于遥操作的摄像机器人实时控制方法，该方法采用遥操作设备端、pc服务器端、机器人客户端以及通讯传输环节的相互通讯，以响应于实时运动指令信号控制机器人实时运动。又例如，申请cn202121944975.1公开了一种适用于影视拍摄机器人的外部触发装置，以尝试通过外部触发装置提高对摄影机器人进行信号触发的实时性。但是这种实时控制方式一方面是要求配备专业技术人员来熟练操作；另一方面则是需要摄影师的手动配合，以根据运镜路线调节摄影参数，这对专业技术人员、摄影师之间的准确配合都提出了极高的要求。

6、此外，在现有技术中，为了提高运镜过程下的拍摄质量，也针对工业机器人提供了一种调整或优化机器人路径的方法。例如，cn 202010044804.7的申请公开了一种六轴机器人末端跟随目标物实时位姿的计算方法，该方法可求解追踪与机器人没有任何连接关系的目标物，并推算出机器人末端应该调整的位姿，从而使得机器人末端始终与工作台保持水平。又例如，cn 202110949804.6的申请公开了一种基于摄像机器人的目标跟踪方法，该方法利用目标跟踪算法在机械臂运动轨迹过程中，实时调整机械臂和摄像机，使得摄像机镜头实时对准目标物、摄像机镜头的焦距实时与目标物距离处于一致的位置。但是，这种实时求解、调整路径方法是对软硬件设备提出了更高的要求，如需要机器人的控制器具有更高的数据处理能力，相应地，也提高了实际拍摄的成本。

技术实现思路

1、本发明的目的在于提供一种摄影机器人的实时控制方法及系统，部分地解决或缓解现有技术中的上述不足，能够提高机器人运镜的稳定性与准确性。

2、为了解决上述所提到的技术问题，本发明具体采用以下技术方案：

3、一种摄影机器人的实时控制方法，所述方法包括：

4、s101获取第一输入信号组合，其中，所述第一输入信号组合包括以下一个或多个信号：

5、(i)与摇控模块的摇控状态相关联的信号；

6、(ii)与摇控模块和/或机器人模块的实际运行状态相关联的信号；

7、s102根据所述第一输入信号组合将所述摇控模块切换或保持为对应的功能状态；

8、s106当所述摇控模块处于第二功能状态时，获取与所述机器人模块相关联的所述第三输入信号组合，所述第三输入信号组合包括：通过所述摇控模块输入的第一输入组合；

9、其中，所述第一输入组合包括以下一个或多个信号：

10、(1)第一摇杆信号，所述第一摇杆信号包括：第一摇杆的空间运动轨迹数据；(2)第二摇杆信号，所述第二摇杆信号包括：第二摇杆的欧拉角变化数据；(3)摇轮信号，所述摇轮信号包括：摇轮的相对位置数据；

11、s107通过与所述摇控模块相连接的服务器将所述第三输入信号组合转换为第二运动指令；

12、s108通过服务器将所述第二运动指令拆分为第三指令和第四指令，并分别将所述第三指令和第四指令发送至所述机器人模块中的机器人单元和相机单元。

13、在一些实施例中，所述第二功能状态包括：

14、(i)第一控制状态，且当所述摇控模块处于所述第一控制状态时，所述摇控模块实时地采集所述第一输入组合的相关数据；

15、和/或，(ii)第二控制状态，且当所述摇控模块处于所述第二控制状态时，所述摇控模块实时地采集所述第三输入信号组合的第二输入组合的相关数据，其中，所述第二输入组合包括以下一种或多种：摇控模块的第一原始姿态，摇控模块的第一变化姿态，机器人末端的第二原始姿态；

16、和/或，(iii)第三控制状态，且当所述摇控模块处于所述第三控制状态时，所述摇控模块实时地采集所述第三输入信号组合的第三输入组合的相关数据，其中，所述第三输入组合包括以下一种或多种：

17、第三节点信息，且所述第三节点信息包括：待插入的至少一个第三节点的位置，以及插入的第三时间；

18、第四节点信息，且所述第四节点信息包括：插入所述第三节点附近的至少一个第四节点的位置。

19、在一些实施例中，当所述摇控模块处于所述第三控制状态时，s106包括步骤：

20、s61根据所述第三节点信息确定仿真的约束条件，所述约束条件包括：

21、至少一个端点的位置阈值范围，或者至少一个端点的导数阈值范围；

22、s62采用三次样条插值法根据所述约束条件、所述第四节点信息模拟得到第三拟合曲线。

23、在一些实施例中，在s61之前，还包括步骤：

24、根据所述第三节点信息和所述第四节点信息确认插入间隔，所述插入间隔包括：所述第三时间与当前时间之间的时间差值，和/或，所述第三节点与当前节点之间的空间间隔；

25、判断所述插入间隔是否属于预设的间隔范围；若是，则执行s61，若否，则向用户发出提示信号，以提示用户对所述第三输入组合进行修改。

26、在一些实施例中，所述第四指令中包括以下一个或多个参数：光圈、感光度、焦距。

27、在一些实施例中，所述第三输入信号组合还包括：从所述机器人单元中接收或采集到的第二输入组合，且所述第二输入组合包括以下一种或多种信号：

28、(1)第一反馈信号，所述第一反馈信号包括：所述机器人单元的至少一个轴的轴速度，以及对应的第一反馈标签，所述第一反馈标签包括：与所述轴速度相对应的时间或者节点编号；

29、(2)第二反馈信号，所述第二反馈信号包括：所述机器人单元的机器人末端的世界坐标，以及对应的第二反馈标签，所述第二反馈标签包括：与所述世界坐标相对应的时间或者节点编号。

30、在一些实施例中，所述第三指令包括：至少两个第六节点的第六节点信息，所述第六节点信息包括：所述第六节点的位置，以及与所述位置相对应的节点标签；相应地，还包括步骤：

31、当所述服务器在第一设定时间i内接收到至少一个相应的反馈信号时，判断所述反馈信号与所述第三指令是否匹配，若是，则判断所述机器人模块的实际运行状态为正常，若否，则判断所述实际运动状态为第一异常状态；

32、在一些实施例中，当所述服务器在第二设定时间ii内未接收所述反馈信号时，则判断所述机器人模块的实际运动状态为第二异常状态。

33、在一些实施例中，所述方法还包括步骤：

34、当所述服务器检测到所述机器人模块处于所述第一异常状态时，根据所述反馈信号对所述第四指令进行修正，并对应地生成第二修正信号；

35、所述服务器将所述第二修正信号发送至所述相机单元；

36、和/或，所述方法还包括步骤：

37、当所述服务器检测到所述机器人模块处于所述第二异常状态时，所述服务器向所述机器人单元发送第一通信信号，以使得所述机器人单元将所述反馈信号直接发送至所述相机单元；

38、所述相机单元根据所述反馈信号对相机参数组进行适应性地调整；

39、以及当所述服务器在第三设定时间iii内接收到来自所述机器人单元的反馈信号时，所述服务器向所述机器人单元发送第二通信信号，以使得所述机器人单元停止向所述相机单元直接发送反馈信号。

40、在一些实施例中，所述第四指令包括以下一个或多个参数：光圈、感光度、焦距。

41、本发明还对应地提供了一种摄影机器人的实时控制系统，所述系统包括：

42、第一输入模块，被配置为用于获取第一输入信号组合，其中，所述第一输入信号组合包括以下一个或多个信号：

43、(i)与摇控模块的摇控状态相关联的信号；

44、(ii)与摇控模块和/或机器人模块的实际运行状态相关联的信号；

45、功能切换模块，被配置为用于根据所述第一输入信号组合将所述摇控模块切换或保持为对应的功能状态；

46、第三输入模块，被配置为用于当所述摇控模块处于第二功能状态时，获取与所述机器人模块相关联的所述第三输入信号组合，所述第三输入信号组合包括：通过所述摇控模块输入的第一输入组合；

47、其中，所述第一输入组合包括以下一个或多个信号：

48、(1)第一摇杆信号，所述第一摇杆信号包括：第一摇杆的空间运动轨迹数据；(2)第二摇杆信号，所述第二摇杆信号包括：第二摇杆的欧拉角变化数据；(3)摇轮信号，所述摇轮信号包括：摇轮的相对位置数据；

49、第二指令转换模块，被配置为用于将所述第三输入信号组合转换为第二运动指令；

50、第二指令传输模块，被配置为用于将所述第二运动指令拆分为第三指令和第四指令，并分别将所述第三指令和第四指令发送至所述机器人模块中的机器人单元和相机单元。

51、有益技术效果：

52、本发明提供了一种人工、智能相互协同的半自动化决策模式。具体地，本发明中的半自动化决策模式可以针对不同的应用场景或阶段切换至与之相对应的特定功能状态。例如，针对试拍镜头、实拍镜头等阶段，上述半自动化决策模式可以分别切换至第一功能状态、第二功能状态。

53、一方面来说，这种灵活切换功能状态的方式为用户提供了更多的操作灵活性，以满足用户在不同场景下对人工手动调节范围、智能化决策的需求。另一方面，针对特定应用场景(如特定的操作状态或控制状态)以设定特定功能组合的方式，还有利于更准确地实现人工、智能决策的相互协同。

54、从用户的使用角度来看，在单次操作下，用户仅需要通过遥控模块输入有限的信号类型。因此，对于用户而言，这种半自动化决策模式也在一定程度上减小了用户的学习与操作难度。而从计算机运行角度来看，针对有限的信号组合，本发明采用对所采集的信号组合进行整体处理、拆分运行的方式进一步地保证了机器人单元和相机单元之间可实现准确且同步的运行。

55、换个角度来看，与现有技术中的传统技术路线不同，本发明中提高运镜稳定性的主要方式并非在于改进机器人的轨迹规划算法。而在于提供一种能够与现有设备(如现有的六轴机器人与相机)进行快速匹配、对接的简单的外部控制方法/系统。所述控制方法一方面是可以根据有限的信号输入，以通过人工、智能相协同的决策方式快速地找到与现有设备相适配的打点数据；另一方面则是通过服务器、机器人单元与相机单元的数据传输实现三方数据的同步处理。并且，由于本发明可以避免对机器人内部的轨迹规划算法进行大幅修改。因此，在实际应用过程中也可以简单地与各类机器人产品进行对接，适用产品范围也相对较广。