基于手机动作识别确定其客户端对应id的方法和系统与流程

本发明专利申请是分案申请。原案的申请号是：2017111758789；申请日是：2017-11-22；发明名称是：“基于手机动作识别确定其客户端对应id的ar方法和系统”。

本发明涉及客户端服务器模式（c/s结构或p2p结构）的技术领域，特别是一种基于手机动作识别确定其客户端对应id的方法和系统。

背景技术：

增强现实技术（augmentedreality，简称ar），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3d模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

本发明基于图像识别，包括现有成熟的特征识别、物体轮廓识别、颜色识别、动作识别、人脸识别、文字识别等，不同的环境采用相应的识别策略。尤其是通过人体手臂及末端手部的识别与跟踪间接实现手机物理位置的确定与跟踪。

社交软件如即时通讯qq，微信等应用场景中，好友仅限于手机硬件屏幕中以标识（昵称、名字等）展现，标识id是唯一的，现实生活中好友也未必谋面，也就是说好友也可能是虚拟世界的好友，如果社交平台建立关系的方式是开放的，即任何标识id不需要通过主动认证均可建立关系，这样虚拟世界的id就无法在现实世界中确定其客户端硬件或硬件持有人的对应关系，而随着ar的应用，如ar游戏等，需要确定虚拟的标识id和现实的客户端硬件或硬件持有人之间的对应关系。

技术实现要素：

本发明的目的是提供一种基于手机动作识别确定其客户端对应id的ar方法和系统，具体说，由第一客户端id1手机通过其摄像头获取包含其它客户端手机的场景（通过ccd摄像即建立了xy坐标），在该场景中至少有第二客户端id2手机，当客户端id2手机发生运动时其内置传感器获取其加速度矢量a，进而计算出速度矢量v=∫a*dt，进一步计算出运动轨迹s=∫∫a*(dt)²，第一客户端id1手机同时获取客户端id2手机发生运动的视频获得图像动作轨迹s，对s求一阶导数计算图像速度v=s′，进一步，对s求二阶导数计算图像加速度a=s′′，通过比较运动轨迹s和图像动作轨迹s的一致性、即时速度v和图像速度v的一致性、加速度a和图像加速度a的一致性确定客户端id2手机在场景中的坐标。如此可以实现其它应用服务，如识别定位、识别跟踪后叠加图像、游戏等。

客户端id对应手机记为客户端id手机。

第一客户端记为客户端id1、第二客户端记为客户端id2、以此类推。

s=∫∫a*(dt)²为手机空间运动轨迹，由加速度矢量a进行时间t二次积分获得。

v=∫a*dt为手机空间运动速度，由加速度矢量a进行时间t积分获得。

手机运动参数包括运动轨迹s、运动速度v（即时速度）、加速度a。

s为视频中手机（或由确定的手臂末端代替）的图像随时间产生的轨迹即图像像素动作轨迹，即图像动作轨迹。

v=s′为视频中手机（或由确定的手臂末端代替）的图像随时间发生的位移速度即图像像素速度，即图像速度（图像动作速度）。

a=s′′为视频中手机（或由确定的手臂末端代替）的图像随时间发生的位移的加速度即图像像素加速度，即图像加速度（图像动作加速度）。

手机动作参数包括图像像素动作轨迹s、图像像素速度v、图像像素加速度a。

本发明的技术方案是：

一种基于手机动作识别确定其客户端对应id的ar方法，其特征在于：物理场景中至少包括第一客户端id1手机、第二客户端id2手机，第一客户端id1手机通过其摄像头拍摄包含第二客户端id2手机的场景后通过识别软件获取第二客户端id2手机动作参数，同时，第二客户端id2手机通过其传感器获得其运动参数，通过比对所述动作参数及运动参数的一致性确定第二客户端id2对应的手机在视频中的位置。

所述的基于手机动作识别确定其客户端对应id的ar方法，其特征还在于：包括服务器，第一客户端id1手机通过其摄像头拍摄包含第二客户端id2手机的场景后通过识别软件获取第二客户端id2手机动作参数并上传服务器，同时，第二客户端id2手机通过其传感器获得其运动参数并上传服务器，由服务器比对所述动作参数及运动参数的一致性确定第二客户端id2对应的手机。

所述的基于手机动作识别确定其客户端对应id的ar方法，其特征还在于：当客户端id2手机发生运动时其内置传感器获取其加速度矢量a，进而计算出速度矢量v=∫a*dt，进一步计算出运动轨迹s=∫∫a*(dt)²，第一客户端id1手机同时获取客户端id2手机发生运动的视频获得图像像素动作轨迹s，对s求一阶导数计算图像像素速度v=s′，进一步，对s求二阶导数计算图像像素加速度a=s′′，通过比较运动轨迹s和图像像素动作轨迹s的一致性、或即时速度v和图像像素速度v的一致性、或加速度a和图像像素加速度a的一致性确定客户端id2手机在场景中的坐标。

所述的基于手机动作识别确定其客户端对应id的ar方法，其特征还在于：由识别软件识别后对id2手机进行跟踪并叠加图像。

所述的基于手机动作识别确定其客户端对应id的ar方法，其特征还在于：由加速度传感器信号触发叠加图像的运动。

所述的基于手机动作识别确定其客户端对应id的ar方法，其特征还在于：由计算的图像像素加速度a=s′′的最大值触发叠加图像的运动。

一种基于手机动作识别确定其客户端对应id的ar方法，其特征还在于，包括如下步骤：

(1)客户端id1~idn手机将各自的传感器运动参数上传服务器；

(2)任一客户端idx手机通过其摄像头获取场景视频建立x、y坐标，并对客户端id1~idn手机持有人手臂运动进行识别跟踪并将动作参数及对应坐标上传服务器；

(3)服务器建立x、y坐标，服务器获取客户端id1~idn手机上传的运动参数及客户端idx手机上传的动作参数及对应坐标，将动作参数和运动参数进行匹配比对确定客户端id1~idn手机对应的物理位置坐标；

(4)服务器提供基于跟踪某客户端的应用，并在该客户端的手机上执行应用效果。

进一步，步骤(4)中由识别软件识别后对id2手机进行跟踪并叠加图像。

再进一步，由id2手机的加速度传感器信号触发叠加图像的运动，或由计算的图像像素加速度a=s′′的最大值触发叠加图像的运动。

或，

一种基于手机动作识别确定其客户端对应id的ar方法，其特征还在于，包括如下步骤：

(1)客户端id1~idn手机将各自的传感器运动参数上传服务器；

(2)任一客户端idx手机通过其摄像头获取场景视频并上传服务器；

(3)服务器获取客户端idx手机上传的场景视频，建立x、y坐标，对客户端id1~idn手机持有人手臂运动进行识别跟踪获得动作参数，服务器获取客户端id1~idn手机上传的传感器运动参数，将动作参数和运动参数进行匹配比对确定客户端id1~idn手机对应的物理位置坐标。

(4)服务器提供基于跟踪某客户端的应用，并在该客户端的手机上执行应用效果。

进一步，步骤(4)中由识别软件识别后对id2手机进行跟踪并叠加图像。

再进一步，由id2手机的加速度传感器信号触发叠加图像的运动，或由计算的图像像素加速度a=s′′的最大值触发叠加图像的运动。

一种基于手机动作识别确定其客户端对应id的ar系统，包括客户端和服务器，其特征是：

客户端包括：应用服务系统客户端，传感器单元、图像识别单元、图像跟踪单元、动作参数计算单元，应用服务系统客户端提供手机的某种应用，传感器单元负责获取手机动作信号，图像识别单元负责人体及其手臂识别并确定手臂末端，图像跟踪单元负责跟踪所确定的手臂末端，动作参数计算单元负责计算手臂末端动作参数；

服务器包括：应用服务系统，客户端id手机坐标，客户端跟踪单元，应用服务系统即对应于客户端某种应用的系统，客户端id手机坐标即服务器获取的客户端id和手机一一对应的场景坐标，客户端跟踪单元实现对某客户端id手机的移动跟踪，还包括运动计算单元，运动计算单元负责根据获取客户端的传感器信号计算运动参数。

所述的一种基于手机动作识别确定其客户端对应id的ar系统，其特征是：客户端的动作参数计算单元负责计算手臂末端动作参数，所述动作参数为动作轨迹，服务器的运动计算单元负责根据获取客户端的传感器信号计算运动参数，所述运动参数为运动轨迹，服务器还包括轨迹匹配单元，轨迹匹配单元负责匹配所述动作轨迹和所述运动轨迹以识别轨迹的一致性而确定客户端id对应的手机。

所述的一种基于手机动作识别确定其客户端对应id的ar系统，其特征是：客户端的动作参数计算单元负责计算手臂末端动作参数，所述动作参数为动作速度，服务器的运动计算单元负责根据获取客户端的传感器信号计算运动参数，所述运动参数为运动速度，服务器还包括速度匹配单元，速度匹配单元负责匹配所述动作速度和所述运动速度以识别速度的一致性而确定客户端id对应的手机。

所述的一种基于手机动作识别确定其客户端对应id的ar系统，其特征是：客户端的动作参数计算单元负责计算手臂末端动作参数，所述动作参数为动作加速度，服务器的运动计算单元负责根据获取客户端的传感器信号计算运动参数，所述运动参数为运动加速度，服务器还包括加速度匹配单元，加速度匹配单元负责匹配所述动作加速度和所述运动加速度以识别加速度的一致性而确定客户端id对应的手机。

所述的基于手机动作识别确定其客户端对应id的ar系统，其特征是：应用服务系统是即时通讯系统，对应的客户端是即时通讯客户端。

任何一个系统或平台（c/s结构或p2p结构）都必需用id标识其注册（包括匿名登记注册）的客户端，如即时通讯qq平台以qq号标识其客户端，又如导航软件高德导航系统可以用匿名登录号标识其客户端，本发明的客户端软件可以是自主服务平台，所属客户端拥有唯一id标识。

或本发明通过第三方服务（api），或嵌入im平台，基于第三方服务采用第三方服务号码作为客户端id标识。

另外，本发明中的id也可以泛指服务器在该场景中临时派发的唯一代码（用于识别的代码），而该代码关联对应的客户端号。

另外考虑到场景应用是在一个小范围的地理位置，所以利用手机gps或lbs可以增加地理位置约束条件。

本发明基于图像识别，包括现有成熟的特征识别、物体轮廓识别、颜色识别、动作识别、人脸识别、人体识别、人体四肢识别、文字识别等，不同的环境采用相应的识别策略。由于对手机的物理外观识别比较困难，所以通过成熟的人体识别技术首先确定人体，再通过人体识别手臂，进一步确定手臂末端，这样就间接地确定了手机的物理位置，如此实现客户端id和其手机的对应关系。

本发明的有益效果是：解决虚拟世界中客户端id和真实世界中手机及其持有人的对应关系，在基于手机物理位置的客户端游戏中确定手机坐标，可以进行id标注，或至少是要获取初始化的手机物理位置，游戏后期可以基于陀螺仪或加速度传感器实现客户端id手机的坐标位置定位及跟踪，或基于图像特征点识别实现客户端id手机的坐标位置定位及跟踪。

附图说明

图1为本发明场景示意图。

图2为客户端id1手机获取场景视频获取动作参数示意图。

图3为本发明流程图。

图4为在服务器中建立的客户端id和其手机物理位置一一对应的x、y坐标。

图5为本发明系统配置图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

图1为本发明场景示意图，各客户端拥有唯一id标识，101为真实场景，通过手机拍照建立场景坐标x、y（参照摄像装置通过感光单元阵列形成的坐标），假设真实场景中（选取5个客户端手机），客户端id2手机（坐标为（2,3）），客户端id8手机（坐标为（1,2）），客户端id5手机（坐标为（2,2）），客户端id12手机（坐标为（3,2）），客户端id3手机（坐标为（2,1）），任一手机102，假设为客户端id1手机（坐标为（x1,y1）），客户端id1手机通过其摄像头获取场景图像建立x、y坐标（参照摄像装置通过感光单元阵列形成的坐标），由此，客户端id1获取5个客户端手机的物理位置并将物理位置坐标上传服务器，但客户端及服务器都无法确定各手机对应的id。

图2为客户端id1手机获取场景视频获取动作参数示意图，101真实场景中包括客户端id2手机（坐标为（2,3）），客户端id8手机（坐标为（1,2）），客户端id5手机（坐标为（2,2）），客户端id12手机（坐标为（3,2）），客户端id3手机（坐标为（2,1）），客户端id1手机通过拍照建立场景坐标x、y（参照摄像装置通过感光单元阵列形成的坐标），201为摄取的持有人手臂，通过图像识别软件识别人体，进一步识别手臂，再进一步确定手臂末端即手机所在位置，当实物客户端id2手机由持有人左右晃动时产生动作轨迹，动作轨迹是以时间t轴进行x方向位移变化的函数202，客户端id1手机摄取的视频同时也获得以时间t轴进行s方向位移变化的函数203，函数203即图像像素动作轨迹s，对s求一阶导数计算图像像素速度v=s′，进一步，对s求二阶导数计算图像像素加速度a=s′′，将图像像素动作轨迹s、图像像素速度v=s′、图像像素加速度a=s′′上传服务器204。同时，当客户端id2手机发生运动时其内置传感器获取其加速度矢量a并上传服务器204，进而计算出速度矢量v=∫a*dt，进一步计算出运动轨迹s=∫∫a*(dt)²。由此，通过比较运动轨迹s和动作轨迹s的一致性、即时速度v和图像像素速度v的一致性、加速度a和图像像素加速度a的一致性确定客户端id2手机在场景中的坐标（2,3）。

手机获取加速度矢量a的传感器一般为陀螺仪，建立x、y、z三维坐标，加速度矢量a可以分解为ax、ay、az，运动轨迹s由x、y、z轨迹合成，即x=∫∫ax*(dt)²、y=∫∫ay*(dt)²、z=∫∫az*(dt)²。运动轨迹s为空间三维轨迹，而由手机摄取的图像是平面图像，所以将运动轨迹s在某一平面的投影和图像像素动作轨迹s进行匹配识别，将即时速度v在某一平面的投影和图像像素速度v进行匹配识别，将加速度a在某一平面的投影和图像像素加速度a进行匹配识别。

图像动作速度即图像的像素速度，图像像素坐标以x、y坐标表示，图像像素速度为v=((δx)²+(δy)²)^1/2*f，δx为图像像素x轴偏移量，δy为图像像素y轴偏移量，f为帧频率，图像像素加速度为a=（v1-v2）*f，检测图像像素速度至少需要一个帧，所以v1和v2为相邻帧的图像像素速度。

采用分量检测是一种较佳的方案，将坐标统一为水平和垂直方向坐标x、y，假设摄像平面选定为x、y平面，忽略z坐标，手机运动加速度为ax、ay，运动速度为vx=∫ax*dt、vy=∫ay*dt，运动轨迹为x=∫∫ax*(dt)²、y=∫∫ay*(dt)²；图像像素速度vx=δx*f，vy=δy*f，ax=（vx1-vx2）*f,ay=（vy1-vy2）*f,建立匹配函数：

ax比对ax=（vx1-vx2）*f；

ay比对ay=（vy1-vy2）*f；

vx=∫ax*dt比对vx=δx*f；

vy=∫ay*dt比对vy=δy*f；

x=∫∫ax*(dt)²比对x值；

y=∫∫ay*(dt)²比对y值，

在一个匹配周期的各个时刻进行数值比对，时刻间隔可以选择帧周期，这样就把轨迹匹配、速度匹配、加速度匹配转化为数值比对。

考虑到匹配比对程序是在一个匹配周期完成，任一时刻的两个匹配量必须保证时间一致，所以在传送的信号数据包中包含时间戳，由时间戳保证比对时刻，时间戳技术是业内常用技术手段。

图3为本发明流程图，同时参照图1和图2，假设客户端id1手机的物理位置坐标为（x1,y1）、客户端id2手机的物理位置坐标为（2,3）、客户端id3手机的物理位置坐标为（2,1）、客户端idn手机坐标为（xm,yn），其步骤包括：

客户端id2手机由持有人在手中晃动，即在持有人手臂末端动作，客户端id2手机的传感器（如陀螺仪）获取运动参数并上传运动参数至服务器，由服务器存储运动参数，运动参数至少包括加速度a；

任一客户端id1手机通过其摄像头摄取至少包含客户端id2手机场景视频并建立x、y坐标，对客户端id2手机持有人人体及手臂识别及确定人体坐标(2,3)，跟踪手臂末端获取动作参数如图像动作轨迹s、图像速度v、图像加速度a，上传动作参数及对应坐标至服务器，由服务器存储动作参数；

服务器对获取的动作参数和运动参数进行匹配比对，包括运动轨迹s和图像动作轨迹s匹配，或即时速度v和图像速度v匹配，或运动加速度a和图像加速度a匹配，服务器端建立各客户端id手机物理位置x、y坐标，确定客户端id2手机坐标(2,3)。

对于匹配方法，可以是运动轨迹s和图像动作轨迹s匹配，或即时速度v和图像速度v匹配，或运动加速度a和图像加速度a匹配，也可以是三者同时匹配，或三选二进行匹配。

服务器还包括基于跟踪客户端id2手机的应用，在客户端id1手机的屏幕上实现基于跟踪客户端id2手机的应用显示，如在客户端id1手机的屏幕实现现实图像和虚拟图像的叠加显示，在客户端id2手机持有人的现实影像上叠加虚拟图像（如头饰）同时显示。

现有的ar相机采用图像识别跟踪，比如识别人脸后佩戴头饰，如果有数个人脸均在摄像场景中，图像识别会获得多个跟踪对象，这样所有头像均统一实施佩戴头饰而不能区分某个id的客户端，如果采用本发明方案：由于服务器已经建立各客户端id手机物理位置x、y坐标，这样可以基于跟踪特定客户端id2手机的应用，在客户端id1实现基于跟踪客户端id2手机的应用显示，如实现只有客户端id2手机的持有人佩戴头饰。

再提供一种场景效果：由客户端id1手机拍摄包含客户端id2~idn手机的场景，在客户端id1手机的屏幕中对客户端id2~idn手机或持有人的图像进行标注及跟踪，这样虚拟的客户端id2~idn就和真实的对应手机实体或持有人进行了标注确定。

图4为在服务器中建立的客户端id和其手机物理位置一一对应的x、y坐标，通过图3所示的流程，可以将确定其它手机对应的id，如客户端id8手机坐标为（1,2），客户端id5手机坐标为（2,2），客户端id12手机坐标为（3,2），客户端id3手机坐标为（2,1），客户端idx手机坐标为（m,n）。理论上任一手机的运动轨迹都是唯一的，但考虑到识别及匹配误差，具体场景应用是在一个小范围的地理位置，所以利用手机gps或lbs可以增加地理位置约束条件，即根据实际情况本发明的应用发起设置在一定的地理位置范围，客户端或服务器有检测地理位置的步骤，设置有地理位置范围阈值，在阈值范围内实现确定客户端对应id的ar方法。

当然，客户端建立的坐标和服务器建立的坐标进行坐标转换，坐标转换是业内常用技术手段。

图5为本发明系统配置图，包括客户端和服务器：

客户端包括：应用服务系统客户端，传感器单元、图像识别单元、图像跟踪单元、动作参数计算单元，应用服务系统客户端提供手机的某种应用如即时通讯客户端，传感器单元负责获取手机动作信号，如陀螺仪获取加速度，图像识别单元负责人体及其手臂识别并确定手臂末端，图像跟踪单元负责跟踪所确定的手臂末端，动作参数计算单元负责计算手臂末端动作参数，动作参数包括图像像素动作轨迹、图像像素速度、图像像素加速度。

服务器包括：应用服务系统，客户端id手机坐标，客户端跟踪单元，应用服务系统即对应于客户端某种应用的系统如即时通讯服务器端，客户端id手机坐标即服务器获取的客户端id和手机一一对应的场景坐标，客户端跟踪单元实现对某客户端id手机的移动跟踪，服务器还包括运动计算单元，运动计算单元负责根据获取客户端的传感器信号计算运动参数，运动参数包括运动轨迹、运动速度、运动加速度，服务器还包括轨迹匹配单元、速度匹配单元、加速度匹配单元。

客户端的动作参数计算单元负责计算手臂末端动作参数，所述动作参数为图像动作轨迹，服务器的运动计算单元负责根据获取客户端的传感器信号计算运动参数，所述运动参数为运动轨迹，轨迹匹配单元负责匹配所述图像动作轨迹和所述运动轨迹以识别轨迹的一致性而确定客户端id对应的手机。

客户端的动作参数计算单元负责计算手臂末端动作参数，所述动作参数为图像动作速度，服务器的运动计算单元负责根据获取客户端的传感器信号计算运动参数，所述运动参数为运动速度，速度匹配单元负责匹配所述图像动作速度和所述运动速度以识别速度的一致性而确定客户端id对应的手机。

客户端的动作参数计算单元负责计算手臂末端动作参数，所述动作参数为图像动作加速度，服务器的运动计算单元负责根据获取客户端的传感器信号计算运动参数，所述运动参数为运动加速度，加速度匹配单元负责匹配所述图像动作加速度和所述运动加速度以识别加速度的一致性而确定客户端id对应的手机。

做为一种应用方式，应用服务系统是即时通讯系统，对应的客户端是即时通讯客户端。

图像识别单元、图像跟踪单元、动作参数计算单元位于客户端的优势是识别速度快，图像识别单元、图像跟踪单元、动作参数计算单元也可以位于服务器端，这样，客户端直接将所拍摄的视频上传至服务器，由服务器将获取的视频进行识别及跟踪获得客户端id对应手机坐标并反馈至客户端。

上述应用模式及规则均不限定本发明的方法及系统的基本特征，并非限定本发明的保护范围，凡在本发明的精神和原则之内，作出的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。