基于MR眼镜的广告推送管理方法、设备及应用与流程

本发明属于广告推送技术领域，尤其涉及一种基于mr眼镜的广告推送管理方法、设备及应用。

背景技术：

目前，ar/mr/xr眼镜存在隐私安全风险，在当前现有mr/ar/vr智能眼镜的广告/内容的推荐技术中都需要前置摄像头获取并分析用户当前周围环境，进而推送与场景相关的广告内容，在这个技术环节中需要无时无刻启动前置摄像头，其中无时无刻记录数据的摄像头会在不经意间侵害其他人的隐私，隐私问题在未来会成为“ar广告推荐系统”商业化的头号敌人。不仅如此始终启动摄像头对mr眼镜的电池续航能力也带来不小的挑战，降低mr眼镜整体体验。

如今是个信息爆炸的互联网时代，大量的广告信息无处不见，充斥着人们的生活，人们越来越厌烦无用的广告。众所周知，精准营销是当下各大营销手段的重要方向，但随着人们生活水平的进一步提高，消费者们对产品的个性化需求不断凸显，精准营销的难度也不断提高，并且传统的户外传媒广告的营销手段难以量化，最终效果难以保证。可以预判在未来智能眼镜时代上述的问题会更加严重。

对比于发明专利《ar智能眼镜的应用基于眼动追踪技术的广告推送方法》cn108960937，其仅仅是基于用户兴趣进行信息推送，推送信息不全面。

目前国内外公开的一些发明专利中，通过采集并分析用户的生理数据来判断用户对当前视觉前方事物的感兴趣程度，进而根据兴趣程度向用户呈现与该事物相关的内容信息。但是往往上述的方法是不准确的。原因在于当人类看到视觉前方感兴趣/厌恶的事物或事件时，可能会引起生物反应(例如心跳加速、皮肤温度变化、脑电图变化等)，但是所述的生物反应是滞后的，兴趣事件转瞬即逝，有可能当mr眼镜判断用户对某事物感兴趣，然后开启前置摄像头获取兴趣物图像用于识别分析时，兴趣物体已经走远或消失，可想而知，只是摄像头获得的原有位置上兴趣物体局部图像是无效的，并且不存在第二次重新开始的机会。例如，某佩戴mr眼镜的用户正在街上行走，突然一辆设计新型的智能汽车在眼前不远处驶过，此时用户眼睛追视该汽车，瞳孔微张，心跳加速，但正当mr眼睛启动摄像头并识别该汽车时，该汽车已经开远了，mr眼镜已经无法获取有效的汽车图像了。

通过上述分析，现有技术存在的问题及缺陷为：现有ar/mr/xr眼镜推送信息存在隐私安全风险；且利用摄像头获取信息对利用mr眼镜进行广告推送导致电池续航能力低，降低了mr眼镜整体体验；同时现有利用mr眼镜进行广告推送的方法推送信息不全面，且用户感兴趣数据不准确。

目前国内外公开的一些发明专利中，通过采集并分析用户的生理数据来判断用户对当前视觉前方事物的感兴趣程度，进而根据兴趣程度向用户呈现与该事物相关的内容信息。但是往往上述的方法是不准确的。原因在于当人类看到视觉前方感兴趣/厌恶的事物或事件时，可能会引起生物反应(例如心跳加速、皮肤温度变化、脑电图变化等)，但是所述的生物反应是滞后的，兴趣事件转瞬即逝，有可能当mr眼镜判断用户对某事物感兴趣，然后开启前置摄像头获取兴趣物图像用于识别分析时，兴趣物体已经走远或消失，可想而知，只是摄像头获得的原有位置上兴趣物体局部图像是无效的，并且不存在第二次重新开始的机会。例如，某佩戴mr眼镜的用户正在街上行走，突然一辆设计新型的智能汽车在眼前不远处驶过，此时用户眼睛追视该汽车，瞳孔微张，心跳加速，但正当mr眼睛启动摄像头并识别该汽车时，该汽车已经开远了，mr眼镜已经无法获取有效的汽车图像了。

解决以上问题及缺陷的难度为：

为了解决上述由于使用摄像头产生隐私安全风险，同通过什么技术方案来识别用户当前的场景？

为了给用户提供更好产品体验，用什么样的技术方案识别用户的状态，以确保用户不会对广告的推送产生反感，同样的还需要确保在安全的情况下弹出广告，以防止用户由于被吸引注意力而产生安全风险。

实际上ar虚拟广告将会是铺天盖地的，那么通过什么技术算法来过滤掉一些用户不喜欢得广告信息呢？

为了更好的使计算机理解用户的情绪，进而提供更加人性化的内容信息，传感器需要采集用户生物信息，但是用户生物信息采集存在延迟，那么如何及时的捕获与生物信息时间对应的摄像头事件？

解决以上问题及缺陷的意义为：本发明实施例中，通过识别场景、物体检测、空间环境识别来综合分析用户当前场景，排除隐私安全风险；通过加速度传感器识别用户当前的运动状态和场景来分析合适的推送时间。

本发明中，mr眼镜前置摄像头循环录制一段时间内的视频、照片、音频，缓存在mr眼镜本地存储器中。当检测到用户生物数据达到阈值时，调取并分析用户“感兴趣生物指标”时间前后的缓存图像/视频/音频，ai识别技术识别图像/视频中物体或事件，及识别图像显著性，同时并框选图像物体。

综上，本发明提供了更人性化、用户体验更好的广告推送方式，平衡了消费者和商家之间的冲突，提供了一种未来ar/vr眼镜有效的流量变现的创新方法。有效促进ar/vr行业的发展。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于mr眼镜的广告推送管理方法、设备及应用。

本发明是这样实现的，一种基于mr眼镜的广告推送管理方法，所述基于mr眼镜的广告推送管理方法包括：

步骤一，识别场景，通过mr眼镜定位系统确认用户当前场景；

步骤二，识别用户当前运动状态，通过mr眼镜的加速度传感器、陀螺仪、imu判断用户当前的运动状态是否适合弹出/推送内容信息；

步骤三，物体检测，利用mr眼镜的本地算力运行对象检测器对前置摄像头拍到的物理世界图像数据进行ai对象识别，同时ai识别技术识别并框选图像中多个物体具体，利用mr眼镜终端的本地处理器运行预先训练好的特征数据库识别图像中兴趣物体，其中mr眼镜的前置摄像头拍到的图像被配置为与用户眼睛所看到的物理世界影像画面一致；在对象检测后，根据图像识别和图像分割结果在对象外围设置边界框图；

步骤四，空间环境识别，空间分析模块根据步骤三多个物体检测结果分析用户当前物理环境，根据环境更进一步确认步骤一识别的环境和隐私安全；

步骤五，显示内容筛选，根据对象识别和分类结果接收实体店商家预设推广的广告信息，将图中每个物体属性/标签与用户个人信息匹配，筛选出用户不喜欢/不需要的物体图像信息，或者筛选掉不适合当前用户情绪内容；

步骤六，呈现信息提示，将步骤四信息筛选后的内容提示通知以全息影像的形式被mr眼镜光学显示器渲染呈现；

步骤七，选中信息筛选后的对象，将步骤三物体检测后框选的局部图像从大图像中截取出来，上传至云端广告服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，检索结果回传至终端mr眼镜；

步骤八，mr眼镜下载服务器内容数据至储存器，将简易广告内容信息以全息影像的形式被mr眼镜光学显示器渲染呈现。

进一步，所述步骤一中，通过mr智能眼镜定位技术包括但不限于gps/北斗卫星和wifi模块、通信信号基站获得定位位置信息，在购物大卖场，商业街，娱乐具有消费行为的场所，则启动广告推荐系统。

进一步，所述步骤一进一步包括：

通过用户日常作息习惯判断当前时刻是否适合弹出内容信息，具体包括：

系统调用当前时间与用户作息规律数据匹配判断是否可以启动广告推荐系统；

对于隐私安全风险，在当前现有mr/ar/vr智能眼镜的广告/内容的推荐技术中需前置摄像头获取并分析用户当前周围环境，进而推送与场景相关的广告内容。

进一步，所述步骤二中，采集加速度传感器数掘以及陀螺仪传感器数据；其中，加速度传感器数据以及陀螺仪传感器数据分别包括x轴、y轴和z轴三个子维度的数据；

加速度传感器以及陀螺仪传感器可以设置于智能电子设备中，智能电子设备包括智能mr眼镜；待识别数据通过加速度传感器以及陀螺仪传感器获取的传感器数据；加速度传感器和陀螺仪传感器能够记录该智能mr眼镜被使用过程中的各种数据。

进一步，所述步骤三中，前置摄像头拍到的物理世界图像数据经过预处理程序，执行图像数据的过滤，校正；图像预处理器基于视觉和/或深度图像数据将图像数据分割成区域；

通过mr眼镜的对象检测器真实世界图像中的对象进行ai识别和分类，并确定由mr设备观察到的场景中的真实世界的对象的位置和/或姿势；

进一步，利用各种已知的计算机对象识别技术来识别现实世界场景的图像中的对象；对象识别使用基于外观的方法，将图像与已知对象的参考图像进行比较以识别对象；基于外观的方法的包括边缘匹配，灰度匹配，接收场响应的直方图；

对象识别使用依赖于匹配对象特征和图像特征的基于特征的方法；基于特征的方法包括姿势聚类，几何哈希，尺度不变特征变换，解释树；

所述一个或多个对象检测/分类模型包括：用于机器学习算法，一个或多个决策树的参数或随机森林，经过培训检测和/或分类提供给机器学习算法的图像数据中捕获的现实世界对象。

进一步，所述步骤四具体包括：

空间分析模块被配置为识别/分类和确定由mr设备观察到的物理空间的边界；空间分析模块被配置为使用对象检测器的ai对象识别结果与场景特征库进行比对，分析出用户当前环境是否为隐私安全风险区；在场景特征库中每一个或几种物体组合都对应着环境场景；通过一个或多个特征物体识别出不同场所；如果用户当前环境是隐私安全高风险区则系统关闭摄像头或禁止摄像头记录照片/视频等图像数据，如果用户当前环境是隐私安全低/无风险区则持续启动摄像头，并启动内容推荐系统，及对对步骤一通过定位技术识别的环境进行二次确认，排除隐私敏感区。

进一步，所述步骤五进一步包括：在mr眼镜对物体识别/分类后，根据物体特征与用户个人信息匹配，进而过滤掉一部分信息再进行显示，其中所述个人信息包括但不限于个人兴趣库、兴趣标签、用户画像、历史眼动注视点兴趣库、用户姓名、个人资料图片、联系信息、出生日期、性别、婚姻状况、家庭状况、工作、教育背景、视觉偏好、兴趣或其他人口统计信息。

进一步，所述步骤六进一步包括：

系统在目标物体位置呈现提示通知，所述通知是以下各项中的一项或多项：弹出通知，声音通知，振动，基于对象的内容共享用户界面中的通知文本或图标，社交媒体服务中的通知消息，文本消息，一旦添加新的内容项，系统就会使用户的设备发出声音或振动；

用户单独配置通知的类型以接收与用户相关联的每个对象或对象类别；用户单独配置是否接收与用户相关联的每个对象和/或对象类别的通知；

还使用通知模块对目标物体位置呈现提示通知，该通知模块使mr眼镜系统的os可以将物体识别结果与应用程序匹配，再将通知与已在os中注册的应用程序对象进行匹配，从而将对象标识为通知的目标；os通过例如将通知有效负载中包含的上下文标识符(id)与系统中注册的所有对象的上下文id进行比较，并找到具有匹配上下文id的对象来执行此步骤；在将对象标识为通知的目标后，操作系统可以调用与对象的应用程序关联的特殊通知处理程序，但与应用程序的主过程分开；

通知处理程序是与应用程序的主要可执行文件不同的可执行文件；然后，通知处理程序可以执行代码，以在系统ui中相对于对象在上下文中处理和呈现通知。

进一步，所述步骤七进一步包括：

在云端服务器根据终端mr眼镜传回的位置信息、场景信息、局部图像进行检索，检索数据库中是否有与目标物体对应的广告信息；所述云端服务器被配置为一种接收/收集实体店商家广告投放需求的广告投放平台，商家可以在广告投放平台上设置介绍内容、优惠卷、打折信息任何广告内容，甚至可以链接商家的自有小程序。

进一步，所述步骤八进一步包括：

系统基于环境地图中的相关物理对象的位置来确定要显示全息内容的方向和三维位置；某全息内容在物理对象-椅子上显示时，环境地图中椅子的表面或附近的位置被确定为该全息内容显示的三维位置；从环境地图生成单元获取的成像装置的位置和姿势，然后将确定的三维位置转化为光学成像屏幕上的平面位置和全息内容深度，计算出的输入图像中的位置处来生成输出图像显示在mr眼镜的光学显示器商；

用户移动使得用户对物理对象的视角改变，则电子设备检测到用户的移动并且调整用户对资产的视图以与用户的移动相对应；通过传感器或通过分析由照相机捕获的图像来检测用户的移动；

使用同时定位和映射技术来调整用户对资产的看法；在slam中，通过连续的摄像机帧跟踪一组点；使用这些轨迹，对点的3d位置进行三角剖分，同时使用估计的点位置来计算观察点的相机姿态；使用3d位置和相机姿势，还调整用户的资产视图。

进一步，所述用户的交互指令具体包括：眼动交互、手势识别交互、外设控制器、有声/无声语音识别、头动交互；

(1)mr眼镜的眼动追踪装置捕获眼睛运动数据，检测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、眼跳轨迹以及注视时长等，当注视时长超过一定时长，则视为对某一位置进行了对应眼球的行为动作，例如对交互界面中的望远模式的ui按钮做出了凝视对应点击操作(眼睛行为动作)的动作，即显示内容信息；

(2)mr眼镜的手势识别模块检测手部做出特定的动作，例如手势识别装置接收到用户手部的运动信息，或识别手部特定的形状，与上、下、左、右滑动、放大、缩小、点击以及关闭等控制选项相关联，进而即显示内容信息；

(3)通过操控设备的含有无线信号传输的移动控制器，握持按键式控制器、穿戴式手套以及指套控制器，向mr眼镜发射控制信号，通过操作交互界面，点击ui按钮进入望远模式，其中包括6dof加速度传感器追踪技术和6dof电磁追踪技术手柄；

(4)通过mr眼镜的有声或无声语音识别装置接收用户发出的有声或无声语音，并通过系统解析用户的语音指令，控制设备显示内容信息；

(5)通过头动追踪装置选择交互界面的按钮，例如通过在mr眼镜的的加速度传感器、陀螺仪、磁力计计算用户头部的运动，在mr眼睛视野中央设置一个与头部相对位置固定的光标，移动头部控制光标选择位置与全息ui界面进行点击确认，即显示内容信息。

进一步，通过识别用户生物信息判断是否对当前物体感兴趣，然后系统向用户推送该内容信息，通过缓存视频获取即时信息，所述基于mr眼镜的广告推送管理方法还包括：

步骤s211:识别场景：通过mr眼镜卫星定位系统确认用户当前场景，再通过用户日常作息习惯判断当前时刻是否适合弹出内容信息；

步骤s212：识别用户当前运动状态：通过mr眼镜的加速度传感器、陀螺仪、imu判断用户当前的运动状态是否适合弹出内容信息；

步骤s213：物体检测：利用mr眼镜的本地算力运行对象检测器对前置摄像头拍到的物理世界图像数据进行ai对象识别，同时ai识别技术识别并框选图像中多个物体；

步骤s204：空间环境识别：空间分析模块根据“s213的多个物体检测结果”分析用户当前物理环境，根据环境更进一步确认s101识别的环境和隐私安全；

步骤s215:循环录制缓存：mr眼镜前置摄像头循环录制一段时间内的视频、照片、音频，缓存在mr眼镜本地存储器中；

步骤s216:检测用户当前生物信息，包括眼动行为数据、脑电数据、心跳、血压、呼吸频率，判断用户是否可能对当前影像感兴趣。

步骤s217：调取并分析用户“感兴趣生物指标”时间前后的缓存图像/视频/音频，ai识别技术识别图像/视频中物体或事件，及识别图像显著性，同时并框选图像物体；

步骤s218:mr眼镜将s213物体检测后框选的局部图像从大图像中截取出来，上传至云端广告服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，检索结果回传至终端mr眼镜；其中内容信息包括文字、图片、音频、视频、应用程序；同时对目标物体或事件位置坐标出呈现“内容提示通知”，以全息影像的形式被mr眼镜光学显示器渲染呈现；

步骤s219:mr眼镜等待用户对“内容提示通知”的交互行为，同时mr眼镜下载服务器内容数据至缓存；如果接收到用户的交互指令，则进一步呈现服务器传回的内容信息；如果未接收到用户的交互指令，则当“内容提示通知”离开用户视野画面后一段时间自动消失，清空缓存信息。

步骤s220:当接收到用户的交互指令后呈现内容信息。

进一步，所述步骤s215循环录制缓存，进一步包括：

mr眼镜前置摄像头循环录制一段时间内的视频、照片、音频，缓存在mr眼镜本地存储器中。具体为将视频/音频记录到缓冲器；当视频/音频数据被摄像头和麦克风捕获时，情绪/认知状态触发的记录系统将视频/音频数据写入缓冲器。所述缓冲器可以被实现为循环缓冲器，诸如缓冲器循环存储最近一段时间内的数据，可以手动设置缓冲器的储存容量，当容量满了之后循环删除最早时间的视频，写入新的视频数据。

进一步，所述步骤s216检测用户当前生物信息，进一步包括：

眼动行为数据、脑电数据、心跳、血压、呼吸频率，判断用户是否可能对当前影像感兴趣。具体为检测并接收传感器数据传感器数据分析模块从一个或多个感测装置接收数据。所述传感器数据可以包括但不限于皮肤电反应的数据，皮肤温度的数据，皮肤电的数据，脑电波的活动，心脏的电活动的数据，眼睛运动的数据，面部表情的数据，瞳孔扩张和/或收缩的数据，语音量的数据或指示语速的数据。

进一步，所述步骤s217提取情绪刺激时间前后的缓存视频进行图像识别，进一步包括：

进一步，进一步包括：

情绪/认知状态触发的记录系统包括缓冲区，传感器数据分析模块，记录模块，凝视检测模块和视频段存储区；

缓冲器被配置为当从摄像机和麦克风接收到视频和音频数据时存储视频和音频数据；

传感器数据分析模块从感测设备接收传感器数据，并且分析所接收的传感器数据以确定用户的情绪或认知状态；传感器数据分析模块提供指示用户的情绪或认知状态的可用数据；

记录模块基于指示用户的情绪或认知状态的数据来确定是否记录视频片段。记录模块被配置为基于用户的情绪或认知状态的改变来开始记录视频片段。记录模块可以被配置为在用户的情绪或认知状态从中立状态变为非中立状态时开始记录视频片段；录模块被配置为在表示用户的情绪或认知状态的值超过阈值时开始记录视频片段；

注视检测模块跟踪用户的注视以确定用户注视的方向；凝视检测模块可以被配置为视频叠加，该视频叠加包括关于在捕获视频时用户的凝视方向的彩色的点，突出显示或其他可视指示符；

视频片段存储被配置为存储基于用户的情绪或认知状态记录的视频片段。当记录模块启动记录时，将存储在缓冲器中的视频和音频数据复制到新的视频段，该新的视频段存储在视频段存储器中；记录模块将附加的视频和音频数据定向为如上所述将其记录到视频片段；视频片段存储还存储与视频片段相关联的元数据，其可以包括但不限于触发记录的用户的情绪或认知状态的指示符，用户的情绪的一个或多个指示符；或视频录制时的认知状态，以及用于提供视觉指示符。

进一步，通过识别用户肢体动作判断是否对当前物体感兴趣，所述基于mr眼镜的广告推送管理方法还包括：

s301:识别场景：通过mr眼镜卫星定位系统确认用户当前场景，再通过用户日常作息习惯判断当前时刻是否适合弹出内容信息；

s302：识别用户当前运动状态：通过mr眼镜的加速度传感器、陀螺仪、imu判断用户当前的运动状态是否适合弹出内容信息；

s303：隐私安全确认：利用mr眼镜的本地算力对前置摄像头拍到的图像进行ai识别，通过对环境中多个物体的属性分析用户当前场景，判断是场景中是否存在个人隐私安全隐患，如果没有则执行s104；

s304:循环录制缓存：mr眼镜前置摄像头循环录制一段时间内的视频、照片、音频，缓存在mr眼镜本地存储器中；

s305:检测用户当前身体动作，利用mr眼镜的加速度传感器、陀螺仪、imu、眼球追踪装置、手势识别装置等检测用户身体动作；

s306：调取并分析用户“感兴趣身体行为”时间前后的缓存图像/视频/音频，ai识别技术识别图像/视频中物体或事件；综合“用户身体动作”和“图像、视频、音频识别出事件”两个方面信息判断用户对事件的兴趣程度，若判断为感兴趣则执行第s307；

s307:mr眼镜将s303物体检测后框选的局部图像从大图像中截取出来，上传至云端广告服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，检索结果回传至终端mr眼镜。其中内容信息包括文字、图片、音频、视频、应用程序。同时对目标物体或事件位置坐标出呈现“内容提示通知”，以全息影像的形式被mr眼镜光学显示器渲染呈现；

s308:mr眼镜等待用户对“内容提示通知”的交互行为，同时mr眼镜下载服务器内容数据至缓存。如果接收到用户的交互指令，则进一步呈现服务器传回的内容信息。如果未接收到用户的交互指令，则当“内容提示通知”离开用户视野画面后一段时间自动消失，清空缓存信息；

s309:当接收到用户的交互指令后呈现内容信息。

进一步，所述步骤s305检测用户当前身体动作包括：

通过眼动追踪装置检测眼睛运动：扫视距离超过/等于预设阈值，和/或眼睛的平滑的移动行为持续时间超过/等于预设阈值，和/或眼睛的移动速度超过/等于预设阈值，和/或眼睛突然停止无序的运动，和/或眼睛对某一点的注视时长超过/等于预设阈值，和/或眼睛在两点/两范围之间往复运动，和/或眼颤行为，和/或眼睛瞳孔直径的变化超过/等于预设阈值，前庭眼运动，汇聚/扩散运动，平滑追视，长扫视和矫正扫视；在正常的日常活动中，可以跟踪眼睛进行自愿和非自愿活动的过程；在用户的眼睛例行执行两种类型的运动时辨别用户的意图。这需要区分用于传达意图的自愿运动和非自愿眼动；

通过头动追踪装置检测头部运动：在另外的方面，眼信号可以与其他模态组合以传达用户意图；眼睛信号可以与自愿的头部运动相结合，作为眼睛信号“语言”的组成部分；检测用户转头过程中的速度、加速度、转动的角度；

头部位置跟踪系统包括位置和运动传感器(例如，指南针，陀螺仪)，加速度计光源和/或其他用于获取mr眼镜的位置，方向和运动的设备通过检测面向外部的照相机中的整个场景的运动来检测；可以从头部位置跟踪系统接收头部位置信息；将头部位置信息提供给眼动交互意图预测模型的头部位置跟踪系统。在mr眼镜上共同形成一个惯性测量单元(imu)；头部位置信息可以帮助确定用户的头部运动，旋转或方向；

运动追踪装置检测身体运动：检测用户的躲闪、跳跃、颤抖身体行为；在一定程度上mr眼睛的头动追踪装置可以代表运动追踪装置来检测身体运动，还可以通过智能手表、智能手环、具有空间定位的控制器手柄等任意的可穿戴智能硬件来检测身体运动。

本发明的另一目的提供一种基于mr眼镜的广告推送管理设备，所述基于mr眼镜的广告推送管理设备包括：

显示模块，用于利用hmd设备将图像呈现给用户；

图像传感模块，用于利用一个或多个面向外部的图像传感器、成像相机或深度红外相机及其他设备获取周围和/或前方的真实场景的图像数据；

眼动追踪模块，包括一个或多个闪烁源、图像传感器以及mems扫描镜；用于检测用户的每只眼睛的凝视方向的传感器数据；

位置模块，用于获取设备的当前位置数据；

声音识别模块，用于利用音频硬件检测并识别用户的声音命令；

运动控制模块，用于利用一个或多个运动传感器测量和获取用户运动数据；

控制模块，包括逻辑单元、数据保持单元和通信单元；用于进行数据存储、通信控制；

生物特征获取模块，用于利用一个或多个生物特征传感器获取用户大脑电活动、心脏电活动、语音音量，语速及其他生物特征数据；

缓冲模块，用于记录支持情绪/认知状态触发视频/音频数据；

输入/输出设备，包括一个或多个输入接口，用于与电子设备进行信号或数据交互。

进一步，所述控制模块包括：

逻辑单元，用于利用一个或多个处理器执行指令并进行通信；

数据保持单元，用于利用一个或多个存储设备进行数据存储；

通信单元，用于进行系统与其他计算机通信。

进一步，所述基于mr眼镜的广告推送管理设备被设置在用户佩戴的头戴式显示器设备hmd中，通过以下方式追踪眼睛注视方向，和用户头部凝视方向和头部姿态运动，包括：

hmd中包括的传感器将检测到的头部凝视方向和/或限定凝视姿势的运动转换成由hmd产生的在虚拟环境中的用户输入。

进一步，所述mr眼镜包括位置子系统，所述位置子系统被布置为基于从导航卫星系统接收的信号确定当前位置；所述位置子系统或被布置为基于标识发射设备的射频信号和为这种设备确定的位置确定位置；

所述mr眼镜包括音频硬件，音频硬件包括被布置为检测声音的一个或多个麦克风；

所述mr眼镜包括一个或多个运动传感器，被布置为测量和报告运动数据；

所述mr眼镜还包括控制器，所述控制器包括逻辑系统、数据保持系统和通信系统；

逻辑子系统包括被配置为执行指令并进行通信的一个或多个处理器。

数据保存子系统包括一个或多个存储设备和/或一个或多个存储设备；

数据保存子系统还包括其上存储有可由逻辑子系统执行的指令的一种或多种介质；

通信子系统被布置为允许与其他计算机系统通信；所述通信经由wi-fi，蜂窝数据通信和/或蓝牙执行；

所述mr眼镜包括生物特征传感器，包括一个或多个生物特征传感器、用于测量大脑电活动的脑电图设备、用于测量心脏电活动的心电图、麦克风或其他用于测量语音音量，语速等的声音传感器，光传感器，光学扫描仪；

所述mr眼镜包括缓冲器，被配置为记录视频/音频以支持情绪/认知状态触发的视频记录；

所述mr眼镜包括输入/输出设备、一个或多个输入接口，所述输入/输出设备包括键盘，小键盘，鼠标，麦克风，触摸传感器，触摸屏，操纵杆，控制按钮，滚动按钮，照相机。

本发明的另一目的提供一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于mr眼镜的广告推送管理方法。

本发明的另一目的提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于mr眼镜的广告推送管理方法。

本发明的另一目的提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于mr眼镜的广告推送管理方法。

本发明的另一目的提供一种信息推送的系统，所述信息数据处理终端用于实现所述基于mr眼镜的广告推送管理方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明能为用户提供更加多元化的信息，并非用户喜欢什么只给用户推什么信息，而是推送用户不喜欢的内容信息以外的广告信息；在保护用户隐私机制方面，本发明通过用户日常作息时间辅助判断场景，通过加速度传感器、imu识别用户运动状态(例如走动、跑动、说话、静坐等)进一步判断场景和安全性，最后通过摄像头识别场景。本发明通过位置定位、时间(用户作息)、加速度传感器等硬件形式检测识别场景，相当于使用功耗较低的硬件检测场景，对比于现有单纯只是通过摄像头识别场景技术方案，本发明阶梯式识别场景，在效果上不仅精准，而且功耗大幅度较低。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于mr眼镜的广告推送管理方法流程图。

图2是本发明实施例提供的基于mr眼镜的广告推送管理设备结构示意图；

图中：100、hmd设备；102、便携式手持电子设备或控制器。

图3是本发明实施例提供的用户佩戴hmd设备示意图；

图中：110、控制器；122、光学透镜；130、前置摄像头；142、闪烁源；144、图像传感器；150、位置子系统；160、运动传感器；170、麦克风；180、扬声器。

图4是本发明实施例提供的hmd设备示意图。

图5是本发明实施例提供的当用户在休息状态下的头部运动的检测数据的图。

图6是本发明实施例提供的用户对话中的头部的动作的检测数据的图。

图7是本发明实施例提供的用户行走中的头部的动作的检测数据的图。

图8是本发明实施例提供的方法二中的视频缓存系统的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于mr眼镜的广告推送管理方法、设备，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的基于mr眼镜的广告推送管理方法包括：

s101，通过mr眼镜卫星定位系统确认用户当前场景，并通过用户日常作息习惯以及用户当前场景判断当前时刻是否适合启动广告推荐程序；通过mr眼镜的加速度传感器、陀螺仪、imu判断用户当前的运动状态是否适合弹出内容信息；

s102，利用mr眼镜的本地算力运行对象检测器对前置摄像头拍到的物理世界图像数据进行ai对象识别；并分析用户当前物理环境；利用ai识别技术识别并框选图像中多个物体，将图中每个物体属性/标签与用户个人兴趣库标签匹配，筛选出用户不喜欢的物体图像信息；

s103，将信息筛选后的内容提示通知以全息影像的形式被mr眼镜光学显示器渲染呈现；同时mr眼镜将框选的物体图像从大图像中截取出来，上传至云端服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，并反馈检索结果；

s104，mr眼镜下载服务器内容数据至缓存；并判断用户是否存在交互指令；若接收到用户的交互指令，则呈现服务器传回的内容信息；若未接收到用户的交互指令，则当内容提示通知离开用户视野画面后一段时间自动消失，清空缓存信息。

本发明实施例提供的若接收到用户的交互指令，则呈现服务器传回的内容信息包括：

所述用户的交互指令具体包括：眼动交互、手势识别交互、外设控制器、有声/无声语音识别、头动交互；

所述内容信息包括文字、图片、音频、视频、应用程序，也可以为用户自主预先编辑对应关系；

所述若接收到用户的交互指令，则呈现服务器传回的内容信息包括：

mr眼镜的眼动追踪装置捕获眼睛运动数据，检测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、眼跳轨迹以及注视时长等，当注视时长超过一定时长，则视为对某一位置进行了对应眼球的行为动作，即显示内容信息；

或：mr眼镜的手势识别模块检测手部做出特定的动作，与上、下、左、右滑动、放大、缩小、点击以及关闭控制选项相关联，进而即显示内容信息；

或：通过操控设备的含有无线信号传输的移动控制器向mr眼镜发射控制信号，通过操作交互界面，点击ui按钮进入望远模式；

或：通过mr眼镜的有声或无声语音识别装置接收用户发出的有声或无声语音，并通过系统解析用户的语音指令，控制设备显示内容信息；

或：通过头动追踪装置选择交互界面的按钮，即显示内容信息。

本发明实施例提供的基于mr眼镜的广告推送管理方法包括以下步骤：

(1)通过mr眼镜卫星定位系统确认用户当前场景，并通过用户日常作息习惯以及用户当前场景判断当前时刻是否适合启动广告推荐程序；通过mr眼镜的加速度传感器、陀螺仪、imu判断用户当前的运动状态是否适合弹出内容信息；

(2)利用mr眼镜的本地算力运行对象检测器对前置摄像头拍到的物理世界图像数据进行ai对象识别，同时ai识别技术识别并框选图像中多个物体；根据多个物体检测结果分析用户当前物理环境；根据环境确认识别的环境和隐私安全；

(3)mr眼镜前置摄像头循环录制一段时间内的视频、照片、音频，缓存在mr眼镜本地存储器中；检测用户当前包括眼动行为数据、脑电数据、心跳、血压、呼吸频率的生物信息，判断用户是否可能对当前影像感兴趣；

(4)调取并分析用户感兴趣生物指标时间前后的缓存图像/视频/音频，利用ai识别技术识别图像/视频中物体或事件，及识别图像显著性，同时并框选图像物体；

(5)mr眼镜将框选的物体图像从大图像中截取出来，上传至云端服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，并反馈检索结果；

(6)mr眼镜下载服务器内容数据至缓存；并判断用户是否存在交互指令；若接收到用户的交互指令，则呈现服务器传回的内容信息；若未接收到用户的交互指令，则当内容提示通知离开用户视野画面后一段时间自动消失，清空缓存信息。

步骤(4)中，本发明实施例提供的调取并分析用户感兴趣生物指标时间前后的缓存图像/视频/音频，利用ai识别技术识别图像/视频中物体或事件，及识别图像显著性，同时并框选图像物体包括：

首先，分析所接收的传感器数据以确定用户的情绪/认知状态是否达到；所述情绪状态包括但不限于幸福，悲伤，愤怒，恐惧，失望或骄傲；所述认知状态包括但不限于专注，参与，分心，无聊，困倦，困惑或沮丧；

其次，根据激活的情绪或认知状态对时间轴进行标记，根据时间标记获取这一时刻前后的缓存图像/视频/音频；

最后，利用ai识别技术识别图像/视频中物体或事件，及识别图像显著性，同时并框选图像物体；

所述检测图像中物体的显著性包括：通过图像分析算法检测图像；或，通过预先训练好的显着性预测模型预测前置摄像头拍摄的影像中的物体显著性；

所述通过图像分析算法检测图像包括：

具体包括：检测物体在图像中的位置，越靠近中心越显著；检测图像中色彩对比度较高的区域；检测视频中动态物体检测，并计算物体的移动速度；检测物体移动的方向，是由远到近，还是由近到远；计算目标物体在整幅画面中的占比。

本发明实施例提供的基于mr眼镜的广告推送管理方法还包括：

1)通过mr眼镜卫星定位系统确认用户当前场景，再通过用户日常作息习惯判断当前时刻是否适合弹出内容信息；通过mr眼镜的加速度传感器、陀螺仪、imu判断用户当前的运动状态是否适合弹出内容信息；

2)利用mr眼镜的本地算力对前置摄像头拍到的图像进行ai识别，通过对环境中多个物体的属性分析用户当前场景，判断是场景中是否存在个人隐私安全隐患，如果没有则执行步骤3)；

3)mr眼镜前置摄像头循环录制一段时间内的视频、照片、音频，缓存在mr眼镜本地存储器中；利用mr眼镜的加速度传感器、陀螺仪、imu、眼球追踪装置、手势识别装置检测用户身体动作；

4)调取并分析用户感兴趣身体行为时间前后的缓存图像/视频/音频，ai识别技术识别图像/视频中物体或事件；综合用户身体动作和图像、视频、音频识别出事件判断用户对事件的兴趣程度，若判断为感兴趣则执行步骤5)；

5)mr眼镜将物体检测后框选的局部图像从大图像中截取出来，上传至云端广告服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，检索结果回传至终端mr眼镜；

6)mr眼镜下载服务器内容数据至缓存；并判断用户是否存在交互指令；若接收到用户的交互指令，则呈现服务器传回的内容信息；若未接收到用户的交互指令，则当内容提示通知离开用户视野画面后一段时间自动消失，清空缓存信息。

如图2所示，本发明实施例提供的基于mr眼镜的广告推送管理设备包括：

显示模块，用于利用hmd设备将图像呈现给用户；

图像传感模块，用于利用一个或多个面向外部的图像传感器、成像相机或深度红外相机及其他设备获取周围和/或前方的真实场景的图像数据；

眼动追踪模块，包括一个或多个闪烁源、图像传感器以及mems扫描镜；用于检测用户的每只眼睛的凝视方向的传感器数据；

位置模块，用于获取设备的当前位置数据；

声音识别模块，用于利用音频硬件检测并识别用户的声音命令；

运动控制模块，用于利用一个或多个运动传感器测量和获取用户运动数据；

控制模块，包括逻辑单元、数据保持单元和通信单元；用于进行数据存储、通信控制；

生物特征获取模块，用于利用一个或多个生物特征传感器获取用户大脑电活动、心脏电活动、语音音量，语速及其他生物特征数据；

缓冲模块，用于记录支持情绪/认知状态触发视频/音频数据；

输入/输出设备，包括一个或多个输入接口，用于与电子设备进行信号或数据交互。

本发明实施例提供的控制模块包括：

逻辑单元，用于利用一个或多个处理器执行指令并进行通信；

数据保持单元，用于利用一个或多个存储设备进行数据存储；

通信单元，用于进行系统与其他计算机通信。

下面结合具体实施例对本发明的技术效果作进一步描述。

根据本发明所述的实施方式，眼动跟踪设备可以跟踪注视方向和检测用户的眼睛动作行为。在一些实施方式中，眼动追踪设备可以被设置在用户佩戴的头戴式显示器(hmd)设备中，并且可以通过以下方式追踪眼睛注视方向，和用户头部凝视方向和头部姿态运动：例如，hmd中包括的传感器(例如加速度传感器、陀螺仪、imu等)可以将检测到的头部凝视方向和/或限定凝视姿势的运动转换成由hmd产生的在虚拟环境中的用户输入。在一些实施方式中，眼动跟踪设备可以包括光学跟踪设备，例如，hmd中包括的光学注视跟踪设备，用于检测和/或跟踪用户的视线方向、眼球运动、眼睛行为，并将眼球运动通过算法映射在全息三维空间或者二维屏幕上形成注视点光标，通过注视点光标在hmd生成的虚拟环境中进行虚拟键盘的文本输入。

在图3所示的示例中，如图3所示，佩戴hmd100的用户拿着便携式手持电子设备或控制器102，该便携式手持电子设备102与hmd100通过有线连接或无线连接，可进行协同操作和通信(例如，wifi或蓝牙连接)。这可以提供手持电子设备102和hmd100之间的通信以及数据的交换，从而允许手持电子设备102用作与hmd100通信的控制器，由此控制器102在hmd100生成的虚拟环境中进行交互。例如，在手持电子设备102的触摸表面上接收的输入，手持电子设备102的空间移动。手持电子设备102实际是一种通过手对虚拟目标进行控制的外设硬件，由此手持电子设备102还可以是数据手套(用于手势追踪)、6dof控制器手柄、智能手环、智能戒指、智能手表、手机等控制设备。

图4示出了混合现实(mr)设备100的示例，图2示出了混合现实(mr)设备100的示例。图2示出了图4中示出的mr设备100的框图。mr设备100是头戴式mr设备，旨在在普通使用期间佩戴在用户的头上，包括头戴式显示器(hmd)设备。但是，本发明显然不限于头戴式mr设备，并且本发明描述的技术可以与其他类型的mr设备一起使用，包括但不限于智能手机设备，平板计算机，笔记本计算机和/或系统，包括配置为提供混合现实功能的平视显示器。混合现实是指一种允许虚拟图像与显示器中的现实世界物理环境混合的体验。例如，可以标识真实世界的对象和/或真实世界的空间，并用相应的虚拟对象来增强它们。可以使用例如虚拟现实或增强现实技术来实现混合现实。

mr设备100包括用于将图像显示给mr设备100的用户的显示子系统120。如图3所示，显示子系统120旨在靠近用户的眼睛，并且包括透明的hmd设备，该透明的hmd设备包括一个或多个透明或半透明的光学透镜122，其被布置为使得图像可以被投影到透明透镜上。全息影像由位于透视透镜122内的图像生成元件(例如，透视oled显示器)生成。佩戴mr设备100的用户可以看到真实世界的实际直接视图(而不是图像)透过透明镜头122，并同时查看虚拟对象(可以称为虚拟图像或全息图)，这些对象可以增强用户对真实空间的直接观看。注意，本发明明确地不限于使用透视显示设备的mr设备。光学透镜122可以通过各种波导技术来控制眼睛的图像的照明和/或获取。更具体地，诸如由digilensinc.生产的那些可切换的布拉格光栅(sbg)，电可切换的液晶光栅，表面起伏光栅(srg)，可切换的波导显示器或基于mems反射镜(即，光束扫描)设备可以当光线指向眼睛时，光学透镜122可以用来控制光源的位置和/或在空间上选择从眼睛收集的光。照明源(包括单个光源(例如，发光二极管，led)和/或检测器，包括单个检测器(例如，光电二极管))可以用于照明和/或获取图像。照明源可能是不连贯的(例如，led)或相干光源，包括超低功率(为确保眼睛安全)二极管激光器。可以通过电子选择性波导(例如sbg，srg，液晶，mems镜)提供空间分辨率。照明和图像捕获可以附加地或替代地涉及所谓的“热镜”，fraunhoffer透镜，微透镜阵列，波导组合器，全内反射(tir)全息波导和/或全息透镜或其他光学器件的反射或折射。

在一些实施方式中，显示子系统120可以是不透明的，并且在用户的全部或部分视场中不允许用户通过显示子系统120直接查看场景。这样的实施方式包括但不限于这些增强现实设备被布置为在mr设备100的前面显示物理空间的可视图像，并添加了虚拟对象以增强物理空间的显示，虚拟现实设备和虚拟现实设备被布置为在与mr设备100前面的物理空间中的现实世界对象相对应的位置处显示虚拟对象。在一些实现中，mr设备100可以体现在手持移动设备中以显示为对象。在诸如lcd面板的显示设备上的增强。在这样的实施方式中，手持移动设备可以被布置为提供“窗口”，其中可以显示针对mr设备100周围的场景的虚拟扩增。

mr设备100还包括一个或多个面向外部的图像传感器(前置摄像头)130，其被配置为获取mr设备100周围和/或前方的真实场景的图像数据。前置摄像头130可以包括一个或多个更多的数字成像相机132被布置为捕获二维视觉图像。在一些实施方式中，两个成像相机132可用于捕获立体图像。前置摄像头130还可包括一个或多个深度相机134，例如但不限于飞行时间深度相机，其被布置为捕获深度图像数据，例如提供估计的和/或深度的深度图。或从mr装置100到深度相机134的各个视场(fov)的测量距离。可以将经由深度相机134获得的深度图像数据配准到其他图像数据，诸如经由成像相机132同时捕获的图像。面向外的图像传感器130可以被配置为捕获各个图像和/或序列。图像可以配置的帧速率或帧速率。在一些实施方式中，与mr设备100相关联的前置摄像头130或其他传感器可以被配置为评估和/或识别外部条件，包括但不限于一天中的时间，照明的方向，环境，温度和其他。外部条件可以向mr设备100提供附加因素以确定要显示给用户的虚拟图形元素的类型。

mr设备100可以进一步包括眼动追踪系统140，该眼动追踪系统140被配置为检测用户的每只眼睛的凝视方向的传感器数据。眼动追踪系统140可以被布置为以任何合适的方式确定用户的每只眼睛的视线方向。参照图2和图4，眼动追踪系统140包括一个或多个闪烁源142，例如红外光源，其被布置成使闪烁的光从用户的每个眼球反射，以及一个或多个图像传感器144。捕获用户每个眼球的图像。从经由一个或多个图像传感器144收集的图像数据确定的来自用户眼球的闪烁变化可以用于确定凝视的方向。进一步，从用户的眼睛投影的注视点与外部显示器相交的位置可以用于确定用户注视的对象或位置(例如，由显示子系统120显示的虚拟对象)。眼动追踪系统140可以具有任何合适数量和布置的闪光源和图像传感器。在一个非限制性示例实施例中，每只眼睛使用四个闪烁源和一个图像传感器。此外，在一些实施方式中，眼动追踪系统140可以被配置为协助mr设备100更准确地识别感兴趣的现实世界对象并将这些对象与虚拟应用程序相关联。通过眼动追踪装置捕获眼睛运动数据，检测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、眨眼频率、单眼眨眼、眼脸闭合、视线、眼跳轨迹、注视时长，当注视时长超过一定时长或眨眼，则对某一功能的ui位置进行点击确认指令。

进一步，所述眼动追踪装置的眼动追踪方法包括但不限于：

1)通过接收眼睛反射红外光线，计算瞳孔中心与角膜中心的连线进行眼动追踪。硬件包括至少一个不可见红外光源、微型摄像头、反光热镜、光波导镜片。

2)另一种眼动追踪技术实施例为通过捕获眼睛图像或者计算视网膜的影像(毛细血管、中央凹)或者视网膜反射光的强度进行眼动追踪。硬件包括不可见红外光源、光敏传感器、mems微机械系统反射镜、光学导光元件(例如光波导镜片)。

3)另一种眼动追踪技术实施例为通过发射结构光对眼睛创建模型，计算眼睛模型的视觉中心进行眼动追踪。结构光红外图案投影器将一定数量的不可见的光点投影到被测物体上，再根据红外相机接收到的反射光点，就可以计算得到人眼深度图。rgb摄像头拍摄的2d人脸结合计算的深度人眼信息，经过算法处理就可以绘制出精确细致的3d目标物体。

4)另一种眼动追踪技术实施例为通过接收眼睛角膜的反射光线，计算角膜中心反射光的强度最大的时刻来进行眼动追踪。硬件包括不可见红外光源、光敏传感器、mems微机械系统反射镜、光波导镜片，光波导镜片可以配置为靠近眼睛的一层或多层光波导进行眼睛图像的获取和传导，波导中的输入衍射耦合器将眼睛图像耦合，眼睛图像光线在光波导中传导，同时图像传感器配置在光波导输出衍射耦合器的光线出射端。

5)附加地或替代地，用于跟踪眼睛运动的设备可以被包含在隐形眼镜内或与隐形眼镜结合操作。此外，该装置可以植入眼睛，眼窝内，或附着在视神经和/或肌肉上以跟踪运动。

作为附加示例，该眼动追踪设备可以被嵌入在智能电话，平板电脑，计算机，智能手表或任何其他远程对象或位置中，包括计算机，显示器，汽车仪表板，标牌或其他人佩戴的可穿戴设备。在这些情况下，与头戴式可穿戴设备相比，眼睛的成像通常在距眼睛更大的距离处进行。当用户在设备的大致方向上看时，一个或多个照相机或感测设备用于从这样的距离监视眼睛的运动。

mr设备100可以包括位置子系统150，该位置子系统150被布置为提供mr设备100的位置。位置子系统150可以被布置为基于从导航卫星系统接收的信号来确定当前位置，例如但不限于gps(美国)，glonass(俄罗斯)，galileo(欧洲)和cnss(中国)，以及增强此类信号的技术，例如但不限于增强gps(a-gps)。位置子系统150可以被布置为基于标识发射设备的射频(rf)信号和为这种设备确定的位置来确定位置。举例来说，wi-fi，蓝牙，zigbee，rfid，nfc和蜂窝通信包括可用于位置确定的设备标识符。mr设备100可以被布置为使用由位置子系统150提供的位置作为近似位置，其基于由其他传感器收集的数据而被完善。mr设备100可以包括音频硬件，音频硬件包括被布置为检测声音的一个或多个麦克风170，诸如来自mr设备100的用户的口头命令，和/或被布置为将声音输出到扬声器的一个或多个扬声器180。用户，例如口头查询，回复，说明和/或信息。

mr设备100可以包括一个或多个运动传感器160，其被布置为测量和报告mr设备100的运动作为运动数据。在一些实施方式中，运动传感器160可以包括惯性测量单元(imu)，惯性测量单元(imu)包括加速度计(例如3轴陀螺仪)，陀螺仪(例如3轴陀螺仪)和/或磁力计(例如3轴磁力计)。mr设备100可以被布置为使用该运动数据来确定mr设备100的位置和/或取向的改变，和/或相对于mr设备100的场景中的物体的位置和/或取向的各自的改变。面对式图像传感器130，图像传感器144，位置子系统150中包含的传感器，运动传感器160和麦克风170，这些传感器包含在或耦合到头戴式mr设备中100，可以单独或共同作为头戴式传感器使用。通过这种头戴式传感器收集的数据反映了用户头部的位置和方向。

mr设备100还包括控制器110，该控制器110包括逻辑系统112，数据保持系统114和通信系统116。逻辑子系统112可以包括例如被配置为执行指令并进行通信的一个或多个处理器。图2至图4中所示的mr装置100的其他元件具有相同的结构。图2至图4根据这样的指令来实现涉及mr设备100的本发明的各个方面。这些方面包括但不限于配置和控制设备，处理传感器输入，与其他计算机系统通信和/或显示虚拟设备。数据保存子系统114包括一个或多个存储设备(例如但不限于dram设备)和/或一个或多个存储设备(例如但不限于以下对象)。闪存设备)。数据保存子系统114包括其上存储有可由逻辑子系统112执行的指令的一种或多种介质，其使逻辑子系统112实现涉及mr设备100的本发明的各个方面。这样的指令可以被包括为一部分。操作系统，应用程序或其他可执行程序。通信子系统116被布置为允许mr设备100与其他计算机系统通信。这样的通信可以经由例如wi-fi，蜂窝数据通信和/或蓝牙来执行。这些指令使逻辑子系统112实现涉及mr设备100的本发明的各个方面。这样的指令可以被包括为操作系统，应用程序或其他可执行程序的一部分。

生物特征传感器190包括一个或多个生物特征传感器(例如，用于测量皮肤电反应的皮肤电反应传感器，心率监测器，用于测量皮肤表面温度的皮肤温度传感器)。用于测量大脑电活动的脑电图(eeg)设备，用于测量心脏电活动的心电图(ecg或ekg)设备)，麦克风(例如，麦克风108)或其他用于测量语音音量，语速等的声音传感器，光传感器，光学扫描仪等。

缓冲器195可以被配置为记录视频/音频以支持情绪/认知状态触发的视频记录。

另外，输入/输出设备748可以包括一个或多个输入接口，其可以包括键盘，小键盘，鼠标，麦克风，触摸传感器，触摸屏，操纵杆，控制按钮，滚动按钮，照相机，神经接口或任何其他合适的设备。以产生定义用户与电子设备706的交互的信号和/或数据。作为示例而非限制，输入/输出设备748可以包括显示器(例如，全息显示器，平视显示器，保护器，触摸屏屏幕，液晶显示器(lcd)等)，扬声器，触觉界面等。

将会理解，mr设备100是作为示例提供的，因此并不意味着是限制性的。因此，应当理解，在不脱离本发明的范围的情况下，mr设备100可以包括除了所示的传感器，照相机，麦克风，输入设备，输出设备等之外的附加和/或替代的传感器，照相机，麦克风，输入设备，输出设备等。此外，在不脱离本发明的范围的情况下，mr设备及其各种传感器和子组件的物理配置可以采取各种不同的形式。

方法一：推送消息，没有针对性，只要用户不讨厌，用户被动接收内容。用户可能没有注意到现实生活中某些物体，然而ar眼镜对现实世界物体的识别，分析预测用户可能感兴趣的内容，实际上是会过滤掉一部分用户不感兴趣的信息，将用户可能感兴趣的内容提示给用户。相当于用户被动的接收信息，并不是用户在主动想了解的情况下推送给用户。同时过滤掉用户不喜欢的信息而不是仅仅之推送用户喜欢的信息。

s101:识别场景：通过mr眼镜卫星定位系统确认用户当前场景，再通过用户日常作息习惯这两个方面判断当前时刻是否适合启动广告推荐程序；

s102：识别用户当前运动状态：通过mr眼镜的加速度传感器、陀螺仪、imu判断用户当前的运动状态是否适合弹出内容信息；

s103：物体检测：利用mr眼镜的本地算力运行对象检测器对前置摄像头拍到的物理世界图像数据进行ai对象识别。

s104：空间环境识别：空间分析模块根据“s103的多个物体检测结果”分析用户当前物理环境。

s105：显示筛选内容：同时ai识别技术识别并框选图像中多个物体，将图中每个物体属性/标签与用户个人兴趣库标签匹配，筛选出用户不喜欢的物体图像信息。

s106:呈现信息提示：将s104信息筛选后的“内容提示通知”以全息影像的形式被mr眼镜光学显示器渲染呈现。

s107:与s106同时进行的，mr眼镜将s104框选的物体图像(局部图像)从大图像中截取出来，上传至云端服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，

s108：mr眼镜等待用户对“内容提示通知”的交互行为，同时mr眼镜下载服务器内容数据至缓存。如果接收到用户的交互指令，则进一步呈现服务器传回的内容信息。如果未接收到用户的交互指令，则当“内容提示通知”离开用户视野画面后一段时间自动消失，清空缓存信息。

s109：当接收到用户的交互指令后呈现内容信息，其中内容信息包括文字、图片、音频、视频、应用程序，也可以为用户自主预先编辑对应关系。

s101:识别场景：“通过mr眼镜定位系统确认用户当前场景”具体为：通过mr智能眼镜定位技术包括但不限于gps/北斗卫星和wifi模块、通信信号基站获得定位位置信息，如果是在购物大卖场，商业街，娱乐等具有消费行为的场所，则可以启动广告推荐系统。

进一步，所述“再通过用户日常作息习惯判断当前时刻是否适合弹出内容信息”具体为，系统调用当前时间与用户作息规律数据匹配判断是否可以启动广告推荐系统。例如，用户在上午9点-11点为工作时间，通常情况下在这段时间推送消息会使用户感到厌烦；例如，通过上述的定位技术与时间规律共同判断用户上午9点-11点正在公司办公室，在当前场景下开启前置摄像头获取周围环境信息，不仅用户不会被办公室环境中物体识别推送的广告吸引(广告转化率低)，而且还存在对他人的隐私安全风险。反之，如果用户处于下午6点-7点的下班回家路上，位置在公交车站等车，此时推送广告信息回去得更好的效果。

其中隐私安全风险具体为，在当前现有mr/ar/vr智能眼镜的广告/内容的推荐技术中都需要前置摄像头获取并分析用户当前周围环境，进而推送与场景相关的广告内容，在这个技术环节中需要无时无刻启动前置摄像头，其中无时无刻记录数据的摄像头会在不经意间侵害其他人的隐私，隐私问题在未来会成为“ar广告推荐系统”商业化的头号敌人。不仅如此始终启动摄像头对mr眼镜的电池续航能力也带来不小的挑战，降低mr眼镜整体体验。

特别的，在另一种实施例中，mr眼镜检测时间，在用户通常可能娱乐的时间唤醒定位系统确认场景。该方法可以进一步节省功耗，使用户获得更好的体验。

s102：识别用户当前运动状态：通过mr眼镜的加速度传感器、陀螺仪、imu判断用户当前的运动状态是否适合弹出/推送内容信息；

具体为采集加速度传感器数掘以及陀螺仪传感器数据。其中，加速度传感器数据以及陀螺仪传感器数据分别包括x轴、y轴和z轴三个子维度的数据，因此采集的待识别数据对应为6维数据。

加速度传感器以及陀螺仪传感器可以设置于智能电子设备中，智能电子设备例如可以为智能mr眼镜。待识别数据可以为通过加速度传感器以及陀螺仪传感器获取的传感器数据。加速度传感器和陀螺仪传感器能够记录该智能mr眼镜被使用过程中的各种数据。

例如，当用户在与人对话时，这显然不是一个推送广告的好时机，推送的广告会过分吸引用户的注意力，不可能会造成用户厌烦情绪。或者由于用户将注意力集中在对方身上，无暇关注广告信息，这也会使得广告推送的转化率降低。

例如，当用户正处于奔跑状态下，通常现有的mr眼镜的光学显示系统在如此高频率、大晃动的佩戴状态下，mr眼镜无法有效的呈现虚拟的全息影像，会出现“彩虹式”影像色散情况，在当前情况下呈现任何全息内容都是不理想。更何况人在匆忙的奔跑状态下可能会忽略任何与目标没有关系的信息。因此在奔跑状态下不适合弹出/推送内容信息。

例如，当用户处于电梯的运行状态中，通过mr眼镜的加速度传感器可以检测到电梯的加速运动、匀速运动、减速运动的这些反反复复的运动特征时，是可以判断用户处于电梯中的。可想而知，在电梯中推送/弹出消息时较好的场景，转化率高。

用户使用的mr眼镜的加速度传感器数据和陀螺仪传感器数据可以分布杂乱，且传感器数据比较大。例如图5至图7示出了休息状态、说话状态、跑步状态下的头动追踪传感器信号图表；

s103：物体检测：利用mr眼镜的本地算力运行对象检测器对前置摄像头拍到的物理世界图像数据进行ai对象识别，同时ai识别技术识别并框选图像中多个物体具体为，利用mr眼镜终端的本地处理器运行预先训练好的特征数据库识别图像中兴趣物体，其中mr眼镜的前置摄像头拍到的图像被配置为与用户眼睛所看到的物理世界影像画面一致(相机视场角与人眼视场角一致，已经被校准过)。在对象检测后，根据图像识别和图像分割结果在对象外围设置边界框图。

其中，前置摄像头拍到的物理世界图像数据(诸如视觉图像数据和/或深度图像数据)已经经过了一定的预处理程序，预处理例如执行图像数据的过滤，校正或其他预处理。在一些示例中，图像预处理器可以基于视觉和/或深度图像数据将图像数据分割成区域。

进一步，通过mr眼镜100的对象检测器真实世界图像中的对象进行ai识别和分类，并确定由mr设备100观察到的场景中的真实世界的对象的位置和/或姿势。在某些真实世界中不识别视觉标签(例如，qr码或条形码)或其他标记，以标记或附加到真实对象上。对象分类器被配置为从mr设备100接收图像数据并且使用已训练好的一个或多个模型数据识别出现在所提供的图像数据中的真实世界对象。对象分类系统被配置为使用机器学习和推理技术来基于图像数据识别和/或分类真实世界的对象。

进一步，系统可以利用各种已知的计算机对象识别技术来识别现实世界场景的图像中的对象。在一些实施例中，对象识别可以使用基于外观的方法，该方法将图像与已知对象的参考图像进行比较以识别对象。基于外观的方法的示例包括边缘匹配，灰度匹配，接收场响应的直方图等。在一些实施例中，对象识别可以使用依赖于匹配对象特征和图像特征的基于特征的方法。基于特征的方法的示例包括姿势聚类，几何哈希，尺度不变特征变换，解释树等。系统可以结合使用一种或多种对象识别方法以增强对象识别的准确性。

其中，所述“一个或多个对象检测/分类模型222”可以各自指定用于机器学习算法(例如，卷积神经网络(cnn))，一个或多个决策树的参数(例如，权重值)或随机森林，经过培训可以检测和/或分类提供给机器学习算法的图像数据中捕获的现实世界对象。

s104：空间环境识别：空间分析模块根据“s103的多个物体检测结果”分析用户当前物理环境，根据环境更进一步确认s101识别的环境和隐私安全，具体为，

空间分析模块被配置为识别/分类和确定由mr设备100观察到的物理空间的边界，例如但不限于图4中示出的物理空间200。空间分析模块被配置为使用对象检测器的ai对象识别结果与“场景特征库”进行比对，从而分析出用户当前环境是否为隐私安全风险区。在“场景特征库”中每一个或几种物体组合都对应着环境场景。例如当对象检测器在前置摄像头获取的图像中识别出冰箱，微波炉和水槽等物体，则根据权重算法判断用户当前环境为厨房；如果图像数据识别出“床”，则用户当前环境可能在卧室；如果图像数据识别办公桌和书柜、办公电脑，则用户当前环境可能在办公室；如果图像数据识别出马桶、便池，则用户当前环境可能在卫生间。除此之外还可以通过一个或多个特征物体识别出商场、餐厅、加油站、试衣间等场所。如果用户当前环境是隐私安全高风险区则系统关闭摄像头或禁止摄像头记录照片/视频等图像数据，如果用户当前环境是隐私安全低/无风险区则持续启动摄像头，并启动内容推荐系统。

在本步骤设计中，目的不在于识别用户当前场景，而是通过视觉识别技术判断用户当前环境是否存在隐私安全隐患。例如，通过对特征物体的识别判断出当前物理环境为“卫生间”或“办公室”、“试衣间”，则这是隐私安全高风险地区，则不宜实时开启摄像头或禁止摄像头记录照片/视频等图像数据。

本步骤的另一目的还在于对步骤s101通过定位技术识别的环境进行二次确认，原因在于现有的位置定位技术在室内可能会失灵。例如，通过卫星/基站等定位技术可以确定某用户正在某餐厅内，但是无法进一步确认用户在餐厅内部的位置，用户可能在大堂、可能在包间、卫生间、厨房等，这不仅是因为在室内用与定位的信号会被遮蔽，而且微信地图中没有如此详细室内平面图。因此需要对环境进一步确认，排除隐私敏感区。

s105：显示内容筛选：根据对象识别和分类结果接收实体店商家预设推广的广告信息，将图中每个物体属性/标签与用户个人信息匹配，筛选出用户不喜欢/不需要的物体图像信息，或者筛选掉不适合当前用户情绪内容。

例如，假如当前用户为一名单身男性用户正佩戴mr眼镜赶往商业街(如万达广场)与朋友聚会，在途径商业街的过程中可能会遇到例如但不限于女士服装、女鞋、女包、金银首饰、男/女化妆品、无人机体验店(大疆无人机)、品牌手机体验店(华为手机)、儿童娱乐区、运动品牌(耐克、阿迪)、餐厅(川菜、烧烤、日料、西餐)、电影院等各种实体商铺，在确认没有隐私风险的前提下，mr眼镜的相机可能会拍摄并识别这些场景，这些实体店可能设施相应的广告信息，但是在没有内容筛选系统的情况下，用户会通过mr眼镜看到满屏幕全息广告信息，这不仅容易使用户产生厌烦情绪和较差的用户体验，而且广告的转化率也会很低，过度吸引用户注意力也会造成用户对内容的弹出产生吸引疲劳。

对比的，根据本步骤发明，在mr眼镜对物体识别/分类后，根据物体特征与用户个人信息匹配，进而过滤掉一部分信息再进行显示。例如，根据个人信息上述女士服装、女鞋、女包、金银首饰、女化妆品、儿童娱乐区相关的广告信息不适合推送给一名单身男性，相反的无人机体验店(大疆无人机)、品牌手机体验店(华为手机)、运动品牌(耐克、阿迪、户外)可以更好的引起这名男性用户的注意。在另一示例中，该男性用户可能喜欢化妆，比如历史记录中购买过男性化妆品/护肤品，则系统允许男性相关的男性化妆品/护肤品广告提示弹出。其中所述个人信息包括但不限于个人兴趣库、兴趣标签、用户画像、历史眼动注视点兴趣库、用户姓名、个人资料图片、联系信息、出生日期、性别、婚姻状况、家庭状况、工作、教育背景、视觉偏好、兴趣或其他人口统计信息。

s106:呈现信息提示：将s104信息筛选后的“内容提示通知”以全息影像的形式被mr眼镜光学显示器渲染呈现。

系统在目标物体位置呈现提示通知，该通知可以是以下各项中的一项或多项：弹出通知，声音通知，振动，基于对象的内容共享用户界面中的通知文本或图标，社交媒体服务中的通知消息，文本消息一旦添加了新的内容项，系统就会使用户的设备发出声音或振动。在一些实施例中，用户可以单独配置通知的类型以接收与用户相关联的每个对象和/或对象类别。在一些实施例中，用户可以单独配置是否接收与用户相关联的每个对象和/或对象类别的通知。用户可以配置要接收的通知类型。

在另外一种实施例中，还可以使用“通知模块”对目标物体位置呈现提示通知，该通知模块使mr眼镜系统的os可以将物体识别结果与应用程序匹配，再将通知与已在os中注册的应用程序对象进行匹配，从而将对象标识为通知的目标。os可以通过例如将通知有效负载中包含的上下文标识符(id)与系统中注册的所有对象的上下文id进行比较，并找到具有匹配上下文id的对象来执行此步骤。在将对象标识为通知的目标后，操作系统可以调用与对象的应用程序(或与图像中物体)关联的特殊通知处理程序，但与应用程序的主过程分开。例如，此通知处理程序可以是与应用程序的主要可执行文件不同的可执行文件。然后，通知处理程序可以执行代码(例如，由应用程序开发人员定义)，以在系统ui中(例如，与对象并排，在对象之上等)相对于对象在上下文中处理和呈现通知。。

s107:选中信息筛选后的对象，将s103物体检测后框选的局部图像从大图像中截取出来，上传至云端广告服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，检索结果回传至终端mr眼镜。其中内容信息包括文字、图片、音频、视频、应用程序。

进一步，在云端服务器根据终端mr眼镜传回的位置信息、场景信息、局部图像(目标对象)进行检索，检索数据库中是否有与目标物体对应的广告信息。所述云端服务器被配置为一种可以接收/收集实体店商家广告投放需求的广告投放平台，商家可以在广告投放平台上设置介绍内容、优惠卷、打折信息等任何广告内容，甚至可以链接商家的自有小程序(如订餐小程序)等。

例如，当用户正处于某商业街，慢步途径某火锅店，此时mr眼镜将商业街的位置信息上传服务器检索该商业街内的投放广告的商户。在途径火锅店的过程中mr眼镜获取了该火锅店牌匾logo和门面装修样式的局部图像上传至服务器确定具体该广告商的广告投放内容。广告投放内容将被回传至mr眼镜终端。

s108：mr眼镜下载服务器内容数据至储存器，将简易广告内容信息以全息影像的形式被mr眼镜光学显示器渲染呈现。在展示简易内容的ui界面上可设置获取更进一步信息的按钮指令，如果接收到用户的交互指令，则进一步呈现服务器传回的内容信息。如果未接收到用户的交互指令，则当“内容提示通知”离开用户视野画面后一段时间自动消失，清空缓存信息。

首先系统基于环境地图中的相关物理对象的位置来确定要显示全息内容的方向和三维位置。例如，某全息内容(或程序界面)在物理对象-椅子上显示时，环境地图中椅子的表面或附近的位置被确定为该全息内容显示的三维位置。从环境地图生成单元110获取的成像装置的位置和姿势，然后将确定的三维位置转化为光学成像屏幕上的平面位置和全息内容深度，计算出的输入图像中的位置处来生成输出图像显示在mr眼镜的光学显示器商。

如果用户移动使得用户对物理对象的视角改变，则电子设备可以检测到用户的移动并且调整用户对资产的视图以与用户的移动相对应。可以通过传感器160或通过分析由照相机130捕获的图像来检测用户的移动。在一个实施例中，可以使用同时定位和映射(slam)技术来调整用户对资产的看法。例如，在slam中，通过连续的摄像机帧跟踪一组点。使用这些轨迹，可以对点的3d位置进行三角剖分，同时使用估计的点位置来计算观察点的相机姿态。使用3d位置和相机姿势，还可以调整用户的资产视图。

所述用户的交互指令具体包括：眼动交互、手势识别交互、外设控制器、有声/无声语音识别、头动交互。

(1)mr眼镜的眼动追踪装置捕获眼睛运动数据，检测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、眼跳轨迹以及注视时长等，当注视时长超过一定时长，则视为对某一位置进行了对应眼球的行为动作，例如对交互界面中的望远模式的ui按钮做出了凝视对应点击操作(眼睛行为动作)的动作，即显示内容信息。

(2)mr眼镜的手势识别模块检测手部做出特定的动作，例如手势识别装置接收到用户手部的运动信息，或识别手部特定的形状，与上、下、左、右滑动、放大、缩小、点击以及关闭等控制选项相关联，进而即显示内容信息。

(3)通过操控设备的含有无线信号传输的移动控制器(3自由度或6自由度)，例如握持按键式控制器、穿戴式手套以及指套控制器等，向mr眼镜发射控制信号，通过操作交互界面，点击ui按钮进入望远模式，其中包括6dof加速度传感器追踪技术和6dof电磁追踪技术手柄。

(4)通过mr眼镜的有声或无声语音识别装置接收用户发出的有声或无声语音，并通过系统解析用户的语音指令，控制设备显示内容信息。

(5)通过头动追踪装置选择交互界面的按钮，例如通过在mr眼镜的的加速度传感器、陀螺仪、磁力计计算用户头部的运动，在mr眼睛视野中央设置一个与头部相对位置固定的光标，移动头部控制光标选择位置与全息ui界面进行点击确认，即显示内容信息。

s109：当接收到用户的交互指令后呈现内容信息，其中内容信息包括文字、图片、音频、视频、应用程序，也可以为用户自主预先编辑对应关系。

方法二：推送消息，有针对性，通过识别用户生物信息判断是否对当前物体感兴趣，然后系统推送该内容信息，用户被动接收内容。

s211:识别场景：通过mr眼镜卫星定位系统确认用户当前场景，再通过用户日常作息习惯判断当前时刻是否适合弹出内容信息；

s212：识别用户当前运动状态：通过mr眼镜的加速度传感器、陀螺仪、imu判断用户当前的运动状态是否适合弹出内容信息；

s213：物体检测：利用mr眼镜的本地算力运行对象检测器对前置摄像头拍到的物理世界图像数据进行ai对象识别，同时ai识别技术识别并框选图像中多个物体。

s204：空间环境识别：空间分析模块根据“s213的多个物体检测结果”分析用户当前物理环境，根据环境更进一步确认s101识别的环境和隐私安全。

s215:循环录制缓存：mr眼镜前置摄像头循环录制一段时间内的视频、照片、音频，缓存在mr眼镜本地存储器中。

s216:检测用户当前生物信息，包括眼动行为数据、脑电数据、心跳、血压、呼吸频率，判断用户是否可能对当前影像感兴趣。

s217：调取并分析用户“感兴趣生物指标”时间前后的缓存图像/视频/音频，ai识别技术识别图像/视频中物体或事件，及识别图像显著性，同时并框选图像物体。

s218:mr眼镜将s213物体检测后框选的局部图像从大图像中截取出来，上传至云端广告服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，检索结果回传至终端mr眼镜。其中内容信息包括文字、图片、音频、视频、应用程序。同时对目标物体或事件位置坐标出呈现“内容提示通知”,以全息影像的形式被mr眼镜光学显示器渲染呈现。

s219:mr眼镜等待用户对“内容提示通知”的交互行为，同时mr眼镜下载服务器内容数据至缓存。如果接收到用户的交互指令，则进一步呈现服务器传回的内容信息。如果未接收到用户的交互指令，则当“内容提示通知”离开用户视野画面后一段时间自动消失，清空缓存信息。

s220:当接收到用户的交互指令后呈现内容信息。

具体实施：

对比于实施例一，不同点在于s215-s217,其他步骤与实施例一相同，因此不做赘述。

本发明实施例一中s215-s217设计原因，目前国内外公开的一些发明专利中，通过采集并分析用户的生理数据来判断用户对当前视觉前方事物的感兴趣程度，进而根据兴趣程度向用户呈现与该事物相关的内容信息。但是往往上述的方法是不准确的。原因在于当人类看到视觉前方感兴趣/厌恶的事物或事件时，可能会引起生物反应(例如心跳加速、皮肤温度变化、脑电图变化等)，但是所述的生物反应是滞后的，兴趣事件转瞬即逝，有可能当mr眼镜判断用户对某事物感兴趣，然后开启前置摄像头获取兴趣物图像用于识别分析时，兴趣物体已经走远或消失，可想而知，只是摄像头获得的原有位置上兴趣物体局部图像是无效的，并且不存在第二次重新开始的机会。例如，某佩戴mr眼镜的用户正在街上行走，突然一辆设计新型的智能汽车在眼前不远处驶过，此时用户眼睛追视该汽车，瞳孔微张，心跳加速，但正当mr眼睛启动摄像头并识别该汽车时，该汽车已经开远了，mr眼镜已经无法获取有效的汽车图像了。

为了解决上述技术缺陷：mr眼镜前置摄像头循环录制一段时间内的视频、照片、音频，缓存在mr眼镜本地存储器中。当检测到用户生物数据达到阈值时，调取并分析用户“感兴趣生物指标”时间前后的缓存图像/视频/音频，ai识别技术识别图像/视频中物体或事件，及识别图像显著性，同时并框选图像物体。

mr眼镜将视频连续记录到缓冲器。可以使用任何数量的各种类型的传感器来确定用户的情绪或认知状态。在检测到特定的情感或认知状态时，或者在检测到超出阈值的情感或认知状态的程度时，提取缓冲区中与该时刻有意义相对应的视频片段内容进行图像识别。

s215:循环录制缓存：mr眼镜前置摄像头循环录制一段时间内的视频、照片、音频，缓存在mr眼镜本地存储器中。具体为将视频/音频记录到缓冲器。例如，当视频/音频数据被摄像头106和麦克风108捕获时，情绪/认知状态触发的记录系统102将视频/音频数据写入缓冲器202。所述缓冲器202可以被实现为循环缓冲器，诸如缓冲器202循环存储最近一段时间内的数据，可以手动设置缓冲器的储存容量，当容量满了之后循环删除最早时间的视频，写入新的视频数据。

s216:检测用户当前生物信息，包括眼动行为数据、脑电数据、心跳、血压、呼吸频率，判断用户是否可能对当前影像感兴趣。具体为检测并接收传感器数据。例如，传感器数据分析模块204从一个或多个感测装置接收数据。所述传感器数据可以包括但不限于皮肤电反应的数据，皮肤温度的数据，皮肤电的数据，脑电波的活动，心脏的电活动的数据，眼睛运动的数据，面部表情的数据，瞳孔扩张和/或收缩的数据，语音量的数据或指示语速的数据。

s217：接收并分析用户的情绪/认知状态时间前后的缓存图像/视频/音频，ai识别技术识别图像/视频中物体或事件，及识别图像显著性，同时并框选图像物体。

具体为分析所接收的传感器数据以确定用户的情绪/认知状态是否达到。例如，传感器数据分析模块基于接收到的传感器数据确定用户的情绪/认知状态。例如，传感器数据分析模块可以利用深度神经网络来分析接收到的传感器数据以确定用户的情绪或认知状态。然后系统根据激活的情绪或认知状态对时间轴进行标记，根据时间标记获取这一时刻前后的缓存图像/视频/音频。进而ai识别技术识别图像/视频中物体或事件，及识别图像显著性，同时并框选图像物体，其中物体检测过程如实施例一中物体检测s103技术所述。情绪状态可以包括但不限于幸福，悲伤，愤怒，恐惧，失望或骄傲。类似地，认知状态可以包括但不限于专注，参与，分心，无聊，困倦，困惑或沮丧。

进一步，所述检测图像中物体的显著性，具体为可以通过任何图像分析算法的来检测图像，包括但不限于以下显著性检测方法；

1.检测物体在图像中的位置，越靠近中心越显著；

2.检测图像中色彩对比度较高的区域；

3.检测视频中动态物体检测，并计算物体的移动速度；

4.检测物体移动的方向，是由远到近，还是由近到远；

5.计算目标物体在整幅画面中的占比；

上述的显著性检测方式可以任意一种，或任意几个以一定的权重组合共同判断显著性。

进一步，所述检测图像中物体的显著性的另外一种实施例中，具体为可以通过预先训练好的显着性预测模型预测前置摄像头拍摄的影像中的物体显著性。

用于分析用户观看活动的各种方法来确定(或预测)给定视频中的用户特定的兴趣点。例如，在一些实施例中，可以使用由用户观看的内容项和各个用户特定的热图数据来训练用户特定的显着性模型。如所提及的，在一些实施例中，热图数据可以逐帧地识别给定内容项中用户感兴趣的区域。如上所述，可以基于用户在呈现期间与内容项的交互(例如，传感器数据，手势数据，输入设备数据，耳机运动数据，眼睛跟踪数据等)来确定该热图数据。在某些实施例中，用户特定模型可用于预测用户可能会在用户访问的其他内容项中关注哪些兴趣点。

在一些实施例中，在前置摄像头的实时画面中提取一个或多个帧以创建附加内容。例如，可以从内容项目中提取已确定为感兴趣的一部分内容(例如，一个或多个帧)，例如，作为一个或多个图像或短视频。在一些实施例中，可以基于内容项的呈现期间的用户交互来识别有趣内容的这些部分。仅举一些例子，可以使用传感器数据，手势数据，输入设备数据，耳机运动数据，眼睛跟踪数据来测量这种用户交互。可以生成一个或多个显着性预测模型。例如，在一些实施例中，如上所述，可以使用聚合热图来训练一般显着性预测模型，该聚合热图描述了针对各种内容项目的用户视图跟踪数据。在一些实施例中，该显着性预测模型可以用于预测在内容项的呈现期间用户可能感兴趣的内容(例如，兴趣点)。

进一步，还可以通过相关图像算法检测前置摄像头画面中的环境人物的动作、姿态、表情，例如但不限于场景中某人对本智能眼镜使用者挥手、喊叫、微笑、跳跃、投递(递烟)等，可以判断该环境人物可能是潜在将被本用户关注的目标对象。

图8示出了方法二中的视频缓存系统的示意图，情绪/认知状态触发记录系统102的选择组件，其可以在单个设备上实现或者可以分布在多个设备上，例如hmd设备112，手机116和计算设备118。示例性情绪/认知状态触发的记录系统102包括缓冲区202，传感器数据分析模块204，记录模块206，凝视检测模块208和视频段存储区210。

缓冲器202被配置为当从摄像机106和麦克风108接收到视频和音频数据时存储视频和音频数据。在示例中，缓冲器202被实现为五分钟环形缓冲器。

传感器数据分析模块204从感测设备104接收传感器数据，并且分析所接收的传感器数据以确定用户的情绪或认知状态。在示例实施方式中，所接收的传感器数据指示情绪或认知状态。在替代实施方式中，使用例如深度神经网络(dnn)来分析传感器数据以确定用户的情绪或认知状态。传感器数据分析模块204提供指示用户的情绪或认知状态的可用数据。

记录模块206基于指示用户的情绪或认知状态的数据来确定是否记录视频片段。在示例中，记录模块206可以被配置为基于用户的情绪或认知状态的改变来开始记录视频片段。例如，记录模块206可以被配置为在用户的情绪或认知状态从中立状态变为非中立状态时开始记录视频片段。在另一个示例中，记录模块206可以被配置为在表示用户的情绪或认知状态的值超过阈值时开始记录视频片段。

记录模块206还确定何时停止记录特定视频片段。例如，记录模块206可以基于预定义的时间段，用户的情绪或认知状态的变化或两者的组合来记录视频片段。例如，当记录模块206开始记录视频片段时，记录模块206可以使记录继续预定时间段(例如10分钟)。可替代地，记录模块206可以使记录继续，直到传感器数据指示用户的情绪或认知状态已经改变或已经下降到阈值以下为止。在另一个示例中，预定义的时间段可以指示要记录的视频片段的最小或最大长度。在这个例子中如果预定义的时间段指示最小记录时间，则记录模块206可以使视频片段被记录，直到满足预定义的时间段或直到用户的情绪或认知状态改变为止，以稍后发生的为准。如果预定时间段指示最大记录时间，则记录模块206可以使视频片段被记录，直到满足预定时间段或直到用户的情绪或认知状态改变为止，以先到者为准。

注视检测模块208跟踪用户的注视以确定用户注视的方向。凝视检测模块208可以被配置为生成例如视频叠加，该视频叠加包括关于在捕获视频时用户的凝视方向的彩色的点，突出显示或其他可视指示符。

视频片段存储210被配置为存储基于用户的情绪或认知状态记录的视频片段。例如，当记录模块206启动记录时，将存储在缓冲器202中的视频和音频数据复制到新的视频段，该新的视频段存储在视频段存储器210中。此外，记录模块206将附加的视频和音频数据定向为如上所述将其记录到视频片段。在示例实施方式中，视频片段存储210还存储与视频片段相关联的元数据，其可以包括但不限于触发记录的用户的情绪或认知状态的指示符，用户的情绪的一个或多个指示符。或视频录制时的认知状态，以及用于提供视觉指示符。

方法三：推送消息，有针对性，通过识别用户肢体动作判断是否对当前物体感兴趣，然后系统推送该内容信息，用户被动接收内容。

s301:识别场景：通过mr眼镜卫星定位系统确认用户当前场景，再通过用户日常作息习惯判断当前时刻是否适合弹出内容信息；

s302：识别用户当前运动状态：通过mr眼镜的加速度传感器、陀螺仪、imu判断用户当前的运动状态是否适合弹出内容信息；

s303：隐私安全确认：利用mr眼镜的本地算力对前置摄像头拍到的图像进行ai识别，通过对环境中多个物体的属性分析用户当前场景，判断是场景中是否存在个人隐私安全隐患，如果没有则执行s104。

s304:循环录制缓存：mr眼镜前置摄像头循环录制一段时间内的视频、照片、音频，缓存在mr眼镜本地存储器中。

s305:检测用户当前身体动作，利用mr眼镜的加速度传感器、陀螺仪、imu、眼球追踪装置、手势识别装置等检测用户身体动作。

s306：调取并分析用户“感兴趣身体行为”时间前后的缓存图像/视频/音频，ai识别技术识别图像/视频中物体或事件。综合“用户身体动作”和“图像、视频、音频识别出事件”两个方面信息判断用户对事件的兴趣程度，若判断为感兴趣则执行第s307

s307:mr眼镜将s303物体检测后框选的局部图像从大图像中截取出来，上传至云端广告服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，检索结果回传至终端mr眼镜。其中内容信息包括文字、图片、音频、视频、应用程序。同时对目标物体或事件位置坐标出呈现“内容提示通知”,以全息影像的形式被mr眼镜光学显示器渲染呈现。

s308:mr眼镜等待用户对“内容提示通知”的交互行为，同时mr眼镜下载服务器内容数据至缓存。如果接收到用户的交互指令，则进一步呈现服务器传回的内容信息。如果未接收到用户的交互指令，则当“内容提示通知”离开用户视野画面后一段时间自动消失，清空缓存信息。

s309:当接收到用户的交互指令后呈现内容信息。

具体说明为

s305:检测用户当前身体动作，利用mr眼镜的加速度传感器、陀螺仪、imu、眼球追踪装置、手势识别装置等检测用户身体动作。

进一步，通过眼动追踪装置检测眼睛运动：扫视距离超过/等于预设阈值，和/或眼睛的平滑的移动行为持续时间超过/等于预设阈值，和/或眼睛的移动速度超过/等于预设阈值，和/或眼睛突然停止无序的运动，和/或眼睛对某一点的注视时长超过/等于预设阈值，和/或眼睛在两点/两范围之间往复运动，和/或眼颤行为，和/或眼睛瞳孔直径的变化超过/等于预设阈值，前庭眼运动，汇聚/扩散运动，平滑追视，长扫视和矫正扫视；在正常的日常活动中，可以跟踪眼睛进行自愿和非自愿活动的过程。这样的实施例的一方面是在用户的眼睛例行执行两种类型的运动时辨别用户的意图。这需要区分用于传达意图的自愿运动和非自愿眼动。

自愿运动可以与进行正常的日常活动相关，也可以用于根据眼部信号“语言”传达有目的的意图。因此，算法“过滤器”和/或其他编程方法用于基于一只或两只眼睛的视频图像来识别意图。可以将算法编码为软件，固件，嵌入在基于硅的逻辑设备中或这些方法的组合。处理也可以在本地，远程执行，也可以结合包括所谓的“云计算”在内的此类方法来执行。

可能传达有目的意图的自愿运动包括扫视，这些扫视具有明确定义的角速度和弹道轮廓(基于眼睛的生理学)，用于在距观察者不同距离处观察的散光运动，前庭眼运动与头部运动以及用于跟随特定(真实或虚拟)对象的平滑跟踪运动相关联。可以根据其他因素来确定用户意图的其他信息，例如瞳孔扩大，晶状体调节，眼睑运动，面部肌肉运动，身体和头部运动，手部运动以及相关的上下文信息。

在其他方面，跟踪的眼睛运动和几何形状可以用于以连续的方式辨别个体的生理和/或情绪状态。例如，瞳孔扩张的程度可以用于辨别诸如恐惧，兴趣或认知负荷的情绪状态。反扫视运动可能是观看令人讨厌的东西的指示。当与关于用户正在观看的真实或虚拟物体的信息结合时，可以辨别例如引起惊吓，吸引力或兴趣的物体类别的指示。这样的信息可以例如用于定制信息的后续显示。

进一步，通过头动追踪装置检测头部运动：在另外的方面，眼信号可以与其他模态组合以传达用户意图。例如，眼睛信号可以与自愿的头部运动(例如，头部点头)相结合，作为眼睛信号“语言”的组成部分。

检测用户转头过程中的速度、加速度、转动的角度，例如猛的一转头，平滑的转头。实际中例如，可以同时检测眼睛运动和头部运动，当用户a在用户b侧边叫用户的名字时，用户可能会把头快速转向用户a的方向，同时伴随眼睛长距离的眼跳，眼球转向用户a的方向，及当人的视野范围外出现感兴趣的物体/事件时，人会下意识的转动头和眼睛寻找目标物体。在另一实际施例中，一辆跑车从远处驶来，经过用户的面前，通过情况下人们会被跑车吸引，头和眼睛跟随着车子的移动而平滑移动。

非自愿的眼球运动通常与自愿的头部运动(即所谓的前庭眼运动)相关。因此，在与头部运动相反的方向上反身地发生的前庭眼运动可以在自愿的头部运动期间包括在眼睛信号控制中。可以与眼睛信号语言结合使用的其他形式包括手势，其他身体部位的动作，语音，开关激活，面部表情，

头部位置跟踪系统包括位置和运动传感器(例如，指南针，陀螺仪)，加速度计光源和/或其他用于获取mr眼镜的位置，方向和运动的设备通过检测面向外部的照相机中的整个场景的运动来检测。可以从头部位置跟踪系统接收头部位置信息。将头部位置信息提供给眼动交互意图预测模型的头部位置跟踪系统。在mr眼镜上共同形成一个惯性测量单元(imu)。头部位置信息可以帮助确定用户的头部运动，旋转或方向。

进一步，通过运动追踪装置检测身体运动：检测用户的躲闪、跳跃、颤抖等身体行为。在一定程度上mr眼睛的头动追踪装置可以代表运动追踪装置来检测身体运动，但是在另一实施例中，还可以通过智能手表、智能手环、具有空间定位的控制器手柄等任意的可穿戴智能硬件来检测身体运动。例如，当某件突发事件刺激到了用户，用户被吓得浑身一躲、浑身一跳、浑身一震，突发事件包括但不限于迎面驶来一辆车、迎面跑来一只狗、窗外一声巨响。可以检测用户在感兴趣的关键字等进入耳朵时停止工作并且以高精度将视线转向声音源的反应。通过这些身体行为，mr计算机可以判断用户兴趣程度。

例如身体动作包括但不限于转头、转身、突然停止走动、身子一震/身子一躲(下了一跳)、眼睛平滑追视、瞳孔直径变化、长距离眼跳、转头伴随眼跳等身体行为。通过上述身体行为判断用当前环境中存在兴趣事件。

对比实施例三，本实施例四通过识别用户一些身体的行为来判断视觉前方的物体兴趣程度，以此作为标记来同步缓存中视频，身体行为包括但不限于例如身体动作包括但不限于转头、转身、突然停止走动、身子一震/身子一躲(下了一跳)、眼睛平滑追视、瞳孔直径变化、长距离眼跳、转头伴随眼跳等身体行为区别于生物信息，生物信息包括但不限于脑电数据、心跳、血压、呼吸频率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。