一种用于人机交互的对象边界确定方法及设备与流程

本发明涉及人机交互技术领域，特别是一种用于人机交互的对象边界确定方法及设备。

背景技术：

伴随着信息技术的发展，众多现实技术不断发展，尤其增强现实技术已经广泛应用于娱乐、工程等方面，让现实世界中的人们能够近距离的解决一些虚拟事物，其中涉及到的技术有多媒体、三维建模、实时跟踪、智能交互、传感等多种技术手段。

人机交互是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。

现有技术中，通过投影仪投出用户操作界面时一般通过手工调整用户界面的位置、大小等，费事费力，且现有技术难以在非空白界面上投出用户操作界面，比如在，教科书中投出用户操作界面，且现有技术中，无法对操作界面中的显示内容进行自动识别进行初步定界，且现有的定界模式中，无法根据投影的内容进行自适应确定定界的方式，导致了人机交互效率低下，现有技术更不能根据定界物体的大小自适应调整投影仪与投影界面的距离，导致投影模糊，影响了用户体验。

技术实现要素：

本发明针对上述现有技术中的缺陷，提出了如下技术方案。

一种用于人机交互的对象边界确定方法，所述方法包括：

场景信息获取步骤，使用广角摄像头实时拍摄场景图像，并将拍摄的每一帧场景图像发送至计算板；

确定步骤，计算板基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围。

更进一步地，所述对象为用户操作界面或显示的内容。

更进一步地，所述对象为用户操作界面时，所述确定步骤包括：

所述计算板接收广角摄像头实时传输的每一帧场景图像，并对当前场景的物体分布利用mobilenet-ssd检测网络进行处理确定各物体的形状和物体相应的类别；

所述计算板基于所述场景图像和确定的物体形状计算出各物体在场景图像的空间中的位置，将各物体的位置和相应的类别合并后生成物体数据集；

所述计算板从物体数据集中读取位置信息，基于所述位置信息从所述场景图像中减去所有的物体分布信息得到空白区域信息，然后所述计算板将根据用户设置进行是否可以进行边界确定，如果是，则将可定界的区域位置信息进行计算以确定边界范围，并对所述边界范围进行存储；

所述计算板将存储的边界范围传输至投影单元，同时传输一个定界成功的信号，当所述投影单元收到定界成功的信号后从所述计算板中获取存储的当前用户的设置信息；

所述计算板确定是否在空白区域进行投影，如果是，则根据所述边界范围和所述设置信息确定投影区域，在所述投影区域投影出用户的操作界面；如果不是，则由用户选择出要投影的物体，然后所述计算板在所述物体数据集中读取所述物体的位置信息，基于所述物体的位置信息投影出所述用户的操作界面。

更进一步地，所述对象为用户操作界面时，所述方法还包括：

第一更新步骤，计算板以第一时间间隔对广角摄像头传输的场景图像进行处理后与之前的已确定边界的场景图像相比较，如果比较结果不一致，则重新进行边界确定。

更进一步地，所述对象为用户操作界面时，所述更新步骤包括：

所述计算板每隔一秒再次从所述广角摄像头中获取一帧场景图像，并使用所述mobilenet-ssd检测网络获取该帧场景图像中的所有物体的分布状态；

所述计算板获取当前投影单元的设置信息，并与所述物体的分布状态相比较，如果比较结果误差大于第一阈值，则不可进行边界确定，则将投影单元更新至不可定界的警告状态，并将所述计算板状态调整为实时判断是否可定界的状态；如果比较结果误差小于所述第一阈值，则将确定新的边界范围，并与之前存储的边界范围进行比较，如果比较结果小于第二阈值，不进行更新，否则，则将新的边界范围进行存储并传输至所述投影单元，所述投影单元根据新的边界范围，将投影区域进行相应的调整。

更进一步地，所述对象为显示的内容时，所述内容为显示在用户操作界面上的内容，所述确定步骤包括：

所述广角摄像头实时拍摄场景图像并以第二时间间隔传输至所述计算板，所述计算板将所述场景图像传输至云端服务器；所述云端服务器使用深度学习学习网络预测所述内容中文字的位置，并同时将包含所述文字的图片进行裁剪后得到第一子图片并进行存储；

所述云端服务器对所述第一子图片使用ctc算法进行文字内容的识别，识别后将所述文字和相应的位置生成内容数据集；

所述服务器将所述内容数据集传输至所述计算板，所述计算板将所述内容数据集中的位置的信息传输至所述投影单元；

所述投影单元投影出所述计算板得到的内容数据集，并由用户选择需要进行定界的内容。

更进一步地，所述投影单元投影出所述计算板得到的内容数据集并由用户选择需要进行定界的内容包括：

所述投影单元实时监听到所述计算板，当接收到所述计算板发送的识别出的文字及位置后在投影区域中对所述内容进行浅色的显示；

所述用户根据显示出的已识别内容进行选择，选择后会将在对应内容的位置处的边界进行明显化，表示已经选定了当前处的内容。

更进一步地，所述明显化为添加外框显示。

更进一步地，所述对象为显示的内容时，所述方法还包括：

第二更新步骤，所述计算板对用户已选择的内容进行深入识别，得到所述内容的具体信息后更新到所述投影单元并进行投影显示。

更进一步地，所述更新步骤包括：

当所述用户选择一个已经识别出的区域时，所述计算板获取用户的选择区域，并记录所选区域的位置；

所述计算板基于所选区域的位置将用户选择的区域裁剪为第二子图片，并使用智能识别api对所述第二子图片中的文字或者图片信息进行分析；

所述计算板将分析出的文字或者图片的具体信息和位置信息相结合得到所选区域的详细信息，并提取出所述详细信息中的有效部分进行规范化后得到规范数据传输至所述投影单元；

所述投影单元接收到来自所述计算板的规范数据后，在投影区中的用户操作区域进行更新相应的显示。

本发明还提出了一种用于人机交互的对象边界确定设备，所述设备包括：投影单元、广角摄像头和计算板；

所述广角摄像头实时拍摄场景图像，并将拍摄的每一帧场景图像发送至计算板；所述计算板接收到所述每一帧场景图像后基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围。

更进一步地，所述对象为用户操作界面或显示的内容。

更进一步地，所述对象为用户操作界面时，所述计算板接收到所述每一帧场景图像后基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围包括：

所述计算板接收广角摄像头实时传输的每一帧场景图像，并对当前场景的物体分布利用mobilenet-ssd检测网络进行处理确定各物体的形状和物体相应的类别；

所述计算板基于所述场景图像和确定的物体形状计算出各物体在场景图像的空间中的位置，将各物体的位置和相应的类别合并后生成物体数据集；

所述计算板从物体数据集中读取位置信息，基于所述位置信息从所述场景图像中减去所有的物体分布信息得到空白区域信息，然后所述计算板将根据用户设置进行是否可以进行边界确定，如果是，则将可定界的区域位置信息进行计算以确定边界范围，并对所述边界范围进行存储；

所述计算板将存储的边界范围传输至投影单元，同时传输一个定界成功的信号，当所述投影单元收到定界成功的信号后从所述计算板中获取存储的当前用户的设置信息；

所述计算板确定是否在空白区域进行投影，如果是，则根据所述边界范围和所述设置信息确定投影区域，在所述投影区域投影出用户的操作界面；如果不是，则由用户选择出要投影的物体，然后所述计算板在所述物体数据集中读取所述物体的位置信息，基于所述物体的位置信息投影出所述用户的操作界面。

更进一步地，所述对象为用户操作界面时，所述计算板以第一时间间隔对广角摄像头传输的场景图像进行处理后与之前的已确定边界的场景图像相比较，如果比较结果不一致，则重新进行边界确定。

更进一步地，所述对象为用户操作界面时，所述计算板以第一时间间隔对广角摄像头传输的场景图像进行处理后与之前的已确定边界的场景图像相比较，如果比较结果不一致，则重新进行边界确定包括：

所述计算板每隔一秒再次从所述广角摄像头中获取一帧场景图像，并使用所述mobilenet-ssd检测网络获取该帧场景图像中的所有物体的分布状态；

所述计算板获取当前投影单元的设置信息，并与所述物体的分布状态相比较，如果比较结果误差大于第一阈值，则不可进行边界确定，则将投影单元更新至不可定界的警告状态，并将所述计算板状态调整为实时判断是否可定界的状态；如果比较结果误差小于所述第一阈值，则将确定新的边界范围，并与之前存储的边界范围进行比较，如果比较结果小于第二阈值，不进行更新，否则，则将新的边界范围进行存储并传输至所述投影单元，所述投影单元根据新的边界范围，将投影区域进行相应的调整。

更进一步地，所述对象为显示的内容时，所述内容为显示在用户操作界面上的内容，所述计算板接收到所述每一帧场景图像后基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围包括：

所述广角摄像头实时拍摄场景图像并以第二时间间隔传输至所述计算板，所述计算板将所述场景图像传输至云端服务器；所述云端服务器使用深度学习学习网络预测所述内容中文字的位置，并同时将包含所述文字的图片进行裁剪后得到第一子图片并进行存储；

所述云端服务器对所述第一子图片使用ctc算法进行文字内容的识别，识别后将所述文字和相应的位置生成内容数据集；

所述服务器将所述内容数据集传输至所述计算板，所述计算板将所述内容数据集中的位置的信息传输至所述投影单元；

所述投影单元投影出所述计算板得到的内容数据集，并由用户选择需要进行定界的内容。

更进一步地，所述投影单元投影出所述计算板得到的内容数据集并由用户选择需要进行定界的内容包括：

所述投影单元实时监听到所述计算板，当接收到所述计算板发送的识别出的文字及位置后在投影区域中对所述内容进行浅色的显示；

所述用户根据显示出的已识别内容进行选择，选择后会将在对应内容的位置处的边界进行明显化，表示已经选定了当前处的内容。

更进一步地，所述明显化为添加外框显示。

更进一步地，所述对象为显示的内容时，所述计算板对用户已选择的内容进行深入识别，得到所述内容的具体信息后更新到所述投影单元并进行投影显示。

更进一步地，所述计算板对用户已选择的内容进行深入识别，得到所述内容的具体信息后更新到所述投影单元并进行投影显示包括：

当所述用户选择一个已经识别出的区域时，所述计算板获取用户的选择区域，并记录所选区域的位置；

所述计算板基于所选区域的位置将用户选择的区域裁剪为第二子图片，并使用智能识别api对所述第二子图片中的文字或者图片信息进行分析；

所述计算板将分析出的文字或者图片的具体信息和位置信息相结合得到所选区域的详细信息，并提取出所述详细信息中的有效部分进行规范化后得到规范数据传输至所述投影单元；

所述投影单元接收到来自所述计算板的规范数据后，在投影区中的用户操作区域进行更新相应的显示。

本发明的技术效果为：本发明的一种用于人机交互的对象边界确定方法，所述方法包括：场景信息获取步骤，使用广角摄像头实时拍摄场景图像，并将拍摄的每一帧场景图像发送至计算板；确定步骤，计算板基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围。本发明的主要优点在于：本发明在对场景图像判断后，通过去除场景图像中物体的方式得到空白区域的位置，使得定界准确度，进而使投出的用户界面十分清晰；且本发明支持用户操作界面的定界与显示内容定界的自由切换，因此，有助于在投影定界时增添其他的操作，例如还能对其内容进行进一步的提取，例如提取出具体的文字、检索图片的深层信息，而且信息还可直接借助投影进行展示，对于内容定界，投影自动给出识别的区域，并且附带有文字和边框的提醒，而且再加上投影的实时跟踪效果，使得定界后，无论是投影的区域显示还是面板的显示情况都有很好的视觉效果，且定界实时更新，从而实现了在移动物体上的投影用户操作界面，且可以实现基于物体大小进行投影仪与界面距离的自动调整，大大提高了用户的体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。

图1是根据本发明的实施例之一的一种用于人机交互的对象边界确定方法的流程图。

图2是根据本发明的实施例之一的一种用于人机交互的对象边界确定设备的示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本发明的一种用于人机交互的对象边界确定方法，所述方法包括：

场景信息获取步骤s101，使用广角摄像头实时拍摄场景图像，并将拍摄的每一帧场景图像发送至计算板；

确定步骤s102，计算板基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围。

本发明的方法可以应用在智能台灯上，所述智能台灯具有投影单元，即投影仪、广角摄像头、深度摄像头、红外摄像头等等，其内部具有计算板，计算板至少具有处理器和存储器，用于完成数据的处理等等，当然，其也必然具有电源、电源控制器等等。投影单元可以是投影仪，通过本发明的方法，可以确定投影单元在桌面上投出一个操作界面的边界。当用户在操作界面上操作时，还可以确定显示内容的边界，至于对何种对象进行定界，计算板根据当前投影单元所投影的内容进行判断，根据判断结果确定是对用户操作界面定界还是对显示内容进行定界，然后再进行相应的定界操作，比如初始化时，是对投影的用户操作界面进行定界，当具有了用户操作界面后，用户在操作界面上进行操作时，对操作界面上的显示内容进行定界，即本发明支持用户操作界面的定界与显示内容定界的自由切换。

在一个实施例中，当计算板根据当前投影单元所投影的内容进行判断，根据判断结果确定是对用户操作界面定界时，即所述对象为用户操作界面时，所述确定步骤s102包括：

所述计算板接收广角摄像头实时传输的每一帧场景图像，并对当前场景的物体分布利用mobilenet-ssd检测网络进行处理确定各物体的形状和各物体相应的类别；

所述计算板基于所述场景图像和确定的物体形状计算出各物体在场景图像的空间中的位置，将各物体的位置和相应的类别合并后生成物体数据集；

所述计算板从物体数据集中读取位置信息，基于所述位置信息从所述场景图像中减去所有的物体分布信息得到空白区域信息，然后所述计算板将根据用户设置进行是否可以进行边界确定，如果是，则将可定界的区域位置信息进行计算以确定边界范围，并对所述边界范围进行存储；

所述计算板将存储的边界范围传输至投影单元，同时传输一个定界成功的信号，当所述投影单元收到定界成功的信号后从所述计算板中获取存储的当前用户的设置信息；

所述计算板确定是否在空白区域进行投影，如果是，则根据所述边界范围和所述设置信息确定投影区域，在所述投影区域投影出用户的操作界面；如果不是，则由用户选择出要投影的物体，然后所述计算板在所述物体数据集中读取所述物体的位置信息，基于所述物体的位置信息投影出所述用户的操作界面。

定界方式有两种主要有两种，一为空白区域的投影（投影在空白区域上），如果区域大小满足用户设置的投影范围大小则说明可定界，这是比较传统的方式；另一种方式为基于识别后物体的投影，即投影在特定的书籍或者纸张上，如果有可投影的物体，例如书籍、纸张等，则说明可定界，本发明通过上述确定的具体操作去除场景图像中物体的方式得到空白区域的位置，然后再进行定界，使得定界准确度，进而使投出的用户界面十分清晰，这是本发明的一个重要发明点。

在一个实施例中，所述对象为用户操作界面时，所述方法还包括：

第一更新步骤s103，计算板以第一时间间隔对广角摄像头传输的场景图像进行处理后与之前的已确定边界的场景图像相比较，如果比较结果不一致，则重新进行边界确定，本申请中，所有的‘如果比较结果不一致’的含义为前后两次检测后场景中物体分布情况相差较大，这表明有物体的位置被较大幅度的改变。所述对象为用户操作界面时，所述第一更新步骤s103包括：

所述计算板每隔一秒再次从所述广角摄像头中获取一帧场景图像，并使用所述mobilenet-ssd检测网络获取该帧场景图像中的所有物体的分布状态；

所述计算板获取当前投影单元的设置信息，并与所述物体的分布状态相比较，如果比较结果误差大于第一阈值，则不可进行边界确定，则将投影单元更新至不可定界的警告状态，并将所述计算板状态调整为实时判断是否可定界的状态；如果比较结果误差小于所述第一阈值，则将确定新的边界范围，并与之前存储的边界范围进行比较，如果比较结果小于第二阈值，不进行更新，否则，则将新的边界范围进行存储并传输至所述投影单元，所述投影单元根据新的边界范围，将投影区域进行相应的调整。

通过上述更新操作，本发明使得定界实时更新，从而实现了在移动物体上的投影用户操作界面，即投影可以跟踪物体的移动，方便了用户的操作，即通过实时刷新实现的跟踪效果，使得定界的能力进一步提升，使得用户在非大范围移动设备时能够保证投影区域的自动跟踪，大大提高了用户的体验，这是本发明的另一个重要发明点。

在一个实施例中，当计算板根据当前投影单元所投影的内容进行判断，根据判断结果确定是对显示内容进行定界时，即所述对象为显示的内容时，所述内容为显示在用户操作界面上的内容，所述确定步骤s102包括：

所述广角摄像头实时拍摄场景图像并以第二时间间隔传输至所述计算板，所述计算板将所述场景图像传输至云端服务器；所述云端服务器使用深度学习学习网络预测所述内容中文字的位置，并同时将包含所述文字的图片进行裁剪后得到第一子图片并进行存储；

所述云端服务器对所述第一子图片使用ctc算法进行文字内容的识别，识别后将所述文字和相应的位置生成内容数据集；

所述服务器将所述内容数据集传输至所述计算板，所述计算板将所述内容数据集中的位置的信息传输至所述投影单元；

所述投影单元投影出所述计算板得到的内容数据集，并由用户选择需要进行定界的内容。

在一个实施例中，所述投影单元投影出所述计算板得到的内容数据集并由用户选择需要进行定界的内容包括：

所述投影单元实时监听到所述计算板，当接收到所述计算板发送的识别出的文字及位置后在投影区域中对所述内容进行浅色的显示；

所述用户根据显示出的已识别内容进行选择，选择后会将在对应内容的位置处的边界进行明显化，表示已经选定了当前处的内容。所述明显化为添加外框显示。

通过上述内容的定界，可以对显示的内容进行进一步的提取，例如提取出具体的文字、检索图片的深层信息，而且信息还可直接借助投影进行展示，对于内容定界，投影自动给出识别的区域，并且附带有文字和边框的提醒，而且再加上投影的实时跟踪效果，并且让用户能够再次获取（赋值），使得用户在获取信息时有了全新的感受，这属于本发明的另一个重要发明点。

在一个实施例中，所述对象为显示的内容时，所述方法还包括：

第二更新步骤s104，所述计算板对用户已选择的内容进行深入识别，得到所述内容的具体信息后更新到所述投影单元并进行投影显示。在一个实施例中，所述第二更新步骤s104包括：

当所述用户选择一个已经识别出的区域时，所述计算板获取用户的选择区域，并记录所选区域的位置；

所述计算板基于所选区域的位置将用户选择的区域裁剪为第二子图片，并使用智能识别api对所述第二子图片中的文字或者图片信息进行分析；

所述计算板将分析出的文字或者图片的具体信息和位置信息相结合得到所选区域的详细信息，并提取出所述详细信息中的有效部分进行规范化后得到规范数据传输至所述投影单元；规范化是指将信息的有效部分提取出来，比如成语的解释等。

所述投影单元接收到来自所述计算板的规范数据后，在投影区中的用户操作区域进行更新相应的显示。

显示内容的定界是为了更好的记录和文字图片相关的标记位置而实现的方法，同时定界后也有助于进行信息的采集进行下一步的应用，通过上述更新操作，本发明使得显示内容实时更新，方便用户对显示内容的操作，大大提高了用户的体验，这是本发明的另一个重要发明点。

此外，在一个实施例中，为了保证投影在不同大小不同距离的物体上都有优秀的投影效果，本发明采用以中心点距离为基础调节投影仪焦距的方法，具体操作如下：计算板已经基于用户的选择确定了要定界的物体（比如，图书），并计算出边界在将要投影在场景中的位置；基于定界的边界，计算板以物体的四个边界为基础计算出定界区域对角线的交点，即中心点的位置，再次进行存储；然后计算板启用深度摄像头对场景进行拍摄，在获取到场景完整的rgb-d信息后进行临时存储；计算板基于获取到的rgb-d信息，从中提取出深度信息后，与定界区域中心点的位置结合，进而得到中心点与摄像头的距离，再基于摄像头与投影仪的位置微调后得到投影仪与定界区域中心的距离；进而计算板调用投影仪的初始化方法，将该距离作为原始的焦距，在经过初始化过程中投影仪自身的梯形校正处理，便可基于距离实现相应位置的清晰投影显示。通过该操作，在定界时，实现了基于定界物体的大小自动调整投影单元的与定界区域中心，使得投影出来的界面更加清晰，这是本发明的另一个重要发明点。

图2示出了本发明的一种用于人机交互的对象边界确定设备，所述设备包括：投影单元、广角摄像头和计算板等等；

所述广角摄像头实时拍摄场景图像，并将拍摄的每一帧场景图像发送至计算板；所述计算板接收到所述每一帧场景图像后基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围。

本发明的设备可以是智能台灯上，所述智能台灯具有投影单元，即投影仪、广角摄像头、深度摄像头、红外摄像头等等，其内部具有计算板，计算板至少具有处理器和存储器，用于完成数据的处理等等，当然，其也必然具有电源、电源控制器等等。投影单元可以是投影仪，通过本发明的方法，可以确定投影单元在桌面上投出一个操作界面的边界。当用户在操作界面上操作时，还可以确定显示内容的边界，至于对何种对象进行定界，计算板根据当前投影单元所投影的内容进行判断，根据判断结果确定是对用户操作界面定界还是对显示内容进行定界，然后再进行相应的定界操作，比如初始化时，是对投影的用户操作界面进行定界，当具有了用户操作界面后，用户在操作界面上进行操作时，对操作界面上的显示内容进行定界，即本发明支持用户操作界面的定界与显示内容定界的自由切换，所述智能台灯可以与服务器进行交互，在图2中示出了服务器，但服务器不属于智能台灯的一部分，服务器可以是云服务器等。

在一个实施例中，当计算板根据当前投影单元所投影的内容进行判断，根据判断结果确定是对用户操作界面定界时，即所述对象为用户操作界面时，所述计算板接收到所述每一帧场景图像后基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围包括：

所述计算板接收广角摄像头实时传输的每一帧场景图像，并对当前场景的物体分布利用mobilenet-ssd检测网络进行处理确定各物体的形状和各物体相应的类别；

所述计算板基于所述场景图像和确定的物体形状计算出各物体在场景图像的空间中的位置，将各物体的位置和相应的类别合并后生成物体数据集；

所述计算板从物体数据集中读取位置信息，基于所述位置信息从所述场景图像中减去所有的物体分布信息得到空白区域信息，然后所述计算板将根据用户设置进行是否可以进行边界确定，如果是，则将可定界的区域位置信息进行计算以确定边界范围，并对所述边界范围进行存储；

所述计算板将存储的边界范围传输至投影单元，同时传输一个定界成功的信号，当所述投影单元收到定界成功的信号后从所述计算板中获取存储的当前用户的设置信息；

所述计算板确定是否在空白区域进行投影，如果是，则根据所述边界范围和所述设置信息确定投影区域，在所述投影区域投影出用户的操作界面；如果不是，则由用户选择出要投影的物体，然后所述计算板在所述物体数据集中读取所述物体的位置信息，基于所述物体的位置信息投影出所述用户的操作界面。

定界方式有两种主要有两种，一为空白区域的投影（投影在空白区域上），如果区域大小满足用户设置的投影范围大小则说明可定界，这是比较传统的方式；另一种方式为基于识别后物体的投影，即投影在特定的书籍或者纸张上，如果有可投影的物体，例如书籍、纸张等，则说明可定界，本发明通过上述确定的具体操作去除场景图像中物体的方式得到空白区域的位置，然后再进行定界，使得定界准确度，进而使投出的用户界面十分清晰，这是本发明的一个重要发明点。

在一个实施例中，所述对象为用户操作界面时，所述计算板以第一时间间隔对广角摄像头传输的场景图像进行处理后与之前的已确定边界的场景图像相比较，如果比较结果不一致，则重新进行边界确定。

在一个实施例中，所述对象为用户操作界面时，所述计算板以第一时间间隔对广角摄像头传输的场景图像进行处理后与之前的已确定边界的场景图像相比较，如果比较结果不一致，则重新进行边界确定包括：

所述计算板每隔一秒再次从所述广角摄像头中获取一帧场景图像，并使用所述mobilenet-ssd检测网络获取该帧场景图像中的所有物体的分布状态；

所述计算板获取当前投影单元的设置信息，并与所述物体的分布状态相比较，如果比较结果误差大于第一阈值，则不可进行边界确定，则将投影单元更新至不可定界的警告状态，并将所述计算板状态调整为实时判断是否可定界的状态；如果比较结果误差小于所述第一阈值，则将确定新的边界范围，并与之前存储的边界范围进行比较，如果比较结果小于第二阈值，不进行更新，否则，则将新的边界范围进行存储并传输至所述投影单元，所述投影单元根据新的边界范围，将投影区域进行相应的调整。

通过上述更新操作，本发明使得定界实时更新，从而实现了在移动物体上的投影用户操作界面，即投影可以跟踪物体的移动，方便了用户的操作，即通过实时刷新实现的跟踪效果，使得定界的能力进一步提升，使得用户在非大范围移动设备时能够保证投影区域的自动跟踪，大大提高了用户的体验，这是本发明的另一个重要发明点。

在一个实施例中，当计算板根据当前投影单元所投影的内容进行判断，根据判断结果确定是对显示内容进行定界时，即所述对象为显示的内容时，所述内容为显示在用户操作界面上的内容，所述计算板接收到所述每一帧场景图像后基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围包括：

所述广角摄像头实时拍摄场景图像并以第二时间间隔传输至所述计算板，所述计算板将所述场景图像传输至云端服务器；所述云端服务器使用深度学习学习网络预测所述内容中文字的位置，并同时将包含所述文字的图片进行裁剪后得到第一子图片并进行存储；

所述云端服务器对所述第一子图片使用ctc算法进行文字内容的识别，识别后将所述文字和相应的位置生成内容数据集；

所述服务器将所述内容数据集传输至所述计算板，所述计算板将所述内容数据集中的位置的信息传输至所述投影单元；

所述投影单元投影出所述计算板得到的内容数据集，并由用户选择需要进行定界的内容。优选地，所述投影单元投影出所述计算板得到的内容数据集并由用户选择需要进行定界的内容包括：

所述投影单元实时监听到所述计算板，当接收到所述计算板发送的识别出的文字及位置后在投影区域中对所述内容进行浅色的显示；

所述用户根据显示出的已识别内容进行选择，选择后会将在对应内容的位置处的边界进行明显化，表示已经选定了当前处的内容。所述明显化为添加外框显示。

通过上述内容的定界，可以对显示的内容进行进一步的提取，例如提取出具体的文字、检索图片的深层信息，而且信息还可直接借助投影进行展示，对于内容定界，投影自动给出识别的区域，并且附带有文字和边框的提醒，而且再加上投影的实时跟踪效果，并且让用户能够再次获取（赋值），使得用户在获取信息时有了全新的感受，这属于本发明的另一个重要发明点。

在一个实施例中，所述对象为显示的内容时，所述计算板对用户已选择的内容进行深入识别，得到所述内容的具体信息后更新到所述投影单元并进行投影显示。所述计算板对用户已选择的内容进行深入识别，得到所述内容的具体信息后更新到所述投影单元并进行投影显示包括：

当所述用户选择一个已经识别出的区域时，所述计算板获取用户的选择区域，并记录所选区域的位置；

所述计算板基于所选区域的位置将用户选择的区域裁剪为第二子图片，并使用智能识别api对所述第二子图片中的文字或者图片信息进行分析；

所述计算板将分析出的文字或者图片的具体信息和位置信息相结合得到所选区域的详细信息，并提取出所述详细信息中的有效部分进行规范化后得到规范数据传输至所述投影单元；规范化是指将信息的有效部分提取出来，比如成语的解释等。

所述投影单元接收到来自所述计算板的规范数据后，在投影区中的用户操作区域进行更新相应的显示。

显示内容的定界是为了更好的记录和文字图片相关的标记位置而实现的方法，同时定界后也有助于进行信息的采集进行下一步的应用，通过上述更新操作，本发明使得显示内容实时更新，方便用户对显示内容的操作，大大提高了用户的体验，这是本发明的另一个重要发明点。

此外，在一个实施例中，为了保证投影在不同大小不同距离的物体上都有优秀的投影效果，本发明采用以中心点距离为基础调节投影仪焦距的方法，具体操作如下：计算板已经基于用户的选择确定了要定界的物体（比如，图书），并计算出边界在将要投影在场景中的位置；基于定界的边界，计算板以物体的四个边界为基础计算出定界区域对角线的交点，即中心点的位置，再次进行存储；然后计算板启用深度摄像头对场景进行拍摄，在获取到场景完整的rgb-d信息后进行临时存储；计算板基于获取到的rgb-d信息，从中提取出深度信息后，与定界区域中心点的位置结合，进而得到中心点与摄像头的距离，再基于摄像头与投影仪的位置微调后得到投影仪与定界区域中心的距离；进而计算板调用投影仪的初始化方法，将该距离作为原始的焦距，在经过初始化过程中投影仪自身的梯形校正处理，便可基于距离实现相应位置的清晰投影显示。通过该操作，在定界时，实现了基于定界物体的大小自动调整投影单元的与定界区域中心，使得投影出来的界面更加清晰，这是本发明的另一个重要发明点。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。

最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。