基于HoloLens的智慧城市规划设计方法与流程

本发明涉及一种智慧城市规划设计方法，尤其涉及一种基于hololens的智慧城市规划设计方法。

背景技术：

早在20世纪60年代，人们对于增强现实(ar)技术就有了初步探索，2010年ar与可穿戴设备迅猛发展，2012年第一代googleglass问世，ar技术的智能硬件化成为趋势，苹果、英特尔、高通、微软等巨头相继加入，增强现实设备层出不穷，如爱普生的moverioprobt200、meta2、vuzixm100、daqri智能头盔、odgr-7、亮风台hiarglasses等，ar前景被广泛看好。2015年第一代googleglass宣告失败停产，但这并不没有阻碍可穿戴增强现实设备注定会被整个社会所接受的发展趋势，越来越多的可穿戴设备在各行各业发挥着相当重要的作用。2017年7月谷歌眼镜回归，推出企业版googleglass，延长了电池寿命，改善了舒适度，拥有更强大的中央处理器以及800万像素的摄像头等优势，但计算处理简单，产品定位仍然作为手机、平板等设备的外部延伸。在第一代googleglass退出市场期间，微软推出了一款独一无二的混合现实(mr)设备——hololens，佩戴体验的真实感、自然度都远远超过市面上任何一款ar眼镜。

随着ar理念的普及，肯德基、银行(招商银行、农业银行等)、支付宝、唯品会、小米等一些家喻户晓的商家也加入了ar战略方法，并定制相应的软件从而吸引用户眼球；不仅如此，一些商场商圈也融入ar环境，如上海百联集团、徐家汇美罗城人民广场来福士等；华为、江铃汽车、西门子、国家电网、富士康等大型企业也利用ar技术提升品质、减少成本、提高效率。

在城市规划设计中，需要注意的细节很多，一个人设计往往会有所忽略，在以图纸、电子屏幕、cad图等传统方式的城市规划中，多人同时规划会因意见不同而造成重复劳动，如反复修改规划图等，耗时耗力。目前，hololens被认为是最好的增强现实设备，硬件技术相对成熟，开发的应用内容丰富多彩，是可穿戴增强现实的设备首选，而且ar技术确实给各产业带来不小的优势，本发明结合hololens的软硬件优势与ar技术带来的优势冲击，提出一种基于hololens的智慧城市规划设计方法，帮助解决传统城市规划设计中的一些弊端。

技术实现要素：

发明目的：本发明提供了一种基于hololens的智慧城市规划设计方法，有助于城市规划人员更好地进行城市规划设计，使其有身临其境之感，实时动态修改规划方案且满足多人同时协作的需求。

技术方案：本发明提供一种基于hololens的智慧城市规划设计方法，包括以下步骤：

(1)将建好的城市初步规划模型导入虚拟软件中构建虚拟场景；

(2)将虚拟场景发布到hololens中；

(3)通过佩戴hololens，进行城市规划设计；

(4)通过佩戴由服务器相连的hololens，实现多用户之间本地或异地的协同规划；

(5)通过佩戴hololens进行多场景、多视角切换操作。

步骤(3)中所述城市规划设计主要包括房屋建筑设计、交通道路规划、地下管网规划、事故急救方案制定。

所述步骤(4)包括以下步骤：

(41)借助可视化手段，建立合适的协同感知模型；

(42)通过并发控制算法及冲突消解策略保障协同过程顺利进行。

步骤(5)所述多视角主要包括：全局、局部、地上、地下、透视图。

步骤(3)、(4)、(5)的实现，均基于hololens的全息显示与交互功能；所述交互主要包括三种方式：凝视射线、手势交互和语音交互。

有益效果：与传统城市规划方式相比，本发明的有益效果：1、基于hololens的全息展现与自然交互，使设计者沉浸在城市模型的全息影像中，能够360°全方位、多角度、多粒度、多层次地查看规划布局，有效提高工作效率；2、基于hololens的多人协同规划与冲突消解，可以避免重复修改，充分发挥设计人员的积极性与主动性；3、通过全局、局部、地上、地下、透视图等多视角的切换，有助于设计者站在不同视角，设计更合理、更安全的城市规划方案。

说明书附图

图1为基于hololens的智慧城市总体规划设计框架；

图2为基于hololens的智慧城市规划设计图；

图3为基于hololens智慧城市规划的手势交互设计图；

图4为基于hololens智慧城市规划的语音指令设计图；

图5(a)为协同感知模型图；

图5(b)并发控制算法流程图；

图5(c)为冲突消解策略流程图；

图6为多视角切换功能图。

具体实施方式

下面结合附图对本发明做更进一步的说明。

如图1所示，本发明提供了一种基于hololens的智慧城市规划设计方法，主要包括三大功能：城市规划设计、多人协同规划、多视角切换。通过3dmax、maya等建模软件，将建好的模型、特效导入unity3d中搭建虚拟场景，其中模型包括各类房屋、车辆、地下管道、交通道路、空地等，特效包括太阳、雨、雪、闪电等；虚拟场景布置好后，通过无线传输，发布到hololens眼镜中，即可虚拟呈现，360°全息观看；hololens利用slam技术进行环境理解，定位用户，得到真实的环境数据；通过深度摄像头数据得到的手势距离、slam获得的用户位置、搭建虚拟场景中物体的摆放位置等，计算头部光标位置、手势方位及动作，从而可以对虚拟物体进行视线跟踪与手势交互；通过特定词的语音识别命令，可以对虚拟物体进行语音交互。基于hololens具备的强大计算、全息显示、自然交互能力，设计人员可以对房屋建筑、交通道路、地下管网及事故急救方案进行设计与制定；身处同地或异地的设计人员佩戴hololens眼镜实现协同规划；实现全局、局部、地上、地下、透视图等多视角切换。城市规划设计模块可以根据需要设计的板块灵活制定，不一定仅限于建筑物、道路、地下管道的规划。

图2展示了基于hololens的智慧城市规划设计图，任选一片空地，将其3d模型发布到眼镜中，选择房屋、道路、车辆、地下管道等模型，针对每一规划模块进行设计。其中，在房屋建筑设计中，使用“添加”添加房屋模型、“删减”删除房屋模型、“移动”调节位置，“缩放”调节房屋的高度、宽度、房屋间间隔，“旋转”调节朝向，“复位”返回最初设计状态，“后退”返回上一步，最多回退5步；在房屋设计初稿完成之后，本发明利用hololens模拟四季变换、太阳升落、能见度、雨量等天气因素，通过手势交互微调建筑的位置、朝向等属性，观察气候和天气对其影响程度从而做出相应调整，反之，通过调节气候或天气因素的数值，观察建筑间距、采光时长、地势高低等，验证设计的合理性，确定气候或天气因素的数值之后，场景中会根据时间倍数的大小，模拟随着时间推移引起的太阳升落、降雨量累积等特效，从而更加科学地设计房屋建筑；其中气候或天气的面板设计如图所示，分为三大板块，日期和时间、大气干扰、天气因素，所有板块都是通过“点击”或“移动”滑动条改变数值，日期和时间板块中包含年月、时间、时间倍数、纬度，其中时间倍数指的是时间运转的快慢，大气干扰板块中包含白天亮度、夜晚亮度、能见度、云密度，天气因素包含三种云天、阴天、雨天、下雪天、闪电、风力、风向。

在交通道路规划中，主要根据人流量的大小、往年交通事故发生率设置交通灯及道路规划，交通灯的设置包括交通灯的数量、间隔、亮灯时长。道路规划包括路面车道宽度、数量、路口的设计等。“添加”/“删减”用于增加/删除交通灯、道路模型，“点击”用于变换交通灯的红黄绿灯，语音指令“changelight”同样可以变换红黄绿灯，“移动”调节交通灯的位置、间隔，“缩放”改变的是路面上的车道宽度，从而改变路面上道路数量，“旋转”改变交通灯、道路的朝向。形成交通道路规划初步脚本后，通过hololens预演，沉浸式观看交通道路规划效果。再通过“添加”、“删减”、“移动”、“旋转”、“保存”、“预览”、“后退”、“复位”等操作，在预览效果中不断修改、完善，最终生成交通道路规划方案。

在地下管网规划中，主要包括管道的排布格局、分类显示、管理措施方案。其中在管道的排布格局中，“添加”和“删减”分别用于增加和减少管道数量，“移动”操作调节管道摆放位置，“缩放”调节管道粗细程度，“旋转”调节管道的纵横排列及摆放角度，“复位”和“后退”同上所述；所述管道的分类显示，主要分为供水管道、排水管道、燃气管道、热力管道、电力管道、通信管道、广播电视管道、工业管道八大类别，通过“视线”的移动与手势“点击”操作，选择需要显示的管道，分类显示又分为某种管道的显示、某些管道的显示、全部管道显示，同样也可以通过语音指令“showpipe/channel”实现管道的分类显示；所述管理措施方案，包括国内外先进的地下管线管理举措方案、实施过程中的施工保护方案及注意事项、实施之后的安全监管、重大安全事故之后的抢修、维修、处理方案；通过“视线”移动与手势“点击”选中某方案进行查看，查看形式以3d模型、动画预览、视频播放为主，生动形象的展示效果让设计者在地下管网的规划设计中，有依可循，尽量避免一些不必要或低级的错误。

在事故急救方案设计中，根据地区区域划分，制定逃生路线、救援路径、交通信号的管制等；根据灾情对象(车祸、火灾、天然气爆炸等)划分，制定救护车、警车、消防车的调度安排；当某地发生某种灾害时，结合上述两种方案，确定最终的事故急救方案。在事故急救方案脚本初步确定后，通过hololens预演，沉浸式观看事故的急救效果，其中，所有的路线、交通灯、车辆、爆炸效果等可以通过手势交互实现：“添加”和“删减”分别为增加和减少模型数量、“移动”改变位置、“旋转”变换方位、“保存”保留当前更改版本、“预览”用于观看当前保存版本、“后退”返回上一步骤、“复位”回到更改之前的最初版本，设计者可以在预览效果中不断修改、完善，形成最终急救方案。

在图2中所述的交互方式中，涉及到hololens的三种交互方式：凝视射线(gaze)、手势(gesture)和语音(voice)。

1、凝视射线：hololens的首要输入方式，根据用户头部的位置及角度方向来确定视线光点的位置，在视线光点位置与用户头部的两眼之间延伸出一条向前的射线，该射线可以识别所碰撞的物体。视线光点的形式功能类似于桌面系统的光标，用于确定、选择操作的全息对象。本发明利用hololens眼镜的gaze功能选择操作对象，是手势交互和语音交互的前提与基础。

2、手势：在进行手势交互时，需要将手放置在hololens前方区域，有三种核心交互手势：点击、松开和绽开。结合三种交互手势，衍生出五种手势操作响应：1)点击(airtap)，即在空中完成单击操作，用于选中或激活数字内容，其操作就是：食指先伸直，然后向下弯曲，再恢复伸直，这个操作也可以通过hololens的配件“hololensclicker”来完成；2)返回(bloom)，这是一个系统级别的手势，用户返回开始菜单(startmenu)，就像点击键盘上的windows徽标键启动开始菜单，其操作是：握拳并保持手掌向上，然后展开五指，就像花朵盛开；3)长按(hold)，用于触发二级操作，比如展示二级操作菜单，其操作是：点击并保持食指处于向下状态；4)操作(manipulation)，保持点击手势，画面响应与手部动作以1：1的比例匹配，手指相对于整个ar混合空间的绝对运动；5)导航(navigation)，保持点击手势，在标准3d空间内的相对运动。

本发明结合三种核心交互手势、组合五种手势操作，设计如图3所示的手势交互应用，分为10种语义的手势动作，分别是“点击”、“后退”、“复位”、“保存”、“预览”、“添加”、“删减”、“移动”、“旋转”、“缩放”。其中：

所述“点击”语义操作主要用于：(a)气候/天气面板中数值的确定,本发明利用hololens模拟气候/天气变换、太阳升落、天空亮度、日期/时间等因素，观察其对城市建筑的影响,气候/天气面板中数值的改变可以通过“点击”滑动条上的任意数值，但直接“点击”的方式可能不够精确，主要用于粗略确定数值范围大小,气候/天气面板一直显示在hololens眼镜的左上方；(b)交通灯红黄绿灯的变换,“视线”选中红灯、黄灯、绿灯其中一种，然后“点击”确定当前的交通灯指示；(c)面板的显示,主要有添加/删减各类模型的面板、地下管网的管理措施方案展示面板、功能键切换面板。其中添加/删减各类模型面板是各类模型的集合，里面包含房屋、道路、指示路径、交通灯、地下管道、各种车辆等模型，分类显示在面板中，且每类模型中包含多种样式，如房屋类模型包含低层住宅、多层住宅、高层住宅、cbd写字楼、商场、露天广场、停车场等；其中地下管网的管理措施方案展示面板主要用于显示国内外先进的地下管线管理举措方案、实施过程中的施工保护方案及注意事项、实施之后的安全监管、重大安全事故之后的抢修、维修、处理四种类型，功能键切换面板主要用于10种语义的手势动作模式的切换；(d)地下管网管理措施方案的3d展示。在地下管网管理措施方案面板中，主要包含上述(c)中的四类方案，“视线”选择其中某种类型，通过“点击”播放3d模型动画或视频，帮助设计人员更好地规划地下管网。

所述“后退”语义操作主要用于：返回上一步操作，本发明存储记录设计人员的规划步骤，包括手势、语音的所有交互操作，防止设计人员误操作或对当前操作结果不满意，想要返回上一步或上几步操作，最多可返回5步。

所述“复位”语义操作主要用于：回到设计人员操作之前的最初状态，主要用于设计人员不满意当前规划状态且“后退”操作已无法还原设计需求，此时“复位”为初始状态重新设计。

所述“保存”语义操作主要用于：在交通道路规划与事故急救方案制定的脚本预演中，保存当前版本的更改与完善。

所述“预览”语义操作主要用于：在交通道路规划与事故急救方案制定的脚本预演中，预览当前保存的版本。

所述“添加”语义操作主要用于：在添加/删减各类模型的面板中，将房屋、交通灯、道路、指示路径、地下管道、各种车辆等模型从面板中“添加”到虚拟场景中。

所述“删减”语义操作主要用于：在添加/删减各类模型的面板中，将房屋、交通灯、道路、指示路径、地下管道、各种车辆等模型从虚拟场景中删除或减少模型数量。

所述“移动”语义操作主要用于：(a)调节各类模型的摆放位置；(b)滑动气候/天气面板中的滑动条，用于精确确定气候/天气面板的数值，可以在上述(a)中“点击”滑动条粗略确定数值之后再精确调节具体数值。

所述“缩放”语义操作主要用于：可以调节各模型整体的大小，等比缩放模型以适应场地空间的大小；也可以局部调整各模型的长、宽、高、间距等属性，非等比将模型拉长、拉宽、拉高。另外，在道路上“缩放”车道的宽度，从而改变车道数量。

所述“旋转”语义操作主要用于：(a)调节各模型的旋转角度，其中指示路线、交通灯、车辆等模型的角度与道路方向相关，地下管道的朝向一般依据道路而纵横交错布局；(b)城市整体360°的旋转，整个城市模型任意角度旋转，可以在设计人员保持位置不变的前提下全方位观察城市的整体规划效果。

结合道路模型的“添加”、“删减”、“移动”、“旋转”可以设计、更改道路类型，如十字路口、丁字路口、直行道路、转弯弯道等。上述所有的手势操作均不分左手或右手。

3、语音：主要有三种语音输入形式：1)语音命令，当用户说出关键词时，预设的动作就会被调用；2)听写，即语音转文字，听写特性用于将用户语音转为文字输入，同时支持内容推断和事件注册特性；3)语法识别，依赖于事先设定好的srgs(speechrecognitiongrammarspecificationversion1.0)文件，文件中定义了一系列语法规则用于语音识别；语音交互和手势操作可以被定义对应同一含义的交互动作，如在手势交互中的点击、返回操作可以用语音指令“select”、“heycortana,gohome”来完成。

本发明采用语音命令形式，设计如图4所示的语音交互应用，主要有3种语音指令，分别为“changelight”、“showpipe/channel”、“move、rotate、scale、back、reset、save、play、add、delete”。其中：

所述“changelight”语音交互指令主要用于交通道路规划中交通灯的改变，场景中每次只出现一种颜色的交通灯，设计人员通过“changeredlight”、“changeyellowlight”、“changegreenlight”将交通灯改为红灯、黄灯、绿灯。

所述“showpipe/channel”语音交互指令主要用于地下管网规划中的分类显示。(a)单个列举，用于逐一显示地下管道，主要包括“showwaterpipe”、“showdrainpipe”、“showgaspipe”、“showheatpipe”、“showpowerpipe”、“showcommunicationchannel”、“showtelevisionchannel”、“showindustrialpipe”八种，分别为供水管道、排水管道、燃气管道、热力管道、电力管道、通信管道、广播电视管道、工业管道；(b)全部列举,语音指令“showallpipes”用于显示所有的地下管道；(c)部分列举,当设计人员只想观看其中某些管道时，语音指令“showxxpipe、yypipe…andzzpipe”，其中xx、yy、zz均为管道的具体名称，用于显示部分管道，并在最后一个管道名称前加上“and”。

所述“move、rotate、scale、back、reset、save、play、add、delete”语音交互指令主要用于手势交互中的移动、旋转、缩放、后退、复位、保存、预览、添加、删减九种交互模式的切换,在手势交互模式切换中，可以选择结合视线与手势点击的方式，也可以利用语音指令。上述所有的语音指令均可以根据设计人员的需求定义与设计。

图5展示了多人协同规划设计与冲突消解策略。设计人员需要对规划环境、协作者、协作规划任务以及设计对象的各种信息进行准确感知和理解，实现协同环境下感知的形式描述、性质刻画、信息呈现，从而消除空间分布带来的割裂感，更好地发挥设计人员的积极性与主动性；针对协作过程中对同一设计对象同时操作引发的冲突，发明一种高效的并发控制算法和冲突消解策略，从而保障协同过程的顺利执行。

为了实现协同环境下操控方式的协同感知，需要首先建立合适的协同感知模型，如图5(a)所示，感知模型的具体实现方法如下：借助可视化手段，提出基于可视化的协同感知模型，采用多种适用于协同感知的信息认知方式。所述协同感知模型，定义为：vam＝{o,m,g,r,ta}，o表示感知对象，包括有任务信息的更新，参数信息的交流等，一般是由协同者进行任务设计时的操作触发的，因此与协同者信息相关，同样也与协同任务信息相关；m代表感知模式，即感知对象的表现形式或映射方式，主要包含图形模式；g代表感知粒度，表示感知对象与感知模式匹配的量化标准，即根据感知对象的类型为其匹配合适的一种或几种感知模式；r为感知范围，即感知映射所能影响的空间范围；ta为协同者的任务信息及角色信息。

多用户之间的协同感知主要是通过应用合理的感知策略来定义用户的交互范围，实现用户之间的协同，协同环境中用户之间的感知是指对所处场景信息的认知能力，包括共享对象的更新、文本、语音以及其他用户的相关信息，通过定义不同的感知范围、感知力度，可实现用户之间不同程度的交互。采用多模式用户控制的感知策略，在感知过程中提供多种用户或共享对象控制其感知模型的方法，首先，用户可通过其在全息场景中的位置、方向的改变来实时控制其相应的感知焦点和映射区域；其次，通过设置感知焦点和映射区域的参数使用户可以直接修改相关特征参数，并实时调入感知模型；最后，用户感知模型可根据全息场景中特定空间区域调用各自的感知模型。

图5(b)展示了并发控制算法流程。并发控制手段主要包括加锁法、事务机制、集中控制法、依赖检测、可逆执行、主控实体等。根据城市规划设计的特点，采用集中控制方法与令牌控制方法相结合的方法，该方法对参与协同的用户都规定一个优先级，主要算法流程如下：(1)对每个共享资源分配一个令牌；(2)若某用户需要使用某共享资源，用户首先选中该共享资源，自动向服务器发出请求申请该资源的令牌；(3)服务器接收用户端的申请；(4)若此时该资源正在被使用，则发送拒绝信号，否则转步骤(6)；(5)若存在多个用户申请同一个资源，服务器则根据设定的优先级将该共享资源的令牌发给优先级最高的用户，并向其他用户发送拒绝信号，若不存在竞争情况，就把该共享资源的令牌发给该申请者；(6)若用户得到一个共享资源的令牌，则获得对该共享资源的操作权，若收到拒绝信号，则不具有对该共享资源的操作权；(7)任何时刻只有一个用户拥有某共享资源的令牌，他对该共享资源的操作通过服务器广播到其他用户，并标识该资源已被占用；(8)在每个客户端，根据本地用户的操作和来自他人的操作来改变共享空间在本地的副本；(9)当用户使用完毕该共享资源后，就应向服务器报告已释放对该共享资源的令牌。

图5(c)是冲突消解策略。协同作业中冲突消解策略主要有系统裁决、用户协商、冲裁等方法，结合城市规划设计的的实际情况和需求，采取系统裁决和仲裁相结合的策略进行协同作业冲突消解；在协同作业过程中，需要提供足够的相关信息，包括用户信息、地理空间信息、规划对象信息和规划操作信息来完成冲突消解。冲突消解时，首先由系统尝试自动裁决消解，如果不能，则由相关用户协商解决，或者通过仲裁进行消解；在冲突解决之后，给所有相关用户返回解决方案。

图6是多视角切换功能图。如上所述城市规划共有四个规划模块，其中交通道路规划与事故急救方案制定，设计者在规划完成之后，通过脚本预演观察设计的合理性，从而不断完善方案，而设计者是以第三人称视角，掌握全局进行城市的整体规划，考虑的往往是一些宏观的因素，细节把握不到位。利用基于hololens眼镜的全局、局部视角切换的方式，可以让设计者从第一人称视角，切实感受当前规划的利弊，既是设计者又是体验者，从而不断完善规划方案，可以通过语音指令“globalview”与“localview”切换“全局”、“局部”视角；在地下管网的规划中，通过地上/地下视角的切换实现地下八大类管网的布局、分类查看等；通过语音指令“undergrandview”、“abovegrandview”实现“地下”、“地上”视角的切换；针对房屋建设中一些潜在危险品放置的规划设计，尤其是工业界的易燃、易爆、有强烈腐蚀性、有毒的物品，如汽油、强酸、强碱、苯、过氧化物等，通过透视图视角标注危险品标识，合理规划布局，避免安全隐患；除了危险品的种类标识与合理摆放，还在房屋楼道、走廊上指示了相关的逃生路线与救援路线。通过语音指令“perspectiveview”实现“透视图”视角切换。上述所有切换均可用手势“点击”实现。