本发明是有关于一种可穿戴式电子装置及其操作方法，且特别是有关于一种用于音频成像的可穿戴式电子装置及其操作方法，所述可穿戴式电子装置包括头戴式显示器和多个声音接收器。
背景技术：
扩增实境(augmentedreality)用于将真实环境与计算机生成的虚拟信息相结合。扩增实境眼镜结合透明显示器(例如，可以显示计算机生成的图像/影片的透明镜片)，以将视觉信息添加到佩戴者的视野。
技术实现要素：
基于此，本发明提供一种可穿戴式电子装置、计算机执行操作方法和电子系统，能够接收附近声源产生的声音，分析对应于所接收声音的音频数据(audiodata)，并产生以及显示所接收到的声音其对应的音频图像，通过所显示的音频图像来提供声音强度和声音相对方向的信息。
本发明的可穿戴式电子装置包括前框架、侧框架、具有透明镜片(transparentlens)的显示设备、设置在前框架和侧框架上的多个声音接收器的声音接收器阵列以及控制器。显示设备用来在透明镜片上显示视觉内容，其中佩戴者可通过镜片(lens)看到真实世界的场景。声音接收器阵列用来接收由可穿戴式电子装置周围的声源产生的声音，并且根据接收到的声音相对应地产生多个音频数据。控制器耦接至显示设备及声音接收器阵列，用以对音频数据进行分析，以判断声源相对于可穿戴式电子装置的相对方向及相对位置，并且判断声音强度级别(intensitylevel)。此外，控制器还根据相对方向、声音的强度以及相对位置来产生对应于声音计算机生成视觉内容(例如，音频图像acousticimage)。显示设备用来在镜片上显示与声音相对应计算机生成视觉内容，使得通过镜片的视野被佩带者的视觉捕捉，其中，镜片的视野包括显示在镜片上由计算机产生的视觉内容和佩戴者通过镜片看到的镜片视野(view-via-lens)。
本发明的计算机执行操作方法包括电子装置的声音接收器阵列接收围绕电子装置的声源所发出的声音，并且相对应地由声音接收器阵列根据接收到的声音产生多个音频数据；可穿戴式电子装置的控制器对音频数据进行分析以判断声源和可穿戴式电子装置相对的方向和相对的位置，并判断声音强度级别；控制器根据所述相对方向、所述声音强度级别以及所述相对位置，产生与所述声音所对应并计算机生成视觉内容；以及由可穿戴式电子装置的显示设备在透明镜片上显示与声音对应的计算机视觉内容，其中佩戴者可通过镜片看到真实世界的场景，使得经由镜片而获得的视野可由佩戴者的视觉捕捉，其中，经由镜片的所得的视野包括在镜片上所显示计算机生成视觉内容以及由佩戴者通过镜片所看到的真实世界的场景。
基于上述实施例所提供的可穿戴式电子装置、用于计算机执行的操作方法以及电子系统能够接收由附近声源产生的声音，分析对应于所接收声音的音频数据，并且相对应地产生并显示与接收到的声音对应的音频图像，使得通过显示在镜片视野(view-via-lens)或捕捉到的图像的音频图像(计算机生成视觉内容)，用户能够取得声音的强度和声音的相对方向/位置的信息。为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。
图1a是依照本发明实施例的一种可穿戴式电子装置的示意图。
图1b是依照本发明实施例的一种可穿戴式电子装置的结构框图。
图2是依照本发明实施例的计算机执行操作方法的流程图。
图3a是依照本发明实施例的镜片视野之外的声源俯视图。
图3b是依照本发明实施例关于对应于图3a中声源的声音所产生的第一计算机视觉内容的示意图。
图3c是依照本发明实施例的具有第一计算机视觉内容的镜片视野(view-via-lens)的示意图。
图3d是依照本发明实施例关于对应于图3a中声源的声音所产生的另一个第一计算机视觉内容的示意图。
图3e是依照本发明实施例的具有第一计算机视觉内容的镜片视野(view-via-lens)的示意图。
图4a是依照本发明实施例的镜片视野之内的声源俯视图。
图4b是依照本发明实施例的具有第二计算机视觉内容的镜片视野(view-via-lens)的示意图。
图4c是依照本发明实施例的具有第二计算机视觉内容的镜片视野(view-via-lens)的示意图。
图5a是依照本发明实施例的真实世界场景的示意图。
图5b是依照本发明实施例的具有计算机生成视觉内容和分别对应于不同声音的第二计算机视觉内容的镜片视野(view-via-lens)的示意图。
图5c是依照本发明实施例的具有分别对应于不同声音的第二计算机视觉内容的镜片视野(view-via-lens)的示意图。
附图标记说明：
10：可穿戴式电子装置
101：前框架
102、103：侧框架
110：声音接收器阵列
111(1)-(5)、112(1)-(5)：声音接收器
120：显示器
121、122：镜片
130：控制器
131：处理器
132：音频图像计算器
141：121的参考点
142：122的参考点
s21～s29：步骤
300、601、602：桌子
301、502：扬声器
302、501：电话
a1：中心角
ad1：声源与可穿戴式电子装置之间的对应方位角
ap1-ap4箭头图案，用于指示出镜片视野外部的声源
b1-b4：镜片视野的边界
bp1-bp4：条状图案
cm1：圆圈
cp1：饼状图案
cp2：声源图案
cp2(1)-cp2(3)：声源图案cp2之中的饼状图案
cp3-cp5：不同颜色和尺寸的多个圆形区域
cp6、cp7：第二计算机生成视觉内容
d1：方向
d11：p1相对于p2的相对方向
d21：p3相对于141的相对方向
d22：p3相对于142的相对方向
d31：p3相对于p2的相对方向
h1：扬声器的高度
h2：可穿戴式电子装置参考点的高度
p1：扬声器的位置
p2：可穿戴式电子装置的参考点
p3：电话的位置
p4：控制器根据声音所判断电话相对位置
p5：控制器根据声音所判断扬声器相对位置
pr1、pr2：饼状图案的特定区域
ps1-ps5声音标记
pt1-pt3：箭头图案的尖端处的点
s1、s2：声音
vl1-vl6：镜片视野
vp1：通过镜片121到参考点141的虚拟点
vp2：通过镜片122到参考点142的虚拟点
x：x坐标轴(也称为x方向)
y：y坐标轴(也称为y方向)
z：z坐标轴(也称为z方向)
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
需要说明的是，当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本申请提供一种具有多个声音接收器(例如麦克风)和透明显示的可穿戴式电子装置。可穿戴式电子装置可以与眼镜，头盔，vr眼镜或ar眼镜等类似的方式被佩戴。通过使用由麦克风和波束形成技术(beamformingtechnique)同时获取的音频数据(信号)，声源的信息(计算机生成视觉内容或音频图像)得以在透明显示器上显示。
如图1a所示，在本实施例中，假设使用者穿戴可穿戴式电子装置10，从佩戴者/可穿戴式电子装置的背面到正面的方向对应于正交坐标系的y坐标轴(也称为y方向)，从佩戴者/可穿戴式电子装置的左侧到右侧的方向对应于x坐标轴(也称为x方向)，并且从佩戴者/可穿戴式电子装置的底部到顶部的方向对应于正交坐标系的z坐标轴(也称为z方向)。
可穿戴式电子装置10包括前框架101及侧框架102与103，其中侧框架102的第一端与侧框架103的第一端分别连接于前框架101的两侧，如图1a所示。在另一实施例中，侧框架102的第二端可以直接连接到侧框架103的第二端。
可穿戴式电子装置10还包括声音接收器阵列110，声音接收器阵列110包括布置在前框架101以及侧框架102和103上的多个声音接收器111(1)至111(n)和112(1)至112(n)。n可以是等于或大于2的正整数。例如，声音接收器111(1)被布置在侧框架102(左侧框架)的(第二端)，声音接收器111(2)-111(5)等间隔地配置在前框架101的一部分(左侧部分)的拐角处，声音接收器112(1)配置在侧框架103(右侧框架)的(第二端)，声音接收器112(2)-112(5)等间隔地配置在前框架101的另一部分(右部分)的拐角处。值得一提的是，声音接收器的配置仅用于附图标示，实施例中声音接收器的数量并不受到限制。在一些实施例中，根据实际需要，可以如图1a中所示在每两个声音接收器之间添加一个或多个声音接收器。在本实施例中，举例来说，声音接收器可以是接收(检测)可穿戴式电子装置10四周所产生的声音的麦克风或其他类型的传感器(transducers)。声音接收器阵列的每个声音接收器可以根据接收到的声音产生音频数据。
可穿戴式电子装置10还包括控制器130和显示器120，其中控制器包括处理器131和音频图像计算器132，并且控制器130耦合到显示器120和声音接收器阵列110。
在本实施例中，处理器131可以包括可穿戴式电子装置10的中央处理单元(cpu)，从而控制可穿戴式电子装置10的整体操作。在某些实施例中，处理器131通过加载储存在非易失性计算机可读存储介质(或其他储存装置/电路)中的软件或固件，并执行其软件或固件(例如，处理器131被程序化)，以实行本实施例提供的操作方法。处理器131可以是或可以包括一个或多个可编程的通用或专用微处理器(general-purposeorspecial-purposemicroprocessors，dsp)，数字信号处理器(digitalsignalprocessor，dsp)，可编程的控制器，专用集成电路(applicationspecificintegratedcircuits，asic)，可编程逻辑器件(programmablelogicdevices，pld)或者其他类似的装置或组合。
在本实施例中，音频图像计算器132是以一个或多个算法/方法(例如，波束成形beamforming，到达角度(angleofarrival,aoa)，到达时间差(timedifferenceofarrival,tdoa)，到达频率差(frequencydifferenceofarrival,fdoa)或其他类似的相关的技术和算法/方法)所程序化的电路或芯片，通过输入根据声音产生的音频数据(或声音信号)来计算由声源产生的声音对应的到达方向(directionofarrival,doa)。例如，声音接收器111(1)接收声音，并相对应地产生接收到声音的音频数据。接下来，声音接收器111(1)将音频数据发送到控制器130的音频图像计算器132。将音频数据输入到音频图像计算器132，并将由声音接收器111(1)接收的声音所对应的到达方向，通过计算其操作而从音频图像计算器132输出。音频图像计算器132可以将由声音接收器111(1)接收的声音对应的到达方向发送到处理器131。由声音接收器111(1)接收的声音对应的到达方向(doa)可提供关于声音来自方向的(与接收声音的声音接收器有关的)空间信息。由doa提供的空间信息可以是正交坐标系(3d方向向量)中的方向向量。
显示设备120包括一个或多个透明镜片(例如镜片121和镜片122)。镜片可以设置在前框架101的中空区域上。在本实施例中，佩戴者的视线可以穿过透明镜片看到真实世界的场景(即，镜片视野view-via-lens)。换句话说，佩戴者的视觉可通过镜片捕捉到真实世界的场景。显示设备120被配置成以直接将视觉内容的图像信号发送到镜片的方式，在透明镜片的显示表面上绘制(render)(亦可称，算绘或算图)出视觉内容，以使镜片本身根据图像信号来显示视觉内容。举例来说，镜片可以是透明有机发光二极管(oled)显示面板，主动矩阵有机发光二极管(amoled)显示面板，场序式液晶显示器(fs-lcd)面板或薄膜晶体管液晶显示器(tft-lcd)面板。所述镜片视野用以表示佩戴者通过镜片所看到的所有视觉画面(包括真实世界的场景以及被绘制在显示表面上的视觉内容)。
在另一实施例中，显示设备120可绘制(render)出镜片上的视觉内容，方式是以将视觉内容的图像投射到包含可反射出投射的视觉内容图像的透明反射层的镜片显示表面。
在一实施例中，镜片可以包括，例如，电阻式触摸传感器(resistivetouchsensor)，电容式触摸传感器(capacitivetouchsensor)，和/或用来为检测在镜片上执行的触摸操作(动作)的其他合适类型的触摸传感器。
参照图2，在步骤s21中，通过电子装置10的声音接收器阵列110，声音接收器阵列接收在电子装置10周围的声源所发出的声音。举例来说，在图3a中，扬声器(其位在可穿戴式电子装置10的周围)发出声音s1(输出声音s1)，并且声音接收器阵列(每个声音接收器)检测(接收)该声音。接下来，在步骤s23中，声音接收器阵列根据接收到的声音产生多个音频数据。具体来说，每个声音接收器接收声音s1，并根据所接收到其声音压力或其他音频参数可能不同的声音，产生音频数据(也称为音频信号或声音信号)。然后，声音接收器阵列110可以将由不同的声音接收器产生的多个音频数据发送到控制器130。
在步骤s25中，控制器130对多个音频数据执行分析以判断声源相对于电子装置的相对方向，以及判断声音强度级别，并根据相对方向判断声源相对于电子装置的相对位置。
具体来说，在本实施例中，音频图像计算器132分别对所接收的声音，接收由声音接收器111(1)至111(5)和112(1)至112(5)分别产生的多个音频数据，并且音频图像计算器132可对每个音频数据计算doa，以分别获得多个音频数据对应的doa数据(通过对音频数据计算doa而获得doa数据)。doa数据包括了空间信息，其中的方向向量可以表示出从声源位置到提供doa数据所对应的音频数据的声音接收器的位置的3d方向。
例如，音频图像计算器132对由麦克风111(1)接收的声音s1(也被称为声音s1_111(1))产生的音频数据(也被称为音频数据s1_111(1))执行doa计算，然后通过计算doa输出doa数据(也称为doa数据s1_111(1)或doa数据111(1)_s1)。doa数据s1_111(1)可以是从声音s1的声源301的位置开始到声音接收器111(1)的位置的相对3d方向向量；doa数据111(1)_s1可以是从声音接收器111(1)的位置开始到声音s1的声源301的位置的相对3d方向向量。音频图像计算器132可以将计算出的多个doa数据发送给处理器以用于进一步的分析。
处理器131可以分析与声音所对应的多个doa数据，以判断声源相对于可穿戴式电子装置的相对方向(整体相对方向向量)。更详细地说，处理器131可根据声音对应的多个doa数据，计算出声源的位置与可穿戴式电子装置的参考点的位置之间的相对方向。
此外，处理器131可以分析声音所对应的多个doa数据，以判断声源和可穿戴式电子装置的相对位置(整体相对坐标)。更详细地说，处理器131可根据对应于声音的多个doa数据，计算声源的位置(坐标)与可穿戴式电子装置的参考点的位置(坐标)之间的相对位置。
在本实施例中，处理器131可以分析多个音频数据以判断声音强度级别。进一步来说，只有在判断的声音强度大于强度阈值时，处理器131才会开始执行步骤s27，以防止声音接收器阵列110因接收到的小背景噪音产生所对应的视觉内容。而且，在一实施例中，控制器130还包括音频过滤器(audiofilter)，音频过滤器过滤音频数据以防止所产生的音频数据受到佩戴者的声音和空间混叠(spatialaliasing)的影响。换句话说，声音接收器阵列可以通过音频过滤器消除佩戴者的声音(不接收佩戴者的声音)。
在一实施例中，使用音频过滤器将声音聚焦在想要的频率段(frequencyband)中。例如，语音音频过滤器可聚焦1khz到2khz频率的声音。
在步骤s27中，根据相对方向、声音强度级别以及相对位置，控制器130可产生与声音对应的计算机生成视觉内容。具体而言，处理器131根据相对方向和相对位置来判断(估计)是否声源图像可被佩戴者看到(即，判断声源图像是否是通过镜片位在佩戴者的视野内)来产生不同类型的计算机生成视觉内容(例如，第一计算机生成视觉内容和第二计算机生成视觉内容)。计算机生成视觉内容的大小或颜色可根据不同的声音强度级别做调整。声音强度的测量单位可以是，例如，「pa」或「db」。图3a至3e和4a至4c将描述不同类型的计算机生成视觉内容的更多细节，。
接下来，在步骤s29中，显示设备将与声音对应计算机生成视觉内容绘制在显示设备的透明镜片上，其中，可穿戴式电子装置的佩戴者从镜片一侧透过镜片可看到镜片视野(view-via-lens)。
具体来说，处理器131在产生与声音对应的计算机生成视觉内容(图像/影像)之后，将其发送到显示设备120，并且显示设备120将可代表声音的计算机生成视觉内容绘制在镜片上，使得通过佩戴者的视觉得以捕捉镜片视野(view-via-lens)，其中镜片视野(view-via-lens)包括镜片上所显示计算机生成视觉内容和佩戴者通过镜片所看到的真实世界场景(即，佩戴者会看到在镜片上所显示计算机生成视觉内容以及位在镜片前的现实世界的场景)。
参照图3a，例如，假设佩戴者穿戴可穿戴式电子装置10，电话302位于可穿戴式电子装置前方的桌子300上，并且佩戴者看到电话302(通过镜片121或镜片122，电话302位在可见范围)；发出声音s1的扬声器301位于可穿戴式电子装置10的左侧，而佩戴者不能看到扬声器301(扬声器301超过镜片121或镜片122的可见范围)。
声音接收器111(1)至111(5)和112(1)至112(5)接收声音s1并产生多个音频数据给控制器130。控制器130根据音频数据的分析，判断扬声器301的位置p1和可穿戴式电子装置10的参考点p2的相对方向d11以及相对位置。例如，如果可穿戴式电子装置参考点p2的坐标是(0,0,0)时，扬声器与可穿戴式电子装置的相对位置的坐标就是位置p1的坐标。
在本实施例中，控制器130根据相对方向d11以及相对位置来判断扬声器301是否位于镜片视野(view-via-lens)内。具体而言，如图3c所示，处理器131，例如通过佩戴者的眼睛进行校准程序，可以判断与镜片视野(view-via-lens)vl1的边界b1和b2对应的相对方向(在x-y平面上)的第一范围以及与镜片视野(view-via-lens)vl1的边界b3和b4对应的相对方向(在y-z平面上)的第二范围。然后，处理器131可以通过判断x-y平面上的相对方向d11是否在第一范围内来判断扬声器301的图像是否在镜片视野(view-via-lens)vl1内。在图3a的情况下，相对方向d11被判断为不在第一范围内，并且处理器131判断扬声器301的图像不在镜片视野(view-via-lens)vl1中(判断扬声器301不在镜片视野vl1)。即，处理器131判定配戴者不能透过镜片看到扬声器301。
此外，控制器130还根据相对方向来判断声源与可穿戴式电子装置之间的对应方位角ad1。d1方向的对应方位角为零度。
例如，根据相对方向d11，控制器130可以通过识别位在以可穿戴式电子装置10的参考点p2为中心的圆圈cm1与相对方向d11的相交点ps1，来判断扬声器301和可穿戴式电子装置10之间的对应方位角ad1，并且根据点ps1判断x-y平面(2d平面)中的方位角ad1。方位角ad1用来表示来自x-y平面的声音s1的方向。
在本实施例中，如果根据相对方向和相对位置判断声源不在镜片视野(view-via-lens)内，则控制器产生对应于声音的第一计算机生成视觉内容，其指示出声音强度级别和相对方向，并且显示设备在镜片上显示此第一计算机生成视觉内容。
如图3b所示，继续图3a中例子，扬声器301被判断出不在镜片视野(view-via-lens)vl1内，并且处理器131可以产生与声音s1对应的第一计算机生成视觉内容，其中第一计算机生成视觉内容可以是饼状图案cp1以及多个片段(分别对应于饼状图案的不同角度)的颜色是根据来自与多个片段对应的方向的声音强度级别来判断的。在下面的描述中，多个片段也可以被称为多个区域。例如，扬声器301(声源)所对应的一区域pr1的中心被定为相对方向d11与其中心是为可穿戴式电子装置10参考点位置p2的圆圈cm1的交点(cross-point)，并且根据来自扬声器301的声音s1的声音强度级别来判断区域pr1的颜色。因为分别对应于pr2和pr1的多个片段的声音强度级别不同，所以饼状图案cp1的区域pr2(多个片段pr2)的颜色(第二颜色)与饼状图案cp1的区域pr1(多个片段pr1)的颜色(第一颜色)不同。换句话说，处理器131将饼状图案中的声源(或声音)对应区域(或者片段)的中心角a1相等于对应的方位角ad1，以设置相对于扬声器的区域位置。因此，具有第一颜色(对应于第一声音强度级别)和饼状图案的第一角度的片段可表示为具有第一声音强度级别的声音，其来自于声源的方位角与所述饼状图案的第一角度相同的方向。在一实施例中，处理器131可以在饼状图案cp1中添加与声音对应的声音标记ps1，并且声音标记ps1的位置、颜色和/或尺寸可以根据音频特性(例如，声音强度级别、相对方向)判断。如果检测到多个声源，则相对应地在饼状图案cp1的特定区域(例如，pr1、pr2)处添加多个声音标记(例如，ps1)。
在本实施例中，第一计算机生成视觉内容包括箭头图案，其中箭头图案的颜色或尺寸由控制器根据声音强度级别来判断，其中箭头图案的斜率是由控制器根据相对方向来判断，其中箭头图案被绘制(isrendered)为指向镜片视野(view-via-lens)的一侧，所述一侧由控制器判断，并且所述一侧与可穿戴式电子装置关联的声源的一侧相同。
例如，参照图3c，假设镜片视野(view-via-lens)vl1的现实世界场景表现出电话302在桌子300上，并且镜片视野(view-via-lens)vl1还包括代表第一计算机生成视觉内容图标化的箭头图案ap1，用于指示出镜片视野(view-via-lens)vl1外部的声源。
要注意的是，图3c所绘示的实施例包括计算机生成视觉内容是用来表示来自各个方向的声音，以三维方式表示出声音成像。除了箭头图案ap1、ap2、ap3之外，图3b中也绘示出的饼状图案cp1。饼状图案cp1表示出每个声源相对于x-y平面的方位角，而箭头图案ap1、ap2、ap3的斜率表示每个检测到的声源相对于x-z平面的仰角(也称为高度角altitudeangle)。饼状图案cp1上的点ps1、ps2、ps3分别对应于箭头图案ap1、ap2、ap3的尖端处的点pt1、pt2、pt3。换句话说，饼状图案cp1和箭头图案ap1、ap2、ap3以三维方式显示声音成像。
具体而言，对于声音s1的扬声器301被判断为不在镜片视野(view-via-lens)vl1内，处理器131开始产生箭头图案ap1作为第一计算机生成视觉内容。首先，处理器131根据声音s1的声音强度级别(例如，较大的尺寸对应较大的声音强度级别，或较深的颜色对应较大的声音强度级别)来判断箭头图案ap1的尺寸或颜色。接着，处理器131依据扬声器301与可穿戴式电子装置10的相对方向或相对位置来决定扬声器301的一侧，且所判断的一侧为箭头图案ap1在镜片视野(view-via-lens)vl1上所指向的一侧。
在一实施例中，处理器131根据扬声器的相对方向(在y-z平面上)判断箭头图案ap1的斜率，即相对于可穿戴式电子装置的仰角。例如，箭头图案ap1的斜率为零，则表示扬声器301具有与可穿戴式电子装置相同高度。
在一实施例中，箭头图案所指向的点的位置和箭头图案的斜率可以有助于指示出对应的声音所来自的方向。例如，箭头图案ap2指向高度位于左侧中间以下的点pt2，这表示声音来自位于比可穿戴式电子装置的高度较低的声源。而且，根据箭头图案ap2的斜率(根据位于箭头图案ap2的声源与可穿戴式电子装置之间所判断的对应方位角来判断)，与箭头图案ap2对应的声源是来自可穿戴式电子装置的左下侧(沿着箭头图案ap3的斜面延伸出去，可到达通过镜片视野(view-via-lens)vl1的中心，并且可以取得方位角，其方位角表示出位于声源和可穿戴式电子装置之间的相对方位角)。在另一实施例中，箭头图案ap3指示出对应的声音是来自可穿戴式电子装置的右上侧。箭头图案ap3的声源的位置是在镜片视野(view-via-lens)vl1的范围之外(例如，在佩戴者的头顶上的空间中，并且该空间是在视线之外)。
在本实施例中，第一计算机生成视觉内容还包括条状图案(barpattern)，其类似于饼状图案，控制器根据声音强度级别判断条状图案的颜色，并将条状图案绘制在靠近镜片视野(view-via-lens)的一侧，其由控制器判断位于哪一侧，并与相对于可穿戴式电子装置的声源位于同侧。
图3d是依据本发明的一实施例关于产生图3a中音源的声音所对应的另一个第一计算机产生的视觉内容的示意图。
在本实施例中，可以由处理器131判断并显示佩戴者与声源的高度关系。如图3d所示，处理器131可通过根据x-z平面上的相对方向d11判断条状图案bp1中的高度h1来判断用于表示声音s1的声音标记ps5的位置。在这种情况下，由于高度h1被判断为与高度h2相同，所以用于表示声音s1的声音标记ps5的位置被判断为位于条状图案bp1的中间。在另一实施例中，如果声音的高度被判断为低于可穿戴式电子装置的高度，则用于表示相对应声音的片段的位置被判断为位于条状图案的下部。进一步举例，如果声音的高度被判断为高于可穿戴式电子装置的高度，则用于表示相对应声音片段的位置被判断位于条状图案的上部。
在本实施例中，处理器131可以分别在镜片视野(view-via-lens)vl2周围的四个边上产生四个条状图案。参照图3e，扬声器301被判断为不在镜片视野(view-via-lens)vl1内，并且处理器131可以显示条状图案bp1，并且显示作为与声音s1对应的第一计算机生成视觉内容的声音标记ps2。处理器131根据相对方向d11判断扬声器301的高度h1与可穿戴式电子装置的参考点的高度h2相同，且较暗色片段被绘制在靠近镜片视野(view-via-lens)vl2的左侧的条状图案bp1的中间，可指示出声音s1的扬声器301是位于可穿戴式电子装置的左侧，并且扬声器301的高度与可穿戴式电子装置的高度相同。在另一个实施例中，被绘制在靠近镜片视野(view-via-lens)vl2的顶部的条状图案bp2处的两个较暗色片段，可指示出两个对应的声音分别来自于该镜片视野可穿戴式电子装置的左上侧和右上侧。处理器131可以在条状图案(例如，声音标记ps2、ps3和ps4)上添加对应的声音标记。在一实施例中，条状图案bp3或bp4也可以分别显示在镜片视野(view-via-lens)vl2的左侧和底部然而，本发明并非旨在限制条状图案的显示方式，条状图案bp1、bp2、bp3或bp4可以仅在检测到声源时显示或产生。
参照图4a，类似于图3a中的例子，假设发出声音s2的电话机302在可穿戴式电子装置前面的桌子300上，并且佩戴者可以看见电话机302和桌子300(例如，镜片视野的现实世界场景表现出电话在桌子上)；没有声音的扬声器301在可穿戴式电子装置10的左侧，并且扬声器301不被佩戴者看到(扬声器301超过从镜片121或镜片122观看的视野范围)。
声音接收器111(1)至111(5)和112(1)至112(5)接收声音s2，并且向控制器130产生与声音s2对应的多个音频数据。控制器130根据音频数据的分析，判断电话302的位置p3相对于可穿戴式电子装置10的参考点p2的相对方向d31和相对位置。
在本实施例中，控制器130根据相对方向d31以及相对位置p3，判断声音s2的声源(电话302)是否位于镜片视野内。更详细地说，如图4a所示，处理器131根据相对方向d31以及参考点p2、141和142的相对位置，可计算位置p3以及对应于镜片121的参考点141的相对方向d21，以及位置p3和对应于镜片122的参考点142的相对方向d22。参考点141，举例来说，可以是通过佩戴者的左眼的视觉所捕捉到的镜片视野的位置；并且参考点142可以是通过佩戴者的右眼的视觉所捕捉到的镜片视野的位置。在另一实施例中，参考点141、142可以被指定为分别对应于镜片成像平面的位置。例如，镜片121上所显示的计算机生成视觉内容和通过镜片121看到的真实世界场景可被捕捉在与镜片121对应的成像平面上。
以左侧镜片121为例，与上述相似，处理器131判断与对应于镜片121和参考点141的镜片视野的边界b1和b2所对应的相对方向(在x-y平面上)的第一范围(水平范围)，以及对应于镜片121的镜片视野的b3和b4的相对方向(在y-z平面上)的第二范围(垂直范围)。接着，处理器131可以通过判断x-y平面上的相对方向d21是否在水平范围内，或者通过判断在正交坐标系上的垂直平面上的相对方向d21是否在垂直平面上，来判断电话302的图像是否在镜片视野(view-via-lens)vl3内。在图4a的情况下，相对方向d21被判断为处于水平范围内，并且处理器131判断电话301的图像位于对应于镜片121的镜片视野vl3中(电话302被判断位于镜片视野vl3内)。在一实施例中，处理器可以通过判断电话302和可穿戴式电子装置的相对位置是否处于虚拟观看空间(对应于镜片121)来确认/判断电话302的图像是否在镜片视野vl3内，其中每个位置被判断为在镜片视野vl3(对应于镜片121)内。
在本实施例中，如果声源是根据相对方向和相对位置被判断为位于镜片视野(view-via-lens)内，则声音对应的第二计算机生成视觉内容将会包括声源图案，其中，根据所述声音强度级别判断声源图案的颜色或尺寸，控制器根据对应于可穿戴式电子装置的声音的相对位置和相对方向判断镜片视野(view-via-lens)内与声源对应的虚拟坐标，且显示设备将第二计算机生成视觉内容绘制(render)在镜片的虚拟坐标上以在镜片上显示第二计算机生成视觉内容，使得第二计算机生成视觉内容被绘制在镜片视野(view-via-lens)内的声源的位置上。
例如，根据相对方向d21以及位置p3和参考点141的相对位置，处理器131可以计算镜片121的镜片视野(view-via-lens)vl3中的电话302对应的虚拟坐标。该虚拟坐标是相对方向d21从位置p3通过镜片121到参考点141的虚拟点vp1的坐标(经由镜片视野vl3被佩戴者的左眼视觉在参考点141上获取)。换言之，虚拟点vp1代表镜片121的镜片视野(view-via-lens)vl3中的电话302的图像的中心。镜片121的镜片视野中的电话302所对应的经判断(经计算)的虚拟坐标，可用来在镜片121上显示与声音s2对应的第二计算机生成视觉内容。同样地，虚拟点vp2代表镜片122的镜片视野中的电话302的图像的中心，以及对应的虚拟坐标用于在镜片122上显示与声音s2对应的第二计算机生成视觉内容。
如图4b所示，根据图4a中例子，电话302现在被判断为位在镜片视野(view-via-lens)vl3内，并且处理器131可以产生对应于声音s2的第二计算机生成视觉内容，其中第二计算机生成视觉内容可以是声源图案cp2。在本实施例中，声源图案可以是一个或多个饼状图案，其颜色和/或尺寸可以根据声音s2的声音强度级别判断。如图4b所示，经由镜片视野vl3的现实世界场景秀出在桌子300上的电话302，并且镜片视野(view-via-lens)vl3还包括声源图案cp2(例如，饼状图案cp2(1)、cp2(2)和cp2(3))，其被绘制在真实世界场景(在镜片视野vl3中)中的电话302的图像的位置上。在一实施例中，与声音模式cp2对应的声音的强度可以由声源图案cp2的饼状图案的数量来表现出(越多的圆圈表示越大的声音强度)。在另一实施例中，声音图案cp2对应的声音强度可以根据预设的颜色表(colormap)通过饼状图案的颜色来表现出。
在本实施例中，所述预设的颜色表为jet颜色表(jetcolormap)，jet颜色表中的多种颜色可以依次对应多个声音强度范围，以将声音强度跟jet颜色表对应。需要说明的地方是，本发明并不限于此，例如，在另一实施例中，预设的颜色表可以是任何合适的颜色表，如hsv颜色表，凉色系表(coolcolormap)，灰色系表(graycolormap)，热色系表(hotcolormap)，线色表(linescolormap)等。
本发明不限定声源图案的形状。例如，如图4c所示，镜片视野vl4包括分别具有不同颜色和尺寸的多个圆形区域cp3、cp4和cp5的声源图案。此外，在一实施例中，处理器131可以将分别对应于多个声源图案并混合为具有不规则形状的声源图案，其中不同的着色区域表示不同的声音强度。再者，如上所述，圆形区域cp3、cp4和cp5的颜色是根据预设的颜色表来决定。例如，当根据jet颜色表来判断的圆形区域cp3、cp4和cp5的颜色时，处理器131可以将声源的声音强度映像到jet颜色表以判断圆形区域cp3、cp4和cp5的颜色。
参照图5a，背景图像被绘示为可穿戴式电子装置前面的真实世界的场景，并且场景与图3a和3c所绘示的示实施例类似。如图5a所示，真实世界的场景511显示，在可穿戴式电子装置的前面，电话501位于佩戴者右前方的桌子601上，而扬声器502位于佩戴者左前方的桌子602上。假定，电话和扬声器502都发出声音，并且真实世界的场景的一部分被捕捉为镜片视野vl5中的真实世界场景。控制器130可以根据它们的声音来判断电话501和扬声器502的相对位置p4和p5。此外，佩戴者可看到电话501和桌子601(电话501在通过镜片121或镜片122可见视野的范围内)。
如图5b所示，控制器130判断声源501在镜片视野vl5内，而另一声源502不在镜片视野vl5内。并且，控制器130相对应地产生如图5b所示的计算机生成视觉内容cp6和ap4。如上所述，这两个计算机生成的内容提供可穿戴式电子装置周围声音的信息，一信息来自镜片视野内的来源，另一信息来自不在镜片视野内的来源。并且，第一计算机生成视觉内容cp6可表示出与第一计算机生成视觉内容cp6对应的声源位于现实世界中的第一计算机生成视觉内容cp6的位置处。第二计算机生成视觉内容ap4可表示出对应于第二计算机生成视觉内容ap4的另一个声源是位于真实世界中的可穿戴式电子装置的左侧。如果可穿戴式电子装置转向左，则可在不同于镜片视野vl5的镜片视野vl6中捕捉另一个声源的图像。
在图5a中，假设真实世界的场景的另一部分被捕捉为镜片视野vl6中的真实世界场景。控制器130可以根据它们的声音来判断电话501和扬声器502的相对位置p4和p5。如图5a所示，电话501和扬声器502位在镜片视野vl6内。
如图5c所示，控制器130可以判断两声源501和502在镜片视野vl6内，并且控制器130相对应地产生第二计算机生成视觉内容cp6和cp7，如图5c所示，其位置分别在p4和p5上。
综上所述，本发明，所提供的可穿戴式电子装置，该电子装置上由计算机执行的操作方法以及电子系统能够接收附近声源产生的声音，分析得到与接收到的声音对应的音频数据，并且相对应地产生并显示与接收到的声音对应的音频图像，从而通过显示在镜片视野(view-via-lens)上的音频图像(计算机生成视觉内容)或捕捉的图像来通知声音的强度和声音的相对方向/位置。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。