图像处理方法和实现该图像处理方法的电子装置的制造方法
【专利摘要】提供了一种用于在电子装置中处理图像的方法和电子装置。所述方法包括：对图像数据中能够被划分的表面的数量进行预测；将与预测出的表面的数量相应的逆畸变渲染方法确定为用于对图像数据进行逆畸变渲染的方法；基于确定的逆畸变渲染方法将图像数据渲染成畸变图像；并且显示畸变图像。
【专利说明】
图像处理方法和实现该图像处理方法的电子装置
技术领域
[0001]本发明总体上涉及一种用于向用户显示图像的电子装置和处理图像的方法，更具体地，涉及一种用于向用户显示图像的电子装置和通过对在图像数据中能够被划分(partit1n)的表面的数量进行预测并确定与预测出的表面的数量相应的逆畸变(distort1n)清染方法来处理图像的方法。
【背景技术】
[0002]头戴式装置(HMD)是眼镜或头盔形式的电子装置，并且可包括显示单元和透镜。HMD通过就在用户眼睛前方部署显示单元来向用户提供超大屏幕，并且由于屏幕随着用户的移动而移动，因此HMD有助于提供虚拟现实世界。在HMD中，透镜单元通常被部署在屏幕的前部(即，在用户的眼睛和显示单元之间)以使显示单元的屏幕看起来更大以便用户能够通过透镜单元接收图像。
[0003]包括在头戴式装置(HMD)中的透镜单元使提供给显示单元的图像畸变，并将畸变图像提供给用户，并且用户通过透镜单元观看畸变图像。为了校正由透镜引起的畸变，电子装置可将图像数据处理为畸变图像(例如，凸图像)(即，执行逆畸变渲染)并且显示畸变图像。然后，用户可接收电子装置意图通过透镜单元提供的原始图像。常规的逆畸变渲染方法可包括2通道渲染处理。例如，逆畸变渲染方法可包括首先将3D图像数据渲染成2D图像的处理以及其次将2D图像渲染成逆畸变图像的处理。逆畸变图像由透镜转换成平面图像并且显示给用户。由于诸如相机数据的图像数据被二维地产生和存储，因此仅需要次级渲染处理。
[0004]在相关领域，逆畸变图像以像素为单位来产生，因此需要次级渲染处理。在次级渲染处理中，已经被渲染过一次的像素被重新计算，从而在严重畸变的边缘部分会产生图像质量的劣化。另外，电力消耗会随着渲染被执行两次而增加。具体地，在3D游戏中或当屏幕通过对用户运动的识别被更新时，用于渲染的计算会进一步增加。因此，直接戴在用户眼睛上的HMD可能会遇到与由于电力消耗的增加而导致的大量热量有关的问题。
[0005]本公开的各种实施例可提供一种能够在逆畸变渲染方法被执行时减少电力消耗和图像质量劣化的图像处理方法以及实现该图像处理方法的电子装置。
【发明内容】
[0006]技术问题
[0007]本发明解决了上述问题和缺点并至少提供以下描述的优点。因此，本发明的一方面在于提供一种与3D图像数据相比按照高速且低电力消耗对2D图像数据(诸如相机图像)进行的逆畸变渲染。
[0008]解决方案
[0009]根据本发明的一个方面，提供了一种在电子装置中处理图像的方法。所述方法包括:对图像数据中能够被划分的表面的数量进行预测;将与预测出的表面的数量相应的逆畸变渲染方法确定为用于对图像数据进行逆畸变渲染的方法;基于确定的逆畸变渲染方法将图像数据渲染成畸变图像;并且显示畸变图像。
[0010]根据本发明的另一个方面，提供了一种电子装置。所述电子装置包括:存储器，用于存储图像数据;处理器，被配置为对图像数据中能够被划分的表面的数量进行预测，将与预测出的表面的数量相应的逆畸变渲染方法确定为用于对图像数据进行逆畸变渲染的方法，并且基于确定的逆畸变渲染方法将图像数据渲染成畸变图像;显示单元，用于显示畸变图像。
[0011]根据本发明的另一个方面，提供了一种包括用于执行处理的程序的非暂时性计算机可读记录介质。所述处理包括:对图像数据中能够被划分的表面的数量进行预测;基于预测出的表面的数量来确定逆畸变渲染方法;基于确定的逆畸变渲染方法将图像数据渲染成畸变图像；以及显示畸变图像。
[0012]有益效果
[0013]本发明可提供一种能够在逆畸变渲染方法被执行时减少电力消耗和图像质量劣化的图像处理方法和实现该图像处理方法的电子装置。
【附图说明】
[0014]从结合附图的以下详细描述，本发明的以上和其它方面、特征和优点将更加清楚，其中:
[0015]图1是根据本发明的实施例的包括电子装置的网络环境的框图；
[0016]图2是根据本发明的实施例的电子装置的框图；
[0017]图3是根据本发明的实施例的图像提供装置和透镜单元的框图；
[0018]图4示出了根据本发明的实施例的图像提供装置和可以安装图像提供装置的固定器(holder)；
[0019]图5a和图5b分别是根据本发明的实施例的HMD的左视图和右视图；
[0020]图6是根据本发明的实施例的图像提供装置的框图；
[0021]图7a至图7c是根据本发明的实施例的2通道渲染方法的示图；
[0022]图8a和图Sb是根据本发明的实施例的I通道渲染方法的示图；
[0023]图9是示出根据本发明的实施例的图像处理方法的流程图；
[0024]图1Oa和图1Ob示出了I通道逆畸变渲染结果；
[0025]图1Ia和图1 Ib示出了2通道逆畸变渲染结果。
【具体实施方式】
[0026]以下参照附图对本发明进行描述。本发明可具有各种实施例，并且可在实施例中做出修饰和改变。因此，将参照附图中所示的实施例对本发明进行详细描述。然而，应该理解的是不意在将本发明限制到特定形式，并且本发明应该被解释为涵盖落入本发明的范围和精神内的所有修饰、等同物和/或替代物。在描述附图时，相似的元件由相似的参考标号指定。
[0027]如本发明中所使用的，表述“包括”或“可包括”指示相应的功能、操作或构成元件的存在，并且不限制一个或更多个附加功能、操作或构成元件。另外，如本发明中所使用的，诸如“包括”或“具有”的术语可被解释为指示特定的特性、标号、步骤、操作、构成元件、组件或它们的组合，但不能被解释为排除一个或更多个其他特性、标号、步骤、操作、构成元件、组件或它们的组合的存在或添加的可能性。
[0028]如本发明中所使用的，表述“或”包括一起列举的单词的任意或所有组合。例如，表述“A或B”可包括A，可包括B，或可包括A和B两者。
[0029]而如本发明中所使用的包括序号(诸如“第一”和“第二”)的表述可修饰各种构成元件，这样的构成元件不受以上表述所限制。例如，上述表述不限于相应的构成元件的顺序和/或重要性。上述表述仅用于将一构成元件与其他构成元件区分开。例如，第一用户装置和第二用户装置尽管都是用户装置，但指示不同的用户装置。例如，在不脱离本发明的范围和精神的情况下，第一构成元件可被称为第二构成元件，类似地，第二构成元件可被称为第一构成元件。
[0030]当组件被称为“连接”到另一组件或被所述另一组件“访问”时，应该理解的是，所述组件可直接连接到所述另一组件，或者被所述另一组件访问，但是另一个组件可插入所述组件和所述另一组件之间。相反，当组件被称为“直接连接”到另一组件或被所述另一组件“直接访问”时，应该理解的是，在所述组件和所述另一组件之间不存在附加的组件。
[0031]本发明的各种实施例中使用的术语仅用于描述实施例的目的，并且不意在限制本发明。除非上下文明确地另外说明，否则单数形式意在包括复数形式。
[0032]除非另外被定义，否则这里使用的所有术语(包括技术术语和科学术语)具有本发明所属领域的普通技术人员通常所理解的含义。在通用词典中被定义的这种术语将被解释为具有与相关领域中的上下文含义一致的含义，并且除非在本发明中被清楚地定义，否则不应该被解释为具有理想的或过度形式的含义。
[0033]根据本发明的电子装置可以是包括通信功能的装置。例如，电子装置可包括智能电话、平板个人电脑(PC)、移动电话、视频电话、电子书(e-book)阅读器、桌面PC、膝上型PC、笔记本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组音频层3(MP3)播放器、移动医疗器具、相机和可穿戴装置(例如，诸如电子眼镜的头戴式装置(HMD)、电子衣服、电子手镯、电子项链、电子应用配件、电子纹身或智能手表)中的至少一个。
[0034]根据本发明的实施例，电子装置可以是带有通信功能的智能家用电器。作为电子装置的智能家用电器可例如包括电视机、数字视频盘(DVD)播放器、音频装置、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或GoogIe TVTM、游戏控制台、电子词典、电子钥匙、摄像机和电子相框)中的至少一个。
[0035]根据本发明的实施例，电子装置可包括各种医疗装置(例如，磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)和超声机器)、导航装置、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、船舶电子设备(例如，船舶导航设备和陀螺仪)、航空电子设备、安全设备、车辆头部单元、工业或家用机器人、银行系统自动取款机(ATM)和商店销售点(POS)中的至少一个。
[0036]根据本发明的实施例，电子装置可包括家具或建筑/结构的一部分、电子板、电子签名接收装置、投影仪和各种测量仪器(例如，水表、电表、燃气表和无线电波表)中的至少一个。根据本发明的电子装置可以是前面所述的各种装置中的一个或更多个的组合。此外，根据本发明的电子装置可以是柔性装置。此外，对于本领域技术人员而言将清楚的是，根据本发明的电子装置不限于前面所述的装置。
[0037]以下将根据附图讨论根据本发明的各种实施例的电子装置。本发明的实施例中使用的术语“用户”可指示使用电子装置的任何人或使用电子装置的任何其他装置(例如，人工智能电子装置)。
[0038]图1是根据本发明的实施例的包括电子装置101的网络环境100的框图。
[0039 ] 参照图1，电子装置1I包括总线110、处理器120、存储器130、输入/输出接口 140、显示器150、通信接口 160和通信控制模块170。
[0040]总线110可以是互连前述组件并且在前述组件之间传送通信(例如，控制消息)的电路。
[0041]例如，处理器120经由总线110从除处理器120以外的前述组件(例如，存储器130、输入/输出接口 140、显示器150、通信接口 160和通信控制模块170)接收指令，对接收到的指令进行解码，并且根据解码出的指令来执行操作或数据处理。
[0042]存储器130存储从处理器120或其他组件(例如，输入/输出接口 140、显示器150、通信接口 160和通信控制模块170)接收到的或由处理器120或其他组件(例如，输入/输出接口140、显示器150、通信接口 160和通信控制模块170)产生的指令或数据。存储器130可包括编程模块，例如内核131、中间件132、应用编程接口( API)和应用134。上述编程模块中的每一个可由软件、固件、硬件或它们中的两种或更多种的组合来形成。
[0043]内核131控制或管理用于运行在剩余的其他编程模块(例如，中间件132、API133和应用134)中实现的操作或功能的系统资源(例如，总线110、处理器120和存储器130)。此夕卜，内核131可提供用于允许中间件132、API 133或应用134访问和控制或管理电子装置101的单个组件的接口。
[0044]中间件132在API 133或应用134与内核131之间进行调解，换句话说，允许API 133或应用134与内核131进行通信和交换数据。此外，中间件132可通过使用例如为应用134中的至少一个分配使用电子装置101的系统资源(例如，总线110、处理器120或存储器130)的优先级的方法来针对从应用134接收到的任务请求执行控制(例如，调度或负载均衡)。
[0045]API 133是用于允许应用134控制由内核131和中间件132提供的功能的接口，并且可包括至少一个用于例如文件控制、窗口控制、图像处理或文本控制的接口或功能(例如，指令)。
[0046]根据本发明的实施例，应用134包括短消息服务/多媒体消息服务(SMS/MMS)应用、电子邮件应用、日历应用、警报应用、健康护理应用(例如，用于测量运动量或血糖的应用)和环境信息应用(例如，用于提供大气压信息、湿度信息、温度信息等的应用)。另外地或者可选地，应用134可包括与电子装置101和外部电子装置(例如，电子装置104)之间的信息交换相关联的应用。与所述信息交换相关联的应用可包括例如用于向外部电子装置传送特定信息的通知转发应用或用于管理外部电子装置的装置管理应用。
[0047]例如，通知转发应用可包括用于向外部电子装置(例如，电子装置104)传送在电子装置101的另一应用(例如，SMS/MMS应用、电子邮件应用、健康护理应用或环境信息应用)中产生的通知信息的功能。另外地或可选地，通知转发应用例如可从外部电子装置(例如，电子装置104)接收通知信息并且向用户提供接收到的通知信息。装置管理应用例如可管理(例如，安装、移除或更新)外部电子装置(例如，电子装置104)的至少一部分与电子装置101进行通信的功能(例如，外部电子装置自身(或外部电子装置的一些组件)打开/关闭的功能或调整显示器的亮度(或分辨率)的功能)、在外部电子装置上运行的应用或外部电子装置中提供的服务(例如，呼叫或消息服务)。
[0048]根据本发明的实施例，应用134包括根据外部电子装置(例如，电子装置104)的属性(例如，类型)指定的应用。例如，当外部电子装置是MP3播放器时，应用134包括与音乐回放相关联的应用。类似地，当外部电子装置是移动医疗装置时，应用134包括与健康护理相关联的应用。根据本发明的实施例，应用134包括以下应用中的至少一个:对电子装置101指定的应用和从外部电子装置(例如，服务器106或电子装置104)接收到的应用。
[0049 ]输入/输出接口 140例如经由总线110将通过输入/输出装置(例如，传感器、键盘或触摸屏)从用户输入的指令或数据传送到处理器120、存储器130、通信接口 160或通信控制模块170。例如，输入/输出接口 140可向处理器120提供与经由触摸屏输入的用户触摸相应的数据。此外，输入/输出接口 140可例如经由总线110从处理器120、存储器130、通信接口160或通信控制模块170接收指令或数据，并且经由输入/输出装置(例如，扬声器或显示器)输出接收到的指令或数据。例如，输入/输出接口 140可经由扬声器向用户输出由处理器120处理的语音数据。
[0050]显示器150向用户显示各种信息(例如，多媒体数据或文本数据)。
[0051]通信接口 160在电子装置101和外部电子装置(例如，电子装置104或服务器106)之间建立通信。例如，通信接口 160可经由无线或有线通信与网络162连接，从而与外部电子装置进行通信。无线通信可包括例如以下项中的至少一项:无线保真(WiFi)、蓝牙(BT)、近场通信(NFC)、全球定位系统(GPS)和蜂窝通信(例如，长期演进(LTE)、高级LTE(LTE-A)Ji^v多址(CDMA)、宽带CDMA(WCDMA)、通用移动电话系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM))。有线通信可例如包括以下项中的至少一项:通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)和普通老式电话服务(POTS)。
[0052]根据本发明的实施例，网络162是电信网络。电信网络可包括计算机网络、互联网、物联网和电话网中的至少一个。根据本发明的实施例，用于在电子装置101和外部装置之间进行通信的协议(例如，传输层协议、数据链路层协议或物理层协议)可由应用134、应用程序接口 133、中间件132、内核131和通信接口 160中的至少一个支持。
[0053]通信控制模块170处理从其他组件(例如，处理器120、存储器130、输入/输出接口140和通信接口 160)获得的至少一些信息，并且以各种方式向用户提供处理后的信息。例如，通信控制模块170可识别电子装置101中提供的关于连接组件的信息，在存储器130中存储关于连接组件的信息，并且基于存储的关于连接组件的信息来执行应用134。下面将通过图2至图9的描述提供通信控制模块170的进一步的信息。
[0054]图2是根据本发明的实施例的电子装置200的框图。电子装置200可构成例如图1中示出的电子装置101的全部或一部分。
[0055]参照图2，电子装置200包括至少一个应用处理器(AP)210、通信模块220、至少一个用户识别模块(SIM)插槽224j到224_N、存储器230、传感器模块240、输入模块250、显示器260、接口 270、音频模块280、相机模块291、电力管理模块295、电池296、指示器297和电机298。
[0056]AP 210对操作系统或应用程序进行驱动以控制与AP 210连接的多个硬件或软件组件，并且执行对各种数据(包括多媒体数据)的处理和操作。AP 210例如可被实现为片上系统(SoC)。根据实施例，AP 210还可包括图形处理单元(GPU)。
[0057]通信模块220(例如，通信接口160)在与经由网络连接到电子装置200(例如，电子装置101)的其他电子装置(例如，电子装置104或服务器106)的通信中执行数据发送/接收。根据本发明的实施例，通信模块220包括蜂窝模块221^?1模块223、81'模块225、6?5模块227、NFC模块228和射频(RF)模块229。
[0058]蜂窝模块221 经由通信网络(例如，LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro 或 GSM)提供语音呼叫、视频呼叫、SMS服务、互联网服务等。此外，蜂窝模块221可通过使用例如用户身份识别模块(例如，S頂卡)来识别和认证通信网络内的电子装置。根据本发明的实施例，蜂窝模块221可执行可由AP 210提供的功能中的至少一部分功能。例如，蜂窝模块221可至少执行多媒体控制功能。
[0059]根据本发明的实施例，蜂窝模块221包括通信处理器(CP)。此外，蜂窝模块221例如可被实现为SoC。尽管蜂窝模块221 (例如，CP)、存储器230、电力管理模块295等在图2中被示出为与AP 210单独的元件，但根据本发明的实施例，AP 210可被实现为包括前述元件中的至少一些元件(例如，蜂窝模块221)。
[0060]根据本发明的实施例，AP210或蜂窝模块221(例如，CP)将从非易失性存储器或其它与之连接的元件中的至少一个接收到的命令或数据加载到易失性存储器中，并对加载的命令或数据进行处理。此外，AP 210或蜂窝模块221可将从其他元件中的至少一个接收到的数据或由其他元件中的至少一个产生的数据存储在非易失性存储器中。
[0061 ] W1-Fi模块223、BT模块225、GPS模块227和NFC模块228中的每一个例如可包括用于对通过相应模块发送或接收的数据进行处理的处理器。尽管蜂窝模块221、WiFi模块223、BT模块225、GPS模块227和NFC模块228在图2中被示出为单独的模块，但根据本发明的实施例，蜂窝模块221、胃丨？丨模块223、81'模块225、6?3模块227和即(:模块228中的至少一些模块(例如，两个或更多个)可被包括在一个集成电路、或芯片(IC)或一个IC封装中。例如，分别与蜂窝模块221、WiFi模块223、BT模块225、GPS模块227和NFC模块228相应的处理器中的至少一些处理器(例如，与蜂窝模块221相应的CP和与WiFi模块223相应的WiFi处理器)可被实现为^hSoC0
[0062]RF模块229执行数据发送/接收，例如RF信号发送/接收。RF模块229例如可包括收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)等。此外，RF模块229还可包括用于在无线通信中在空中发送/接收电磁波的组件，诸如导体或导线。尽管图2示出了蜂窝模块221、WiFi模块223、BT模块225、GPS模块227和NFC模块228共享一个RF模块229，但根据本发明的实施例，蜂窝模块221、WiFi模块223、BT模块225、GPS模块227和NFC模块228中的至少一个模块可经由单独的RF模块执行RF信号的发送/接收。
[0063]至少一个S頂卡225_1至225_N是包括用户识别模块的卡，并且被插入到在电子装置200的一个位置中形成的至少一个插槽224_1至224_N*。至少一个SM卡225_1至225_~包括唯一识别信息(例如，集成电路卡标识(ICCID))或用户信息(例如，国际移动用户识别码(IMSD)0
[0064]存储器230(例如，存储器130)包括内部存储器232或外部存储器234。内部存储器2 3 2例如可包括易失性存储器(例如，动态RAM (DRAM )、静态RAM ( SRAM)或同步动态RAM(SDRAM))和非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM (EPROM )、电可擦除可编程ROM (EEPROM )、掩蔽式ROM、闪存式ROM、NAND闪存或NOR闪存)中的至少一个。
[0065]根据本发明的实施例，内部存储器232是固态驱动器(SSD)。外部存储器234还可包括闪存驱动器，例如致密闪存(CF)存储卡、安全数字(SD)存储卡、微型安全数字(Micro-SD)存储卡、迷你安全数字(Min1-SD)存储卡、极速数字(xD)存储卡或记忆棒。外部存储器234可经由各种接口功能性地连接到电子装置200。根据本发明的实施例，电子装置200还可包括记录装置(或记录介质)，诸如硬盘驱动器。
[0066]传感器模块240测量物理量或检测电子装置200的操作状态，并将测量或检测的信息转换为电信号。传感器模块240例如可包括以下传感器中的至少一个:手势传感器240A、陀螺仪传感器240B、大气压传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如，红绿蓝(RGB)传感器))、生物计量传感器2401、温度/湿度传感器240J、照度传感器240K和紫外线(UV)传感器240M。另外地或可选地，传感器模块240例如可包括电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240还可包括用于控制传感器模块240中所包括的一个或更多个传感器的控制电路。
[0067]输入模块250包括触摸面板252、(数字)笔传感器254、键256或超声输入装置258。识别触摸输入的触摸面板252例如可包括电容触摸面板、电阻触摸面板、红外触摸面板和超声波触摸面板中的至少一个。此外，触摸面板252还可包括控制电路。当触摸面板是电容触摸面板时，可识别物理接触或物理接触的接近。触摸面板252还可包括触觉层。在这种情况下，触摸面板252向用户提供触觉反馈。
[0068](数字)笔传感器254例如可使用与从用户接收触摸输入的装置相同或相似的装置来实现，或者可使用单独的识别片来实现。键256例如可包括物理按钮、光学键或键盘。超声输入单元258是可通过经由输入工具产生超声信号并且通过电子装置200中的麦克风(例如，麦克风288)检测声波来识别数据的单元258，并且超声输入单元258能够进行无线识别。根据本发明的实施例，电子装置200还可通过使用通信模块220从连接到电子装置200的外部装置(例如，计算机或服务器)接收用户输入。
[0069]显示器260(例如，显示器150)可包括面板262、全息装置264或投影仪266。面板262例如可以是液晶显示器(LCD)或有源矩阵有机发光二极管(AM-OLED)。面板262例如可被实现为柔性的、透明的或可穿戴的。面板262也可与触摸板252—起被结合为一个模块。全息单元264通过使用光干涉将立体图像投射到空中。投影仪266通过将光投射到屏幕上来显示图像。屏幕例如可位于电子装置200的内部或外部。根据本发明的实施例，显示器260还可包括用于对面板262、全息装置264或投影仪266进行控制的控制电路。
[0070]接口 270例如可包括高清晰度多媒体接口(HDMI)272、通用串行总线(USB)274、光接口 276或超小型(D-sub)连接器278。接口 270例如可被包括在图1中所示的通信接口 160中。另外地或可选地，接口 270例如可包括移动高清晰度链路(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据协会(IrDA)接口。
[0071]音频模块280提供声音和电信号之间的双向转换。音频模块280的至少一些元件例如可被包括在图1中所示的输入/输出接口 140中。音频模块280例如可对经由扬声器282、接收器284、耳机286或麦克风288输入或输出的声音信息进行处理。
[0072]相机模块291是可捕捉静态或运动图像的装置，并且根据本发明的实施例，可包括一个或更多个图像传感器(例如，前置传感器或后置传感器)、透镜、图像信号处理器(ISP)或闪光灯(例如，发光二极管(LED)或氙气灯)。
[0073]电力管理模块295管理电子装置200的电力。电力管理模块例如可包括电力管理集成电路(PMIC)、充电器1C、电池或燃料量表。
[0074]例如，PMIC可被安装在IC或SoC半导体中。充电方法可分类为有线充电和无线充电。充电器IC可对电池充电，并且可防止从充电器诱发或流出的过电压或过电流。根据本发明的实施例，充电器IC可包括用于有线充电或无线充电中的至少一个的充电器1C。无线充电的示例包括磁共振充电、磁感应充电和电磁充电，并且诸如线圈回路、谐振电路或整流器的附加电路可被添加用于无线充电。
[0075]电池量表例如可测量电池296的剩余容量、充电电压、电流或温度。电池296可存储或产生电力，并且可通过使用存储或产生的电力对电子装置200供电。电池296例如可包括可再充电电池或太阳能电池。
[0076]指示器297显示电子装置200或电子装置200的一部分(例如，AP 210)的特定状态，例如启动状态、消息状态或充电状态。电机298将电信号转换为机械振动。电子装置200可包括用于支持移动电视(TV)的处理单元(例如，GPU)。用于支持移动TV的处理单元可根据例如数字多媒体广播(DMB)、数字视频广播(DVB)或媒体流的标准来处理媒体数据。
[0077]根据本发明的电子装置200的上述元件的每一个元件可由一个或更多个组件形成，并且相应元件的名称可根据电子装置200的类型而改变。根据本发明的电子装置200可包括上述元件中的至少一个元件，并且可排除一些元件或者还可包括其他附加元件。此外，根据本发明的电子装置200的一些元件可被耦接以形成单个实体，同时所述单个实体执行与相应元件在親接前的功能相同的功能。
[0078]本发明中使用的术语“模块”例如可表示包括硬件、软件和固件中的一个或它们中的两个或更多个的任意组合的单元。例如，“模块”可与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换。“模块”可以是集成组件或其一部分的最小的单元。“模块”可被机械地或电子地实现。例如，根据本发明的“模块”可包括现在已知的或未来将开发的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行操作的可编程逻辑装置中的至少一个。
[0079]图3是根据本发明的实施例的图像提供装置300和透镜单元310的框图。图像提供装置300可以是具有图2中描述的组件的电子装置。
[0080]参照图3，图像提供装置300显示图像。这样的图像可经由透镜单元310被提供给用户。
[0081]根据本发明的实施例，透镜单元310是头戴式装置(HMD)的组件。HMD可具有固定器。图像提供装置300可被安装到固定器或与固定器分离。图像被显示在安装到固定器的图像提供装置300的屏幕上，并且显示的图像可经由透镜单元310被提供给用户。
[0082]根据本发明的实施例，透镜单元310和图像提供装置300可以是包括在HMD中的组件。
[0083]图4示出了根据本发明的实施例的图像提供装置410和可安装图像提供装置410的固定器420。图像提供装置410可以是具有图2中描述的组件电子装置(例如，智能电话)。
[0084]参照图4，图像提供装置410可在屏幕上显示左眼图像411和右眼图像412。固定器420包括透镜单元(S卩，左眼透镜430和右眼透镜440)。此外，插槽421被设置在固定器420的一侧上，其中，图像提供装置410可通过插槽421被插入到固定器420中。因此，图像提供装置410可经由插槽421被插入到固定器420中。在被插入到固定器420中的图像提供装置410的屏幕上显示的图像通过透镜430和440被传送至用户的眼睛。左眼图像411通过左眼透镜430被传送至左眼，并且右眼图像412通过右眼透镜440被传送至右眼。
[0085]可安装图像提供装置410的固定器420不限于图4中示出的类型。根据本发明的实施例，插槽421形成在固定器420的一个表面(例如，与透镜430和440被布置的表面相对的表面)上，并且图像提供装置410能够被插入到插槽421中。此外，固定器420可包括能够覆盖插槽421的盖子。
[0086]图5a和图5b分别是根据本发明的实施例的HMD500的左视图和右视图。
[0087]参照图5a和5b，HMD500具有像眼镜一样被穿戴在用户头部的形式，并且包括固定器510和脚弓(temple bow)520。在固定器510的一侧上设置插槽511 (见图5a)，其中，图像提供装置(例如，图像提供装置410)可被插入到固定器510中的插槽511中，在固定器510(见图5b)的另一侧上设置输入单元(例如按钮512和触摸平板513)，其中，用户可通过输入单元控制被插入到固定器510中的图像提供装置。另外，固定器510中包括电子地和物理地连接输入单元和图像提供装置的连接终端。当用户按下按钮512时，图像提供装置可驱动例如相机以在屏幕上显示预览图像。
[0088]图6是根据本发明的实施例的图像提供装置600的框图。图像提供装置600可以是具有图2中描述的组件的电子装置。
[0089]参照图6，图像提供装置600包括用于控制图像提供装置600的组件的控制器610、用于存储图像数据、语音数据、文本数据、多媒体数据等的存储器620、用于处理存储的数据的数据处理器630、用于感测各条外部信息的传感器单元640、用于执行图形处理的图像处理单元650、用于执行其他图像处理的图像处理器660和用于显示产生的图像的显示单元670。
[0090]控制器610(例如，AP210)分析图像数据(例如，3D图像数据)，并基于分析的结果来确定逆畸变渲染模式为I通道模式或2通道模式。在虚拟空间中，对象可包括一组表面。将对象划分成多个表面的处理在3D图像处理领域通常被称为“曲面细分(tessellat1n)”，并且用于执行表面划分处理的程序被称为“曲面细分着色器”。
[0091]控制器610的分析操作包括确定是否能在图像数据中算出表面划分度(例如，能够从对象划分出的表面的数量)的处理。例如，控制器610可计算(或预测)虚拟空间对象中的哪个对象进行了移动，并且可计算移动对象的移动方向。控制器610基于对象的移动方向来确定对象的表面划分度是否可被算出。例如，当任何对象在3D游戏的虚拟空间中沿深度方向(例如，z轴方向)移动时，控制器610难以确定当对象接近虚拟视点或对象远离虚拟视点时是否执行“表面划分处理”。虚拟视点被定义为被映射到现实空间的虚拟空间上的用户视点。现实空间是用户和显示单元实际存在的空间，虚拟空间是通过显示单元所显示的对象存在的空间。当任何对象沿水平方向(例如，Y轴方向)移动时，控制器610相对容易执行“表面划分处理”。这是因为与对象沿深度方向移动的情况相比，当对象沿水平方向移动时虚拟视点和对象之间的距离更不容易发生变化。
[0092]当表面划分度能够在图像数据中被算出时，控制器610的分析操作还包括对图像数据中顶点的数量进行预测的处理以及确定预测出的顶点的数量是否大于或等于参考值的处理。顶点是表面的顶点，并且可包括x、y和z坐标值。
[0093]控制器610根据逆畸变渲染方法的确定结果来控制连接到控制器610的组件(例如，图形处理单元650和显示单元660)。例如，当确定表面划分度不能被算出时，控制器610控制图形处理单元650执行2通道渲染。当预测出的顶点的数量大于或等于参考值时，即使确定表面划分度能够被算出，控制器610仍控制图形处理单元650执行2通道渲染。当预测出的顶点的数量小于参考值时，控制器610控制图形处理单元650执行I通道渲染。
[0094]图形处理单元650处理存储在存储器620中的图像数据(例如，3D游戏数据)以执行I通道渲染或2通道渲染，并且将“畸变图像”作为I通道渲染或2通道渲染的结果输出至显示单元670。显示单元670在屏幕上显示畸变图像。
[0095]根据本发明的实施例，图形处理单元650可以是包括在控制器610(例如，AP210)中的组件。另外，图形处理单元650可代表控制器610执行分析图像数据和确定逆畸变渲染模式是I通道模式或2通道模式的操作。
[0096]图7a至图7c是根据本发明的实施例的2通道渲染方法的示图。
[0097]参照图7a，图像提供装置600执行初级渲染处理。具体地讲，控制器610产生3D图像数据710并且将产生的3D图像数据710发送至图形处理单元650。图形处理单元650通过将3D图像数据710投射到平面上来产生平面图像720。
[0098]参照图7b，图像提供装置600执行次级渲染处理。具体地讲，图形处理单元650通过在考虑透镜单元(例如，透镜单元310)的特性(例如，焦距、放大率、屏幕与透镜之间的距离等)的情况下对平面图像720进行渲染来获得逆畸变图像730。图形处理单元650将逆畸变的图像730发送至显示单元670。显示单元670在屏幕上显示逆畸变图像730。
[0099]参照图7c，逆畸变图像730通过透镜单元310被变形成平面图像740，然后被提供给用户。
[0100]图8a和图Sb是根据本发明的实施例的I通道渲染方法的示图。与主要用于移动装置的图形框架相应的用于嵌入式系统的0penGL(0penGL ES)可基于曲面细分着色器将2D图像识别为不考虑Z坐标的3D图像。因此，在下面描述基于3D渲染的实施例。
[0101]参照图8a，图像提供装置600执行I通道渲染处理。具体地讲，控制器610产生3D图像810并且将产生的3D图像数据810发送至图形处理单元650。图形处理单元650通过在考虑透镜的特性的情况下将3D图像数据810投射到平面上来产生逆畸变图像820。
[0102]参照图Sb，逆畸变图像820通过透镜单元310被变形成平面图像830，然后被提供给用户。
[0103]由于I通道渲染执行同时执行两个图像处理过程，因此I通道渲染具有诸如提高的渲染速度、降低的电力消耗等的优点。
[0104]包括在图像数据中的所有对象可由一组表面(例如，三角形)来表示。在I通道逆畸变渲染中，当图像数据没有被划分为大于或等于预定的参考值个表面时，透镜的畸变校正可能不准确。相应地，当预测到图像数据没有被划分为大于或等于参考值个表面时，图像提供装置600将逆畸变渲染模式从图8a和图Sb中示出的I通道模式转换为图7a至图7c中示出的2通道模式。当图像数据被划分为大于或等于参考值个表面但所述表面与具有过多表面的一组三角形相应时，用于I通道逆畸变渲染的计算增加，因此可能产生能力和电力消耗方面的问题。例如，当预测出的顶点的数量大于或等于参考值时，图像提供装置600将逆畸变渲染模式从I通道模式转换为2通道模式。
[0105]图9是示出根据本发明的实施例的图像处理方法的流程图。
[0106]参照图9，在步骤910，电子装置(例如，图像提供装置600)确定图像数据的表面划分度是否能够被算出。当作为确定的结果，确定表面划分度不能被算出时，图像提供装置600在步骤920将逆畸变渲染模式运行为2通道模式。
[0107]在步骤910，当作为确定的结果，确定表面划分度能够被算出时，图像提供装置600在步骤930对图像数据中顶点的数量进行预测。在步骤940，图像提供装置600确定预测出的顶点的数量是否大于或等于参考值。当作为确定的结果，确定顶点的数量大于或等于参考值时，图像提供装置600在步骤920将逆畸变渲染模式运行为2通道模式。
[0108]在步骤940，当作为确定的结果，预测出的顶点的数量小于参考值时，图像提供装置600在步骤950执行表面划分。在步骤960，图像提供装置600通过使用作为步骤950的结果而获得的表面划分信息来将逆畸变渲染模式运行为I通道模式。
[0109]图1Oa和1b以及Ila和Ilb示出了I通道逆畸变渲染结果和2通道逆畸变渲染结果。
[0110]在I通道模式中，当没有足够的表面划分操作时，逆畸变渲染可能不准确。然而，当执行足够的表面划分操作时(例如，当图像数据被划分为大于或等于预定参考值个表面时)，图1Oa中示出的通过I通道模式获得的逆畸变图像与图1Ob中示出的通过2通道模式获得的逆畸变图像之间的差异不大。另外，当虚拟空间上的对象具有少量的顶点和字符并且线条与从虚拟视点(即，用户在虚拟空间上的视点)开始的直线相应时，图1la中示出的I通道模式的结果可能比图1lb中示出的2通道模式的结果相对更清晰。
[0111]根据本发明的实施例，图像处理方法可包括:对图像数据中能够被划分的表面的数量进行预测;将与预测结果相应的逆畸变渲染方法确定为用于对图像数据进行逆畸变渲染的方法;基于确定的逆畸变渲染方法将图像数据渲染成畸变图像;并且显示畸变图像。对图像数据中能够被划分的表面的数量进行预测的步骤包括:确定在图像数据中能够被划分的表面的数量是否能够被算出；当确定表面的数量能够被算出时，对图像数据中的顶点的数量进行预测，其中，逆畸变渲染方法是基于预测出的顶点的数量来确定的。确定逆畸变渲染方法的步骤包括:当预测出的顶点的数量大于或等于参考值时，将逆畸变渲染方法确定为2通道模式;并且当预测出的顶点的数量小于参考值时，将逆畸变渲染方法确定为I通道模式。渲染图像数据的步骤包括:首先将图像数据渲染为平面图像，其次当逆畸变渲染方法被确定为2通道模式时，将平面图像渲染为畸变图像；当逆畸变渲染方法被确定为I通道模式时，将图像数据划分为多个表面，并且通过使用作为划分结果而获得的表面划分信息将图像数据渲染为畸变图像。确定逆畸变渲染方法的步骤还包括:当确定表面的数量不能被算出时，将逆畸变渲染方法确定为2通道模式。对图像数据进行渲染的步骤还包括:通过使用曲面细分着色器将图像数据划分为多个表面。
[0112]根据本发明的实施例，电子装置包括:存储器，用于存储图像数据;处理器，被配置为对图像数据中能够被划分的表面的数量进行预测，将与预测结果相应的逆畸变渲染方法确定为用于对图像数据进行逆畸变渲染的方法，并且基于确定的逆畸变渲染方法将图像数据渲染成畸变图像;显示单元，用于显示畸变图像。处理器可包括应用处理器和图形处理单元中的至少一个。电子装置可以是包括透镜单元的头戴式装置(HMD)。电子装置还可包括固定器，其中，显示单元可被安装到固定器或与固定器分离。
[0113]根据本发明的实施例，根据本发明的装置(例如，装置的模块或功能)或方法(例如，操作)中的至少一部分可通过以编程模块形式存储在非暂时性计算机可读存储介质中的指令来实现。当指令被至少一个处理器(例如，处理器210)执行时，所述至少一个处理器执行与指令相应的功能。非暂时性计算机可读存储介质可以是例如存储器220。编程模块中的至少一部分可通过例如处理器210来实现(例如，执行)。编程模块中的至少一部分可包括例如模块、程序、例程、指令集或用于执行一个或更多个功能的进程。
[0114]非暂时性计算机可读存储介质可包括磁介质(诸硬盘、软盘和磁带)、光学介质(诸如致密盘只读存储器(CD-ROM)和数字视频盘(DVD))、磁光介质(诸如软光盘)和专门被配置为存储和执行程序指令(例如，编程模块)的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。此外，程序指令还包括能通过使用解释器在计算机中执行的高级语言代码以及由编译器创建的机器代码。上述硬件装置可被配置为作为一个或更多个软件模块来操作以执行本发明的操作，反之亦然。
[0115]根据本发明的编程模块可包括上述组件中的一个或更多个，或还可包括其它的附加组件，或者上述组件中的一些组件可被省略。根据本发明的各种实施例的由模块、编程模块或其它组件元件执行的操作可被顺序地、并行地、重复地或启发式地执行。另外，一些操作可根据另一顺序被执行或可被省略，或其他操作可被增加。
[0116]说明书和附图中公开的实施例仅被提供用于简单描述本发明的技术内容并促进对本发明的理解，并且不意在限制本发明的范围。因此，从本发明的技术思想获得的所有改变或修改以及在此描述的实施例应该被解释为属于由权利要求及其等同物所定义的本发明的范围和精神。
【主权项】
1.一种在电子装置中处理图像的方法，所述方法包括: 对图像数据中能够被划分的表面的数量进行预测； 将与预测出的表面的数量相应的逆畸变渲染方法确定为用于对图像数据进行逆畸变渲染的方法； 基于确定的逆畸变渲染方法将图像数据渲染成畸变图像； 显示畸变图像。2.如权利要求1所述的方法，其中，对图像数据中能够被划分的表面的数量进行预测的步骤包括: 确定图像数据中能够被划分的表面的数量是否能够被算出； 当确定所述表面的数量能够被算出时，对图像数据中的顶点的数量进行预测， 其中，逆畸变渲染方法是基于预测出的顶点的数量来确定的。3.如权利要求2所述的方法，其中，确定逆畸变渲染方法的步骤包括: 当预测出的顶点的数量大于或等于参考值时，将逆畸变渲染方法确定为2通道模式； 当预测出的顶点的数量小于所述参考值时，将逆畸变渲染方法确定为I通道模式， 渲染图像数据的步骤包括: 当逆畸变渲染方法被确定为2通道模式时，首先将图像数据渲染成平面图像，然后将平面图像渲染成畸变图像； 当逆畸变渲染方法被确定为I通道模式时，将图像数据划分为多个表面，并通过使用作为划分结果而获得的表面划分信息来将图像数据渲染成畸变图像。4.如权利要求3所述的方法，其中，确定逆畸变清染方法的步骤还包括:当确定所述表面的数量不能被算出时，将逆畸变渲染方法确定为2通道模式。5.如权利要求3所述的方法，其中，渲染图像数据的步骤还包括:通过使用曲面细分着色器将图像数据划分为多个表面。6.如权利要求1所述的方法，其中，图像数据是3D图像数据。7.—种电子装置，包括: 存储器，用于存储图像数据； 处理器，被配置为对图像数据中能够被划分的表面的数量进行预测，将与预测出的表面的数量相应的逆畸变渲染方法确定为用于对图像数据进行逆畸变渲染的方法，并基于确定的逆畸变渲染方法将图像数据渲染为畸变图像； 显示单元，用于显示畸变图像。8.如权利要求7所述的电子装置，其中，处理器包括应用处理器和图形处理单元中的至少一个。9.如权利要求7所述的电子装置，其中，电子装置是头戴式装置(HMD)，其中，该头戴式装置(HMD)进一步包括透镜单元。10.如权利要求9所述的电子装置，还包括固定器，其中，显示单元被安装到固定器或与固定器分离。11.如权利要求7所述的电子装置，其中，处理器被配置为确定图像数据中能够被划分的表面的数量是否能够被算出，当确定所述表面的数量能够被算出时对图像数据中的顶点的数量进行预测，并且基于预测出的顶点的数量来确定逆畸变渲染方法。12.如权利要求11所述的电子装置，其中，处理器还被配置为:当预测出的顶点的数量大于或等于参考值时，首先将图像数据渲染成平面图像，然后将平面图像渲染成畸变图像，当预测出的顶点的数量小于参考值时，将图像数据划分为多个表面，并通过使用作为划分结果而获得的表面划分信息来将图像数据渲染成畸变图像。13.如权利要求11所述的电子装置，其中，处理器被配置为:当确定所述表面的数量不能被算出时，首先将图像数据渲染成平面图像，然后将平面图像渲染成畸变图像。14.如权利要求7所述的电子装置，其中，图像数据是3D图像数据。15.—种包括用于执行处理的程序的非暂时性计算机可读记录介质，其中，所述处理包括: 对图像数据中能够被划分的表面的数量进行预测； 基于预测出的表面的数量来确定逆畸变渲染方法； 基于确定的逆畸变渲染方法将图像数据渲染成畸变图像； 显示畸变图像。
【文档编号】G06T1/00GK105874505SQ201580003701
【公开日】2016年8月17日
【申请日】2015年1月5日
【发明人】崔友诚, 李姃恩
【申请人】三星电子株式会社