一种抬头显示装置的制作方法

1.本文涉及但不限于图像处理技术，尤指一种抬头显示装置。


背景技术：

2.随着人工智能技术的不断进步，自动化、物联网、工业及消费类应用的不断出现，对汽车驾驶体验及安全的要求和期待越来越高。抬头显示(hud)又被叫做平视显示系统，被广泛应用到汽车领域，其利用光学反射原理，通过成像设备，将行车过程中的导航信息、速度信息和档位信息等驾驶相关信息投影到前挡风玻璃上。驾驶人员无需低头，就可以通过投影显示的图像看到驾驶相关信息，从而避免因为查看驾驶相关信息分散对前方道路的注意力，提高了行车安全。
3.目前，由于前挡风玻璃的曲面特性加上光学反射，投影到前挡风玻璃上的图像会发生畸变弯曲；为了使驾驶员可以观察到清晰正确的图像信息，需要对畸变图像进行校正。相关技术中对图像进行畸变校正的处理包括：采用hud与不同曲率的挡风玻璃相适配的原则，通过微控制单元(mcu)来图像内容进行处理，并驱动显示。基于mcu的硬件平台外设有限、灵活性不够、速率较低且性能不高，仅适用于一些低分辨率的图像处理，难以满足用户对高分辨率图像、多可视化图像和内容更新效率等方面的应用需求。此外，上述校正畸变图像的处理导致汽车hud的通用性降低，不利于系统的移植推广。
4.综上，相关技术中基于mcu的图像校正，难以满足用户对高分辨率图像、多可视化图像和内容更新效率等方面的应用需求，如何提升畸变图像的处理效率，成为一个有待解决的问题。


技术实现要素：

5.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
6.本发明实施例提供一种抬头显示装置，能够在提升抬头显示的图像的显示质量的同时，保证图像更新的时效性。
7.本发明实施例还提供一种图像处理的装置，包括：微控制单元mcu和现场可编程门阵列fpga；其中，
8.mcu设置为：接收到任一个预定传感器发生数据更新的信息时，发送预设的对应于该预定传感器的处理指令至fpga；所述预定传感器包括一个或多个获取抬头显示数据的传感器；
9.fpga设置为：根据所接收的处理指令获取原始图像并缓存；确定抬头显示的畸变比例信息，根据确定的畸变比例信息对所述原始图像校正，以获得用于抬头显示的图像并输出；
10.其中，所述原始图像为用于抬头显示的图像。
11.本技术技术方案包括：mcu设置为：接收到任一个预定传感器发生数据更新的信息
时，发送预设的对应于该预定传感器的处理指令至fpga；预定传感器包括一个或多个获取抬头显示数据的传感器；fpga设置为：根据所接收的处理指令获取原始图像并缓存；确定抬头显示的畸变比例信息，根据确定的畸变比例信息对原始图像校正，以获得用于抬头显示的图像并输出；其中，原始图像为用于抬头显示的图像。本发明实施例fpga根据确定的畸变比例信息对抬头显示的原始图像进行校正，在提升图像显示质量同时提升了图像显示的时效性。
12.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
13.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
14.图1为本发明实施例抬头显示装置的结构框图；
15.图2为本发明实施例抬头显示装置的工作原理图；
16.图3为本发明应用示例的流程图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。
18.在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
19.图1为本发明实施例抬头显示装置的结构框图，如图1所示，包括：微控制单元(mcu)和现场可编程门阵列(fpga)；其中，
20.mcu设置为：对每一种获取抬头显示数据的传感器，接收到传感器发生数据更新的信息时，发送预设的对应于该传感器的处理指令至fpga；
21.fpga设置为：根据所接收的处理指令获取原始图像并缓存；确定抬头显示的畸变比例信息，根据确定的畸变比例信息对原始图像校正，以获得用于抬头显示的图像并输出；
22.其中，原始图像为用于抬头显示的图像。
23.本发明实施例fpga根据确定的畸变比例信息对抬头显示的原始图像进行校正，在提升图像显示质量同时提升了图像显示的时效性。
24.在一种示例性实例中，本发明实施例抬头显示装置还包括与fpga连接的第一存储介质和第二存储介质；其中，
25.第一存储介质用于存储原始图像；
26.第二存储介质用于缓存根据处理指令获取的原始图像；
27.其中，第二存储介质的读写速度大于第一存储介质的读写速度。
28.在一种示例性实例中，本发明实施例第一存储介质包括闪存(flash)；第二存储介
质包括单元限于：动态随机存取内存(dram)或双数据随机存取存储器(ddram)等，读写速度较快的存储介质。
29.fpga包括：缓存单元、确定畸变参数单元和预畸变处理单元；其中，
30.缓存单元设置为：根据处理指令读取对应于处理指令原始图像；缓存读取的原始图像；
31.确定畸变参数单元设置为：根据抬头显示界面中预定区域的区域图像和原始图像显示时的初始投影图像，确定抬头显示的畸变比例信息；
32.预畸变处理单元设置为：根据确定的畸变比例信息对原始图像进行预畸变处理，以获得用于抬头显示的图像；
33.其中，预定区域是用于显示初始投影图像的区域。
34.在一种示例性实例中，本发明实施例预定区域包括：进行防重影处理的用于抬头显示的区域；在一种示例性实例中，本发明实施例防重影处理包括但不限于对挡风玻璃进行贴膜处理的区域。
35.在一种示例性实例中，本发明实施例畸变包括：抬头显示时发生的鱼眼畸变。
36.在一种示例性实例中，本发明实施例抬头显示装置还包括与fpga连接的图像采集单元，设置为：
37.采集区域图像和初始投影图像；
38.将采集的区域图像和初始投影图像输入至fpga。
39.本发明实施例通过额外设定的图像采集单元获得区域图像和初始投影图像，为确定畸变比例信息提供数据支持。
40.在一种示例性实例中，本发明实施例区域图像和初始投影图像中的像素点一一对应；确定畸变参数单元是设置为：
41.将区域图像中每个像素点的rgb值(rgb代表红、绿、蓝三个通道的颜色)，分别减去初始投影图像中相对应的像素点的rgb值，获得每个像素点对应的rgb差值；
42.根据获得的rgb差值确定初始投影图像中每一行的起止位置；
43.根据确定的每一行的起止位置，确定初始投影图像每一行的宽度和每一列的高度；
44.根据确定的初始投影图像每一行的高度和宽度，获得畸变比例信息。
45.在一种示例性实例中，本发明实施例确定畸变参数单元是设置为根据获得的rgb差值确定初始投影图像中每一行的起止位置，包括：
46.在初始投影图像中，对每一行的像素点，将从左到右首个rgb差值不等于预设数值的像素点的位置确定为该行的起始位置，将从右到左首个rgb差值不等于预设数值的像素点的位置确定为该行的终点位置。
47.在一种示例性实例中，本发明实施例确定畸变参数单元是设置为根据确定的初始投影图像每一行的高度和宽度获得畸变比例信息，包括：
48.将确定的初始投影图像的每一行的宽度除以区域图像的宽度，获得原始图像的每一行的畸变比例信息；
49.将确定的初始投影图像的每一列的高度除以区域图像的高度，获得原始图像的每一列的畸变比例信息。
50.在一种示例性实例中，本发明实施例预设数值可以根据区域图像的rgb值确定，当区域图像的rgb值均为0时，上述预设数值等于0。
51.本发明实施例基于像素点的rgb确定初始投影图像的起始位置和终点位置，进而确定初始投影图像的图像宽度和图像高度；通过确定初始投影图像的宽度和高度，与区域图像的宽度和高度，确定了原始图像的行和列的畸变比例信息。
52.在一种示例性实例中，本发明实施例预畸变处理单元是设置为：
53.根据每一行的畸变比例信息，确定对原始图像的行进行预畸变处理的预畸变水平因子；
54.根据每一列的畸变比例信息，确定对原始图像的列进行预畸变处理的预畸变垂直因子；
55.根据确定的预畸变水平因子和预畸变垂直因子，对原始图像进行预畸变处理。
56.在一种示例性实例中，本发明实施例假设原始图像的坐标(x0，y0)，初始投影图像坐标(x1，y1)，预畸变处理后投影的图像坐标：(x2，y2)，预畸变水平因子为hsk，预畸变垂直因子为vsk，则进行预畸变处理后，上述坐标满足以下关系：
57.hsk＝x0/x1，vsk＝y0/y1；
58.x2＝x0*hsk，y2＝y0*vsk。
59.在一种示例性实例中，本发明实施例畸变参数单元对原始图像确定畸变比例信息的时序，满足抬头显示的显示时序要求。
60.本发明实施例显示时序要求为抬头显示系统参照相关原理确定的显示时序，本发明实施例fpga根据后端的显示时序要求，从dram中取出缓存的原始图像，通过原始图像投影前的区域图像和投影时的初始投影图像，确定上述畸变比例信息。
61.在一种示例性实例中，本发明实施例mcu和fpga通过集成电路总线iic连接。
62.在一种示例性实例中，本发明实施例fpga还包括驱动单元，设置为：
63.驱动后端显示校正的用于抬头显示的图像。
64.在一种示例性实例中，本实施例确定畸变比例信息后，根据畸变比例信息对原始图像进行校正后，由驱动单元参照相关技术驱动后端显示校正后的图像。
65.在一种示例性实例中，本发明实施例原始图像中包含以下一项或任意组合的数据：字库、档位和导航图标等信息；需要说明的是，原始图像中包含的数据还可以根据抬头显示的功能和应用场景等进行设定，例如、原始图像中还可以包括：剩余油量和/或电量、车内温度和其他与车辆驾驶相关的数据。
66.以下通过应用示例对本发明实施例进行简要说明，应用示例仅用于陈述本发明实施例，并不用于限定本技术的保护范围。
67.应用示例
68.本应用示例采用mcu与fpga结合的架构实现，较相关技术中的单mcu方案，系统具有更好的实时性，利用fpga的高并发运算，能很好的处理大分辨率图像数据，并实时进行图像校正输出，增加可视化的图像。图2为本发明实施例抬头显示装置的工作原理图，如图2所示，包括：mcu、fpga、flash和dram；其中，fpga包括iic接口、队列串行外设接口(qspi)和高速的低压差分信号传输(lvds)接口；mcu与fpga之间通过iic接口建立通信。flash用于存放字库、档位、导航图标等原始图像的数据。mcu通过can接口接收传感器更新的抬头显示的数
据，再将对应的处理指令通过iic接口发送给fpga，fpga通过对应的处理指令，映射到flash中对应的地址空间去读取数据。
69.在一种示例性实例中，本应用示例fpga内嵌丰富的输入串并转换器(ides)/输出并串转换器(oser)资源、锁相环(pll)、突发式管道同步静态存储器(bsram)存储器、监控屏幕显示(ovide)、lvds数据并串转换、iic从控制、qspi接口驱动和dram缓存和图像校正等资源，这些内嵌的资源搭配精简的fpga架构，利用fpga内部丰富的逻辑资源可实现处理指令传输、原始图像读写等功能，通过fpga对高分辨率图像进行处理，满足抬头显示对图像进行校正输出及实时更新显示的要求；为使本发明应用示例电路组成相关功能清楚，以下对各电路组成进行简要说明：
70.本应用示例中，pll用于完成时钟倍频动能，包括：实现lvds输出端输出时钟的3.5倍频，实现显示像素接口(dpi)输入随路时钟的倍频；ovideo用于实现数据的7:1的并串转换；lvds数据并串转换功能，用于在fpga内部将并行的rgb数据进行并串转换(rgb数据为并行数据，需要将并行的数据转换成串行数据输出，因为后端输出的lvds接口为串行高速接口)；通过iic从控制，fpga通过iic接口接收前端mcu发送的处理指令，通过处理指令到外部flash读取原始图像的数据；利用qspi接口驱动，fpga通过qspi接口读取flash数据，fpga在发送正确的显示时序时，flash端进行响应；fpga读回flash的原始图像的数据，并把数据缓存到dram中，flash接口的读取速率较低，无法满足后端驱动显示的速率要求，本应用示例利用dram器件读取速率快的特点，将原始图像的数据放在dram中进行缓存，从而满足后端显示驱动的需求。fpga从dram中读取出原始图像，因为抬头显示主要是通过投影显示，会发生畸变，因此在输出图像进行显示之前需对图像进行校正。
71.在一种示例性实例中，本发明应用示例中fpga与flash之间的通信接口为qspi，fpga作为主端，通过对应的处理指令访问flash对应的地址空间；dram作为中间缓存器件，fpga从flash读取回来的原始图像的数据要缓存在dram中；fpga驱动后端显示屏通过lvds接口，fpga将并行数据转成lvds串行数据格式发送。
72.本发明应用示例电路具有丰富的逻辑资源，可实现多种外设控制功能，能提供高效的计算功能和异常系统响应中断能力，根据需求选择所需的功能进行高并发运算和应用，具有多样性和灵活性；此外，本发明应用示例电路还具有高性能、使用灵活、瞬时启动、高安全性、方便扩展和代码移植性好等特点，可以适用于高分辨率图像的实时更新及图像校正的功能要求。
73.本应用以mcu作为主设备，fpga作为从设备，mcu接收各传感器更新的抬头显示的数据，转化为对应的处理指令发给fpga。fpga根据处理指令映射到flash对应的地址空间，读取原始图像的数据到dram中做缓存处理。根据后端的显示时序，fpga从dram中取出原始图像做校正处理；最后将校正处理后的图像打包发送到后端驱动显示；图3为本发明应用示例的流程图，如图3所示，包括：
74.步骤301、根据来自mcu的处理指令获取抬头显示的原始图像；
75.步骤302、图像采集单元采集获得抬头显示界面中预定区域的区域图像和原始图像显示时的初始投影图像；
76.步骤303、根据采集的区域图像和初始投影图像，确定初始投影图像的每一行的起始位置和终点位置；
77.步骤304、根据确定的初始投影图像的每一行的起始位置和终点位置，确定初始投影图像的每一行的图像宽度和每一列的图像高度；
78.步骤305、根据初始投影图像的每一行的图像宽度和每一列的图像高度，确定抬头显示的畸变比例信息；
79.本应用示例，确定抬头显示的畸变比例信息包括：
80.将确定的初始投影图像的每一行的图像宽度除以区域图像的图像宽度，获得原始图像的每一行的畸变比例信息；将确定的初始投影图像的每一列的图像高度除以区域图像的图像高度，获得原始图像的每一列的畸变比例信息。
81.步骤306、根据确定的畸变比例信息，对原始图像进行预畸变处理；
82.步骤307、驱动后端显示预畸变处理的原始图像。
83.在一种示例性实例中，本发明实施例预畸变处理的原始图像显示在挡风玻璃上用于显示原始图像的区域。
84.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。