1.本技术涉及图像处理技术领域,尤其涉及一种图像处理方法及相关装置。
背景技术:2.随着汽车智能化技术的发展,摄像头由于能够提供汽车周围的路况影像信息已在汽车上得到广泛应用。其中,车载环视系统往往包括多个摄像头,可拍摄汽车周围全方位的环境,并将多个摄像头采集到的影像信息在汽车中控台的屏幕上显示,是提高驾驶员行驶安全的重要部件之一。然而,多个摄像头同时工作时,各摄像头的数据传输可能不同步,进而可能会导致数据解析出错。
技术实现要素:3.本技术实施例提供一种图像处理方法及相关装置,可避免由于多个拍摄设备的数据传输不同步导致的数据解析错误。
4.第一方面,本技术提供一种图像处理方法,该方法可包括:获取多个拍摄设备各自对应的第一数据帧;其中,多个拍摄设备中包括参考拍摄设备,参考拍摄设备对应的第一数据帧与参考拍摄设备拍摄得到的初始数据帧的图像数据相同;每个数据帧包括n份图像数据,n为大于1的整数,每份图像数据均包括标识数据,第一数据帧的每份图像数据中的标识数据包括:拍摄设备标识和图像数据在对应的初始数据帧中的位置标识,拍摄设备标识用于标识拍摄图像数据对应的初始数据帧的拍摄设备;将多个拍摄设备各自对应的第一数据帧进行组合,得到组合数据帧;根据组合数据帧中图像数据的标识数据,对组合数据帧进行帧重组处理,得到各个拍摄设备的第二数据帧,各个拍摄设备的第二数据帧与拍摄设备拍摄得到的初始数据帧的图像数据相同。可见,将多个拍摄设备各自对应的第一数据帧组合为组合数据帧,通过对组合数据帧进行帧重组处理,便能够恢复与各个拍摄设备拍摄得到的初始数据帧的图像数据相同的第二数据帧,有效避免了由于多个拍摄设备的数据传输不同步而导致的数据解析错误。
5.在一种可能的实现方式中,组合数据帧包括第一组合数据帧和第二组合数据帧;根据组合数据帧中图像数据的标识数据,对组合数据帧进行帧重组处理,得到各个拍摄设备的第二数据帧,包括:对于多个拍摄设备中除参考拍摄设备以外的每个目标拍摄设备,将第一组合数据帧和第二组合数据帧中属于目标拍摄设备拍摄的同一帧初始数据帧的数据进行拼接,得到目标拍摄设备的第二数据帧。可见,将第一组合数据帧和第二组合数据帧进行拼接,以便于得到与目标拍摄设备拍摄得到的初始数据帧的图像数据相同的第二数据帧。
6.在一种可能的实现方式中,第一组合数据帧与第二组合数据帧为相邻的数据帧。
7.在一种可能的实现方式中,一份图像数据为一行图像数据;一行图像数据在对应的初始数据帧中的位置标识为:一行图像数据在对应的初始数据帧中的行标识。
8.在一种可能的实现方式中,第一组合数据帧为第二组合数据帧的前一帧,上述方
法还包括:将第一组合数据帧和第二组合数据帧中拍摄设备标识为目标拍摄设备的标识的图像数据,确定为目标拍摄设备的图像数据;其中,目标拍摄设备的第二数据帧包括:第一组合数据帧中目标拍摄设备的图像数据中的后m行图像数据,以及第二组合数据帧中目标拍摄设备的图像数据中的前(n-m)行图像数据,m为小于n的正整数。可见,预先按照拍摄设备标识确定属于目标拍摄设备的图像数据,以便于将第一组合数据帧中目标拍摄设备的图像数据和第二组合数据帧中目标拍摄设备的图像数据进行拼接。
9.在一种可能的实现方式中,上述方法还包括:根据第一组合数据帧中目标拍摄设备的图像数据的行标识,确定第一组合数据帧中目标拍摄设备的图像数据是否属于目标拍摄设备拍摄的同一帧初始数据帧的数据;若第一组合数据帧中目标拍摄设备的图像数据不属于目标拍摄设备拍摄的同一帧初始数据帧的数据,则触发将第一组合数据帧和第二组合数据帧中属于目标拍摄设备拍摄的同一帧初始数据帧的数据进行拼接,得到目标拍摄设备的第二数据帧的步骤。可见,若第一组合数据帧中目标拍摄设备的图像数据属于同一帧初始数据帧的数据,则无需将第一组合数据帧和第二组合数据帧中属于目标拍摄设备的图像数据进行拼接。
10.第二方面,本技术提供了一种图像处理装置,该装置包括获取单元和处理单元,其中:获取单元,用于获取多个拍摄设备各自对应的第一数据帧;其中,多个拍摄设备中包括参考拍摄设备,参考拍摄设备对应的第一数据帧与参考拍摄设备拍摄得到的初始数据帧的图像数据相同;每个数据帧包括n份图像数据,n为大于1的整数,每份图像数据均包括标识数据,第一数据帧的每份图像数据中的标识数据包括:拍摄设备标识和图像数据在对应的初始数据帧中的位置标识,拍摄设备标识用于标识拍摄图像数据对应的初始数据帧的拍摄设备;处理单元,用于将多个拍摄设备各自对应的第一数据帧进行组合,得到组合数据帧;根据组合数据帧中图像数据的标识数据,对组合数据帧进行帧重组处理,得到各个拍摄设备的第二数据帧,各个拍摄设备的第二数据帧与拍摄设备拍摄得到的初始数据帧的图像数据相同。
11.第三方面,本技术提供了另一种图像处理装置,该装置包括处理器,处理器用于执行上述第一方面及其任一种可能的实现方式中的方法。
12.第四方面,本技术提供了一种芯片,该芯片,用于获取多个拍摄设备各自对应的第一数据帧;其中,多个拍摄设备中包括参考拍摄设备,参考拍摄设备对应的第一数据帧与参考拍摄设备拍摄得到的初始数据帧的图像数据相同;每个数据帧包括n份图像数据,n为大于1的整数,每份图像数据均包括标识数据,第一数据帧的每份图像数据中的标识数据包括:拍摄设备标识和图像数据在对应的初始数据帧中的位置标识,拍摄设备标识用于标识拍摄图像数据对应的初始数据帧的拍摄设备;将多个拍摄设备各自对应的第一数据帧进行组合,得到组合数据帧;根据组合数据帧中图像数据的标识数据,对组合数据帧进行帧重组处理,得到各个拍摄设备的第二数据帧,各个拍摄设备的第二数据帧与拍摄设备拍摄得到的初始数据帧的图像数据相同。
13.第五方面,本技术提供了一种芯片模组,该芯片模组包括通信接口和芯片,其中:通信接口用于进行芯片模组内部通信,或者用于所述芯片模组与外部设备进行通信;芯片用于:获取多个拍摄设备各自对应的第一数据帧;其中,多个拍摄设备中包括参考拍摄设备,参考拍摄设备对应的第一数据帧与参考拍摄设备拍摄得到的初始数据帧的图像数据相
同;每个数据帧包括n份图像数据,n为大于1的整数,每份图像数据均包括标识数据,第一数据帧的每份图像数据中的标识数据包括:拍摄设备标识和图像数据在对应的初始数据帧中的位置标识,拍摄设备标识用于标识拍摄图像数据对应的初始数据帧的拍摄设备;将多个拍摄设备各自对应的第一数据帧进行组合,得到组合数据帧;根据组合数据帧中图像数据的标识数据,对组合数据帧进行帧重组处理,得到各个拍摄设备的第二数据帧,各个拍摄设备的第二数据帧与拍摄设备拍摄得到的初始数据帧的图像数据相同。
14.第六方面,本技术提供了一种计算机可读存储介质,该计算机存储介质中存储有计算机程序或指令,计算机程序或指令被执行时实现上述第一方面及其任一种可能的实现方式中的方法。
15.第七方面,本技术提供一种计算机程序或计算机程序产品,包括代码或指令,当代码或指令在计算机上运行时,使得计算机执行如第一方面的及其任一种可能的实现方式中的方法。
附图说明
16.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
17.图1是本技术实施例提供的一种图像处理装置的硬件结构示意图;
18.图2是本技术实施例提供的一种图像处理方法的流程示意图;
19.图3是本技术实施例提供的一种mipi格式的数据包的结构示意图;
20.图4是本技术实施例提供的一种图像处理方法中对组合数据帧进行帧重组处理的流程示意图;
21.图5是本技术实施例提供的一种图像处理系统的架构示意图;
22.图6是本技术实施例提供的一种图像处理装置的结构示意图;
23.图7是本技术实施例提供的另一种图像处理装置的结构示意图;
24.图8是本技术实施例提供的一种芯片模组的结构示意图。
具体实施方式
25.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
26.本技术实施例提供一种图像处理方法,可同时获取多个拍摄设备各自对应的第一数据帧,多个拍摄设备中包括参考拍摄设备,该参考拍摄设备对应的第一数据帧与参考拍摄设备拍摄得到的初始数据帧的图像数据相同。第一数据帧的每行图像数据包括拍摄设备标识和该行图像数据在对应的初始数据帧中的行标识。将多个拍摄设备各自对应的第一数据帧进行组合,得到组合数据帧后可根据组合数据帧中的标识数据,对组合数据帧进行帧重组处理,由此得到与各个拍摄设备的初始数据帧的图像数据相同的第二数据帧。通过这
种方式,即使多个摄像头的数据传输不同步,也能得到与各个拍摄设备的初始数据帧的图像数据相同的第二数据帧,避免了由于各个拍摄设备的数据传输不同步导致的数据解析错误的情况发生,有利于确保各个拍摄设备采集的图像能够同时显示。
27.请参见图1,图1为实现本技术实施例的一种图像处理装置的硬件结构示意图,该图像处理装置100可以包括:射频(radio frequency,rf)单元101、wifi模块102、音频输出单元103、视频输出单元104、a/v(音频/视频)输入单元105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。
28.下面结合图1对图像处理装置的各个部件进行具体的介绍:
29.射频单元101用于信号的接收和发送。示例性的,射频单元101可接收其他设备发送的音频数据或视频数据,并给处理器110处理。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。无线通信可使用任一通信标准或协议,包括但不限于全球移动通讯系统(global system of mobile communication,gsm)、通用分组无线服务(general packet radio service,gprs)、码分多址2000(code division multiple access 2000,cdma2000)、宽带码分多址(wideband code division multiple access,wcdma)、时分同步码分多址(time division-synchronous code division multiple access,td-scdma)、频分双工长期演进(frequency division duplexing-long term evolution,fdd-lte)、分时双工长期演进(time division duplexing-long term evolution,tdd-lte)和第五代通信技术(5th-generation,5g)等。
30.wifi属于短距离无线传输技术,图像处理装置通过wifi模块102可以帮助用户传输视频文件,它为用户提供了无线的宽带互联网访问。虽然图1示出了wifi模块102,但是可以理解的是,其并不属于图像处理装置的必须构成,完全可以根据需要在不改变本技术的本质的范围内而省略。
31.音频输出单元103可以将射频单元101或wifi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。音频输出单元103可以包括扬声器、蜂鸣器等等。
32.视频输出单元104可以将射频单元101或wifi模块102接收的或者在存储器109中存储的视频数据转换成视频信号并且输出为图像。视频输出单元104可以包括显示屏等。
33.a/v输入单元105用于接收音频或视频信号。a/v输入单元105可以包括拍摄设备1051和麦克风1052,拍摄设备1051可采集影像信息,并将采集到的影像信息处理为数据帧。经拍摄设备1051获取的数据帧,可以存储在存储器109(或其它存储介质)中或者经由射频单元101或wifi模块102进行发送。需要说明的是,应用在本技术实施例中,图像处理装置100可包括多个拍摄设备,图1中示出的拍摄设备1051仅作为举例,并不构成对图像处理装置100的限定。麦克风1052可以在拍摄设备采集影像信息时接收声音,并且能够将这样的声音处理为音频数据。麦克风1052可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
34.显示单元106可用于显示拍摄设备拍摄的静态图片或视频。显示单元106可包括显示面板1061,可以采用液晶显示器(liquid crystal display,lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板1061。
35.用户输入单元107可用于接收输入的数字或字符信息,以及产生与图像处理装置的用户设置以及功能控制有关的键信号输入。可选地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。可选地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
36.可选地,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现图像处理装置的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现图像处理装置的输入和输出功能,具体此处不做限定。
37.接口单元108用作至少一个外部装置与图像处理装置100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到图像处理装置100内的一个或多个元件或者可以用于在图像处理装置100和外部装置之间传输数据。
38.存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,可选地,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、视频播放功能等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
39.处理器110是图像处理装置的控制中心,利用各种接口和线路连接整个图像处理装置的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行图像处理装置的各种功能和处理数据,从而对图像处理装置进行整体监控。处理器110可包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
40.图像处理装置100还可以包括给各个部件供电的电源111(比如电池),优选的,电
源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
41.尽管图1未示出,图像处理装置100还可以包括转接芯片,可用于将多个拍摄设备获取的模拟信号转化为数字信号。
42.可以理解的是,图1中示出的图像处理装置结构并不构成对图像处理装置的限定,图像处理装置可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
43.下面结合附图对本技术提供的图像处理方法及相关装置进行详细地介绍。
44.请参见图2,图2为本技术实施例提供的一种图像处理方法的流程图。该图像处理方法可以由图像处理装置执行,或者可以由图像处理装置中的芯片执行,为了便于理解,本技术实施例以图像处理装置执行为例进行说明。图像处理装置可以是电子设备。如图2所示,该图像处理方法可以包括但不限于如下步骤s201~s203。
45.s201、获取多个拍摄设备各自对应的第一数据帧。
46.在本技术实施例中,图像处理装置可获取多个拍摄设备各自对应的第一数据帧。其中,多个拍摄设备中包括参考拍摄设备,参考拍摄设备对应的第一数据帧与参考拍摄设备拍摄得到的初始数据帧的图像数据相同,每个数据帧包括n份图像数据,每份图像数据均包括标识数据,第一数据帧的每份图像数据中的标识数据包括拍摄设备标识和图像数据在对应的初始数据帧中的位置标识,该拍摄设备标识用于标识拍摄图像数据对应的初始数据帧的拍摄设备。
47.在本技术实施例中,多个拍摄设备可以是图像处理装置的外接设备,也可以是与图像处理装置一体的设备。参考拍摄设备可以是多个拍摄设备中的任意拍摄设备,参考拍摄设备的数量可以为一个或多个。参考拍摄设备可以预先设置,如图像处理装置根据用户需求进行设置。在图像处理装置上电之后,可以按照指定的工作模式获取多个拍摄设备各自对应的第一数据帧。可选的,指定的工作模式可以指:图像处理装置以参考拍摄设备拍摄得到的初始数据帧为参考,获取多个拍摄设备传输的第一数据帧,其中,每个第一数据帧可包括n份图像数据。可选的,一份图像数据可以为一行图像数据。示例性的,以多个拍摄设备包括拍摄设备1、拍摄设备2、拍摄设备3,且参考拍摄设备为拍摄设备1为例。当图像处理装置开始获取到拍摄设备1拍摄得到的初始数据帧中的第一行图像数据时,同时也开始获取其他拍摄设备(即拍摄设备2、拍摄设备3)拍摄得到的图像数据,这时,拍摄设备2正在传输的图像数据可能是拍摄设备2拍摄得到的初始数据帧中的第一行图像数据,也可能不是拍摄设备2拍摄得到的初始数据帧中的第一行图像数据,同理,拍摄设备3正在传输的图像数据可能是拍摄设备3拍摄得到的初始数据帧中的第一行图像数据,也可能不是拍摄设备3拍摄得到的初始数据帧中的第一行图像数据。相应地,当图像处理装置成功获取拍摄设备1拍摄得到的初始数据帧中的最后一行图像数据时,同时也停止获取拍摄设备2和拍摄设备3拍摄得到的图像数据,并将在这过程中分别获取到的多个拍摄设备(即拍摄设备1、拍摄设备2、拍摄设备3)的图像数据作为多个拍摄设备各自对应的第一数据帧。需要说明的是,初始数据帧指的是一帧完整图像对应的数据帧,可以理解为拍摄设备拍摄得到的完整的一帧。
48.在一种实现方式中,每个数据帧(如第一数据帧、后文提及的第二数据帧)都包括n份图像数据。可选的,一份图像数据可以为一行图像数据,一行图像数据在对应的初始数据
帧中的位置标识可以为该一行图像数据在对应的初始数据帧中的行标识。其中,每行图像数据中的拍摄设备标识和每行图像数据在对应的初始数据帧中的行标识均可以是由图像处理装置添加的。举例来说,假设多个拍摄设备包括拍摄设备1和拍摄设备2,其中,拍摄设备1为预置的参考拍摄设备,当图像处理装置获取拍摄设备1拍摄得到的初始数据帧中的第一行图像数据时,可以为该第一行图像数据添加标识数据“拍摄设备(camera)1,行数(line)1”,与此同时,对于拍摄设备2拍摄得到的初始数据帧中的第五行图像数据,图像处理装置可以为该图像数据添加标识数据“camera 2,line 5”。
49.值得注意的是,图像处理装置在获取多个拍摄设备各自对应的第一数据帧时,是以多个拍摄设备中的参考拍摄设备(如拍摄设备1)为基准。也就是说,在接收拍摄设备1的一帧完整图像对应的数据帧(例如可以是n行图像数据)时间范围内,接收到的拍摄设备2的n行图像数据,可视为拍摄设备2的第一数据帧。然而,对于拍摄设备2的第一数据帧中的第一行数据,可能不是对应拍摄设备2的初始数据帧中的第一行数据,这就表示拍摄设备1与拍摄设备2的数据传输不同步,若直接解析拍摄设备2的第一数据帧,则可能会出现数据解析错误,导致拍摄设备2采集的图像不能正常显示。
50.s202、将多个拍摄设备各自对应的第一数据帧进行组合,得到组合数据帧。
51.在本技术实施例中,图像处理装置在获取到多个拍摄设备各自对应的第一数据帧时,可将多个拍摄设备各自对应的第一数据帧进行组合,得到组合数据帧。其中,每个组合数据帧中包括的第一数据帧为多个拍摄设备在相同时间节点拍摄得到。以多个拍摄设备为3个拍摄设备,且第一数据帧包括n行图像数据为例,组合数据帧可以包括3n行图像数据。
52.在一种实现方式中,图像处理装置可将多个拍摄设备各自对应的第一数据帧按照预设格式进行打包,以便于进行数据传输。可选的,由于每个第一数据帧包括多行图像数据,图像处理装置可将多个拍摄设备各自对应的第一数据帧以行为单位进行打包,得到每行图像数据对应的数据包,然后再将每行图像数据对应的数据包组合为一个整包(包括多个拍摄设备各自对应的第一数据帧的图像数据)。
53.示例性的,每行图像数据的打包格式例如可以是移动产业处理器接口(mobile industry processor interface,mipi)协议规定的数据格式,如图3所示,为对第一数据帧的一行图像数据进行打包得到的数据包的结构示意图,其中,开始标志位(start of transmission,sot)表示数据包的开始;数据包的包头(packet header)可包括:数据标识(data identifier)、数据大小(word count)以及错误校验码(error checking code,ecc),数据标识可包括每行图像数据的标识数据,数据大小用于指示每行图像数据的大小,错误校验码用于检测每行图像数据是否正确,可保证数据的可靠传输;数据0~数据n共同组成一行图像数据;数据包的包尾(packet footer)可包括每行图像数据的校验和;结束标志位(end of transmission)表示数据包的结束。需要说明的是,图3中结束标志位后可以为对另一行图像数据进行打包得到的数据包的开始标志位。以整包包括3个拍摄设备各自对应的第一数据帧的图像数据,且第一数据帧包括n行图像数据为例,该整包可以包括3n个图3所示的数据包。
54.s203、根据组合数据帧中图像数据的标识数据,对组合数据帧进行帧重组处理,得到各个拍摄设备的第二数据帧。
55.在本技术实施例中,图像处理装置根据组合数据帧中图像数据的标识数据,可对
组合数据帧进行帧重组处理,得到各个拍摄设备的第二数据帧。其中,各个拍摄设备的第二数据帧与各个拍摄设备拍摄得到的初始数据帧的图像数据相同。
56.组合数据帧中包括多个第一数据帧的图像数据,通过s203可以从组合数据帧中还原各个拍摄设备的数据帧(第二数据帧)。上述各个拍摄设备的第二数据帧包括参考拍摄设备的第二数据帧和除参考拍摄设备以外的目标拍摄设备的第二数据帧。对于参考拍摄设备的第二数据帧,可以直接从组合数据帧中获取拍摄设备标识为参考拍摄设备的标识的n行图像数据,对于除参考拍摄设备以外的目标拍摄设备(如拍摄设备2),组合数据帧可能没有包含目标拍摄设备拍摄的一帧图像的完整数据(即一帧初始数据帧),这种情况下,对于还原拍摄设备2的第二数据帧的过程,需涉及两帧组合数据帧,从该两帧组合数据帧中分别取出属于目标拍摄设备的同一帧初始数据帧的数据,以拼接得到拍摄设备2的第二数据帧。示例性的,以拼接过程中涉及的组合数据帧包括第一组合数据帧和第二组合数据帧为例,该第一组合数据帧和第二组合数据帧可以为相邻的数据帧。其中,相邻可以指时间顺序相邻。
57.具体的,图像处理装置可先根据第一组合数据帧中图像数据的拍摄设备标识,确定第一组合数据帧中参考拍摄设备的图像数据,以及除参考拍摄设备以外的每个目标拍摄设备的图像数据,然后再根据目标拍摄设备的图像数据的行标识,确定第一组合数据帧中目标拍摄设备的图像数据是否属于目标拍摄设备拍摄的同一帧初始数据帧的数据。这里,判断第一组合数据帧中目标拍摄设备的图像数据是否属于目标拍摄设备拍摄的同一帧初始数据帧的数据的方式可以是,若第一组合数据帧中目标拍摄设备的每行图像数据对应的行标识与参考拍摄设备的每行图像数据对应的行标识都相同,则确定第一组合数据帧中目标拍摄设备的图像数据是属于目标拍摄设备拍摄的同一帧初始数据帧的数据,进而可直接将第一组合数据帧中目标拍摄设备的图像数据确定为目标拍摄设备的第二数据帧;反之,则表示第一组合数据帧中目标拍摄设备的图像数据不属于目标拍摄设备拍摄的同一帧初始数据帧的数据。
58.在一种实现方式中,当第一组合数据帧中目标拍摄设备的图像数据不属于目标拍摄设备拍摄的同一帧初始数据帧的数据,图像处理装置可将第一组合数据帧和第二组合数据帧中属于目标拍摄设备拍摄的同一帧初始数据帧的数据进行拼接,得到目标拍摄设备的第二数据帧。具体的,若第一组合数据帧为第二组合数据帧的前一帧,那么,图像处理装置可先将第一组合数据帧和第二组合数据帧中拍摄设备标识为目标拍摄设备的标识的图像数据,确定为目标拍摄设备的图像数据,然后将第一组合数据帧目标拍摄设备的图像数据中的后m行图像数据,与第二组合数据帧中目标拍摄设备的图像数据中的前(n-m)行图像数据进行拼接,得到目标拍摄设备的第二数据帧。
59.可选的,m的取值可通过如下两种方式确定:方式一、根据第一组合数据帧中目标拍摄设备的图像数据中的第一行图像数据的行标识确定。示例性的,m的取值可以是:第一组合数据帧中目标拍摄设备的图像数据中的第一行图像数据的行标识减一。方式二、根据第一组合数据帧中目标拍摄设备的图像数据中的第一行图像数据的行标识,以及第一组合数据帧中参考拍摄设备的图像数据中的第一行图像数据的行标识确定。示例性的,m的取值也可以是:第一组合数据帧中目标拍摄设备的图像数据中的第一行图像数据的行标识,减去第一组合数据帧中参考拍摄设备的图像数据中的第一行图像数据的行标识。
60.示例性的,如图4所示,假设多个拍摄设备包括拍摄设备1、拍摄设备2、拍摄设备3
以及拍摄设备4,其中,拍摄设备1为参考拍摄设备。在第一组合数据帧中,根据第一组合数据帧中图像数据的拍摄设备标识,可确定第一组合数据帧中拍摄设备1的图像数据(拍摄设备1行数1~拍摄设备1行数n),拍摄设备2的图像数据(拍摄设备2行数50~拍摄设备2行数n;拍摄设备2行数1~拍摄设备2行数49),拍摄设备3的图像数据(拍摄设备3行数123~拍摄设备3行数n;拍摄设备3行数1~拍摄设备3行数122),以及拍摄设备4的图像数据(拍摄设备4行数456~拍摄设备4行数n;拍摄设备4行数1~拍摄设备4行数455)。将第一组合数据帧中拍摄设备1的图像数据的行标识(行数1~行数n),与拍摄设备2的图像数据的行标识(行数50~行数n;行数1~行数49),拍摄设备3的图像数据的行标识(行数123~行数n;行数1~行数122),拍摄设备4的图像数据的行标识(行数456~行数n;行数1~行数455),分别进行比较,可确定第一组合数据帧中拍摄设备2的图像数据不属于拍摄设备2拍摄的同一帧初始数据帧的数据,拍摄设备3的图像数据不属于拍摄设备3拍摄的同一帧初始数据帧的数据,拍摄设备4的图像数据也不属于拍摄设备4拍摄的同一帧初始数据帧的数据。可以理解的是,对于第二组合数据帧中,确定多个拍摄设备(拍摄设备1、拍摄设备2、拍摄设备3以及拍摄设备4)的图像数据的方式参照在第一组合数据帧中确定多个拍摄设备的图像数据的方式。对于拍摄设备2,可将第一组合数据帧中拍摄设备2的后49行图像数据(拍摄设备2行数1~拍摄设备2行数49),与第二组合数据帧中拍摄设备2的前(n-49)行图像数据(拍摄设备2行数50~拍摄设备2行数n)进行拼接,得到拍摄设备2的第二数据帧(拍摄设备2行数1~拍摄设备2行数n)。同理,也可得到拍摄设备3的第二数据帧和拍摄设备4的第二数据帧。
61.通过实施本技术实施例,能够根据组合数据帧中图像数据的标识数据,还原出与各个拍摄设备拍摄得到的初始数据帧的图像数据相同的第二数据帧,从而避免由于拍摄设备的数据传输不同步而导致的数据解析错误。
62.进一步的,请参见图5,图5为本技术实施例提供的一种图像处理系统的架构示意图。如图5所示,该图像处理系统中可包括拍摄设备501、拍摄设备502、拍摄设备503、拍摄设备504、转接芯片505、数字信号接收模块506、存储器507、以及图像信号处理模块508。其中,拍摄设备可以是摄像头。转接芯片505、数字信号接收模块506、存储器507以及图像信号处理模块508可以部署于前述图像处理装置中。拍摄设备501、拍摄设备502、拍摄设备503和拍摄设备504可以部署在图像处理装置中,也可以是与图像处理装置物理相连或逻辑相连的外接设备。需要说明的是,图5以上述多个拍摄设备包括4个拍摄设备(即拍摄设备501、拍摄设备502、拍摄设备503、拍摄设备504)为例,并不构成对本技术实施例的限定。
63.在本技术实施例中,多个拍摄设备上电之后可以向转接芯片505传输图像数据,转接芯片505接收图像数据的模式可配置为单帧模式,单帧模式即为确保接收到的参考拍摄设备的第一数据帧与参考拍摄设备拍摄得到的初始数据帧的图像数据相同的工作模式,参考拍摄设备可设置为拍摄设备501、拍摄设备502、拍摄设备503和拍摄设备504中的任意拍摄设备。转接芯片505在单帧模式下获取到多个拍摄设备各自对应的第一数据帧后,可将多个拍摄设备各自对应的第一数据帧进行组合,得到组合数据帧,并将组合数据帧打包为mipi格式的数据包,再将该mipi格式的数据包传输到数字信号接收模块506,该数字信号接收模块506例如可以是摄像头数字信号接收模块(digital camera,dcam),数字信号接收模块506可将该mipi格式的数据包存储至存储器507,存储器507例如可以是双倍速率同步动态随机存储器(double data rate,ddr)。图像信号处理模块508可对该mipi格式的数据包
进行解析,再根据解析得到的组合数据帧中图像数据的标识数据,对组合数据帧进行帧重组,得到各个拍摄设备的第二数据帧,该图像信号处理模块508例如可以是isp。
64.在一种实现方式中,该图像处理系统可以是车载环视系统,用户可通过车载环视应用程序(app)触发转接芯片505获取多个拍摄设备各自对应的第一数据帧。当车载环视app启动时,转接芯片505、存储器507以及图像信号处理模块508先进行初始化操作,然后转接芯片505将数据接收模式配置为单帧模式,可选的,转接芯片505还可配置多个拍摄设备的帧率、分辨率等参数,多个拍摄设备上电之后,转接芯片505即可基于上述配置获取多个拍摄设备各自对应的第一数据帧。
65.在另一种实现方式中,图像信号处理模块508得到各个拍摄设备的第二数据帧后,还可以对各个拍摄设备的第二数据帧进行图像格式转化,例如可以将各个拍摄设备的第二数据帧分别转化为多个图像,也可以将各个拍摄设备的第二数据帧转化为一个图像,以便于后续可通过显示器显示各个拍摄设备采集的图像。
66.请参见图6,图6为本技术实施例提供的一种图像处理装置的结构示意图,如图6所示,该图像处理装置60包括获取单元601和处理单元602。
67.获取单元601,用于获取多个拍摄设备各自对应的第一数据帧;其中,多个拍摄设备中包括参考拍摄设备,参考拍摄设备对应的第一数据帧与参考拍摄设备拍摄得到的初始数据帧的图像数据相同;每个数据帧包括n份图像数据,n为大于1的整数,每份图像数据均包括标识数据,第一数据帧的每份图像数据中的标识数据包括:拍摄设备标识和图像数据在对应的初始数据帧中的位置标识,拍摄设备标识用于标识拍摄图像数据对应的初始数据帧的拍摄设备;
68.处理单元602,用于将多个拍摄设备各自对应的第一数据帧进行组合,得到组合数据帧;并根据组合数据帧中图像数据的标识数据,对组合数据帧进行帧重组处理,得到各个拍摄设备的第二数据帧,各个拍摄设备的第二数据帧与拍摄设备拍摄得到的初始数据帧的图像数据相同。
69.可选的,组合数据帧包括第一组合数据帧和第二组合数据帧,对于多个拍摄设备中除参考拍摄设备以外的每个目标拍摄设备,处理单元602,具体用于将第一组合数据帧和第二组合数据帧中属于目标拍摄设备拍摄的同一帧初始数据帧的数据进行拼接,得到目标拍摄设备的第二数据帧。
70.可选的,第一组合数据帧与第二组合数据帧为相邻的数据帧。
71.可选的,一份图像数据为一行图像数据;一行图像数据在对应的初始数据帧中的位置标识为:一行图像数据在对应的初始数据帧中的行标识。
72.可选的,第一组合数据帧为第二组合数据帧的前一帧,处理单元602,具体用于将第一组合数据帧和第二组合数据帧中拍摄设备标识为目标拍摄设备的标识的图像数据,确定为目标拍摄设备的图像数据;其中,目标拍摄设备的第二数据帧包括:第一组合数据帧中目标拍摄设备的图像数据中的后m行图像数据,以及第二组合数据帧中目标拍摄设备的图像数据中的前(n-m)行图像数据,m为小于n的正整数。
73.可选的,m的取值根据第一组合数据帧中目标拍摄设备的图像数据中的第一行图像数据的行标识确定;或者,m的取值根据第一组合数据帧中目标拍摄设备的图像数据中的第一行图像数据的行标识,以及第一组合数据帧中参考拍摄设备的图像数据中的第一行图
像数据的行标识确定。
74.可选的,处理单元602,具体用于根据第一组合数据帧中目标拍摄设备的图像数据的行标识,确定第一组合数据帧中目标拍摄设备的图像数据是否属于目标拍摄设备拍摄的同一帧初始数据帧的数据;若第一组合数据帧中目标拍摄设备的图像数据不属于目标拍摄设备拍摄的同一帧初始数据帧的数据,则触发将第一组合数据帧和第二组合数据帧中属于目标拍摄设备拍摄的同一帧初始数据帧的数据进行拼接,得到目标拍摄设备的第二数据帧的步骤。
75.图像处理装置60还可以用于实现图2对应实施例中图像处理装置的功能,此处不再赘述。基于同一发明构思,本技术实施例中提供的图像处理装置60解决问题的原理与有益效果与本技术方法实施例中图像处理装置解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
76.请参见图7,图7为本技术实施例提供的另一种图像处理装置70,可以用于实现上述方法实施例中图像处理装置的功能。该图像处理装置70可以包括收发器701和处理器702。可选的,该图像处理装置还可以包括存储器703。其中,收发器701、处理器702、存储器703可以通过总线704或其他方式连接。总线在图7中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
77.本技术实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或模块之间的信息交互。本技术实施例中不限定上述收发器701、处理器702、存储器703之间的具体连接介质。
78.存储器703可以包括只读存储器和随机存取存储器,并向处理器702提供指令和数据。存储器703的一部分还可以包括非易失性随机存取存储器。
79.处理器702可以是中央处理单元(central processing unit,cpu),该处理器702还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器,可选的,该处理器702也可以是任何常规的处理器等。
80.在一种可选的实施方式中,存储器703,用于存储程序指令;处理器702,用于调用存储器703中存储的程序指令,以用于执行上述实施例中图像处理装置所执行的步骤。
81.在本技术实施例中,可以通过在包括cpu、随机存取存储介质(random access memory,ram)、只读存储介质(read-only memory,rom)等处理元件和存储元件的例如计算机的通用计算装置上运行能够执行上述方法所涉及的各步骤的计算机程序(包括程序代码),以及来实现本技术实施例所提供的方法。计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算装置中,并在其中运行。
82.基于同一发明构思,本技术实施例中提供的图像处理装置70解决问题的原理与有益效果与本技术方法实施例中图像处理装置解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
83.前述图像处理装置,例如可以是:芯片、或者芯片模组。
84.本技术实施例还提供一种芯片,该芯片可以执行前述方法实施例中图像处理装置的相关步骤。
85.该芯片用于:获取多个拍摄设备各自对应的第一数据帧;其中,多个拍摄设备中包括参考拍摄设备,参考拍摄设备对应的第一数据帧与参考拍摄设备拍摄得到的初始数据帧的图像数据相同;每个数据帧包括n份图像数据,n为大于1的整数,每份图像数据均包括标识数据,第一数据帧的每份图像数据中的标识数据包括:拍摄设备标识和图像数据在对应的初始数据帧中的位置标识,拍摄设备标识用于标识拍摄图像数据对应的初始数据帧的拍摄设备;将多个拍摄设备各自对应的第一数据帧进行组合,得到组合数据帧;根据组合数据帧中图像数据的标识数据,对组合数据帧进行帧重组处理,得到各个拍摄设备的第二数据帧,各个拍摄设备的第二数据帧与拍摄设备拍摄得到的初始数据帧的图像数据相同。
86.在一种实现方式中,组合数据帧包括第一组合数据帧和第二组合数据帧,该芯片还可以用于:对于多个拍摄设备中除参考拍摄设备以外的每个目标拍摄设备,将第一组合数据帧和第二组合数据帧中属于目标拍摄设备拍摄的同一帧初始数据帧的数据进行拼接,得到目标拍摄设备的第二数据帧。
87.在一种实现方式中,第一组合数据帧与第二组合数据帧为相邻的数据帧。
88.在一种实现方式中,一份图像数据为一行图像数据;一行图像数据在对应的初始数据帧中的位置标识为:一行图像数据在对应的初始数据帧中的行标识。
89.在一种实现方式中,第一组合数据帧为第二组合数据帧的前一帧,该芯片还可以用于:将第一组合数据帧和第二组合数据帧中拍摄设备标识为目标拍摄设备的标识的图像数据,确定为目标拍摄设备的图像数据;其中,目标拍摄设备的第二数据帧包括:第一组合数据帧中目标拍摄设备的图像数据中的后m行图像数据,以及第二组合数据帧中目标拍摄设备的图像数据中的前(n-m)行图像数据,m为小于n的正整数。
90.在一种实现方式中,m的取值根据第一组合数据帧中目标拍摄设备的图像数据中的第一行图像数据的行标识确定;或者,m的取值根据第一组合数据帧中目标拍摄设备的图像数据中的第一行图像数据的行标识,以及第一组合数据帧中参考拍摄设备的图像数据中的第一行图像数据的行标识确定。
91.在一种实现方式中,该芯片还可以用于:根据第一组合数据帧中目标拍摄设备的图像数据的行标识,确定第一组合数据帧中目标拍摄设备的图像数据是否属于目标拍摄设备拍摄的同一帧初始数据帧的数据;若第一组合数据帧中目标拍摄设备的图像数据不属于目标拍摄设备拍摄的同一帧初始数据帧的数据,则触发将第一组合数据帧和第二组合数据帧中属于目标拍摄设备拍摄的同一帧初始数据帧的数据进行拼接,得到目标拍摄设备的第二数据帧的步骤。
92.请参见图8,图8为本技术实施例提供的一种芯片模组的结构示意图。该芯片模组80可以执行前述方法实施例中图像处理装置的相关步骤,该芯片模组80包括:通信接口801和芯片802。
93.其中,通信接口用于进行芯片模组内部通信,或者用于该芯片模组与外部设备进行通信;该芯片用于实现本技术实施例中图像处理装置的功能,具体参见图2对应实施例。可选的,芯片模组80还可以包括存储模组803、电源模组804。存储模组803用于存储数据和指令。电源模组804用于为芯片模组提供电能。
94.对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,不同的模块可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现。
95.本技术还提供一种计算机可读存储介质,该计算机存储介质中存储有计算机程序或指令,计算机程序或指令被执行时实现上述方法实施例所提供的方法。
96.本技术还提供一种计算机程序或计算机程序产品,包括代码或指令,当代码或指令在计算机上运行时,使得计算机执行上述方法实施例所提供的方法。
97.关于上述实施例中描述的各个装置、产品包含的各个模块/单元,其可以是软件模块/单元,也可以是硬件模块/单元,或者也可以部分是软件模块/单元,部分是硬件模块/单元。例如,对于应用于或集成于芯片的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于终端的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于终端内同一组件(例如,芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于终端内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
98.需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本技术所必须的。
99.本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
100.本技术实施例装置中的模块可以根据实际需要进行合并、划分和删减。
101.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,可读存储介质可以包括:闪存盘、rom、ram、磁盘或光盘等。
102.以上所揭露的仅为本技术一种较佳实施例而已,仅仅是本技术一部分实施例,不能以此来限定本技术之权利范围。