全景图像处理方法和全景相机与流程

1.本发明涉及图像处理技术领域，尤其涉及一种全景图像处理方法和全景相机。


背景技术：

2.全景相机用于采集全景图像。具体来说，全景相机上设有多个镜头，每一镜头可用于采集鱼眼图像。将全景相机上的每一镜头采集的鱼眼图像进行拼接，即可得到全景图像。
3.在全景相机采集全景图像时，全景相机有可能发生抖动，从而导致采集的鱼眼图像发生形变。因需要对多张鱼眼图像进行拼接，将发生形变的鱼眼图像进行拼接后，得到的全景图像成像效果较差。故而，需要提高全景相机的防抖效果。


技术实现要素：

4.本发明实施例提供了一种全景图像处理方法和全景相机，用于提高全景相机的防抖效果。
5.为达此目的，本发明实施例采用以下技术方案：
6.一种全景图像处理方法，包括：
7.获取全景图像和所述全景图像的像素的采集时间戳；
8.获取多个旋转矩阵，其中，所述全景图像由全景相机在目标时段采集得到，多个所述旋转矩阵表示所述全景相机在不同的定位时间戳相对初始时刻时的姿态，所述定位时间戳位于所述目标时段内；
9.将所述全景图像转换为球面图像，所述全景图像和所述球面图像上相互匹配的像素的采集时间戳相同；
10.对所述球面图像的每一像素，分别使用多个所述旋转矩阵进行位置校正，得到每一像素的多个校正像素，属于同一像素的不同校正像素的位置为所述球面图像上的像素按照不同所述旋转矩阵表示的姿态移动后的位置；
11.对所述球面图像的每一像素，根据所述球面图像的像素的采集时间戳，从多个所述校正像素中确定第一校正像素和第二校正像素，其中，所述球面图像的当前校正的像素的采集时间戳位于第一旋转矩阵的定位时间戳和第二旋转矩阵的定位时间戳之间，所述第一旋转矩阵为得到所述第一校正像素所使用的旋转矩阵，所述第二旋转矩阵为得到所述第二校正像素所使用的旋转矩阵；
12.对所述球面图像的每一像素，使用所述第一校正像素和所述第二校正像素进行加权平均计算，得到目标校正像素，其中，在所述加权平均计算中，所述第一校正像素和所述第二校正像素的权重大小关系反比于第一时长和第二时长的大小关系，所述第一时长为所述球面图像的当前校正的像素的采集时间戳和所述第一旋转矩阵的定位时间戳之间的时间差，所述第二时长为所述球面图像的当前校正的像素的采集时间戳和所述第二旋转矩阵的定位时间戳之间的时间差。
13.可选地，所述全景相机上设有多个cmos互补金属氧化物半导体传感器，一所述
cmos传感器用于采集一鱼眼图像，所述定位时间戳为扫描所述cmos传感器中的一行感光像素的时刻；
14.所述获取全景图像和所述全景图像的像素的采集时间戳，包括：
15.通过多个所述cmos传感器在所述目标时段同步采集图像，得到多张所述鱼眼图像；
16.将多张所述鱼眼图像进行拼接，得到全景图像；
17.获取所述全景图像的像素的采集时间戳；
18.所述对所述球面图像的每一像素，使用所述第一校正像素和所述第二校正像素进行加权平均计算，得到目标校正像素之后，所述全景图像处理方法还包括：
19.将所述球面图像的每一目标校正像素投影到平面，得到校正后全景图像。
20.可选地，多个所述旋转矩阵分别为首行旋转矩阵、中间旋转矩阵和末行旋转矩阵；
21.所述首行旋转矩阵的定位时间戳为扫描所述cmos传感器中的首行感光像素的时刻；
22.所述中间旋转矩阵的定位时间戳为扫描所述cmos传感器中的中间行感光像素的时刻；
23.所述末行旋转矩阵的定位时间戳为扫描所述cmos传感器中的末行感光像素的时刻；
24.其中，所述中间行感光像素为位于所述首行感光像素和所述末行感光像素之间的一行感光像素。
25.可选地，所述全景图像处理方法，还包括：
26.使用归一公式t＝(t
’‑
t1)/(t
3-t1)，对所述全景图像的像素的采集时间戳进行归一化，得到归一时间；
27.所述对所述球面图像的每一像素，使用所述第一校正像素和所述第二校正像素进行加权平均计算，得到目标校正像素，包括：
28.当0≤t＜0.5时，使用第一公式计算目标校正像素的位置坐标，以得到目标校正像素；
29.当0.5＜t≤1时，使用第二公式计算目标校正像素的位置坐标，以得到目标校正像素；
30.其中，所述第一公式为p”＝(1-2t)p1+2t
×
p2；
31.所述第二公式为p”＝(1-2(t-0.5))p2+2(t-0.5)p3；
32.t表示所述归一时间；
33.t’表示所述全景图像的像素的采集时间戳；
34.t1表示所述首行旋转矩阵的定位时间戳；
35.t3表示所述末行旋转矩阵的定位时间戳；
36.p1表示所述球面图像上的像素按照所述首行旋转矩阵表示的姿态移动后的位置坐标；
37.p2表示所述球面图像上的像素按照所述中间旋转矩阵表示的姿态移动后的位置坐标，所述中间旋转矩阵的定位时间戳为扫描所述cmos传感器中的正中间行感光像素的时刻；
38.p3表示所述球面图像上的像素按照所述末行旋转矩阵表示的姿态移动后的位置坐标；
39.p”表示目标校正像素的位置坐标。
40.可选地，所述获取所述全景图像的像素的采集时间戳，包括：
41.当扫描完所述cmos传感器中的一行感光像素时，将扫描该行感光像素的时间，作为扫描该行感光像素得到的所述鱼眼图像上的像素的采集时间戳；
42.将所述鱼眼图像的像素的采集时间戳和所述全景图像的像素建立映射关系，得到像素时间映射关系，所述鱼眼图像和所述全景图像相互匹配的像素的采集时间戳相同；
43.所述对所述球面图像的每一像素，根据所述球面图像的像素的采集时间戳，从多个所述校正像素中确定第一校正像素和第二校正像素之前，所述全景图像处理方法还包括：
44.根据所述全景图像的像素，从所述像素时间映射关系中确定所述全景图像的像素的采集时间戳。
45.可选地，所述将所述鱼眼图像的像素的采集时间戳和所述全景图像的像素建立映射关系，得到像素时间映射关系，包括：
46.将所述鱼眼图像的像素的采集时间戳投影到所述全景图像的像素所在的位置，得到时间索引图，其中，所述时间索引图的像素位置记录所述全景图像的像素的采集时间戳，所述时间索引图的像素位置和所述全景图像的像素的位置匹配；
47.所述根据所述全景图像的像素，从所述像素时间映射关系中确定所述全景图像的像素的采集时间戳，包括：
48.根据所述全景图像的像素的位置，从所述时间索引图中确定所述全景图像的像素的采集时间戳。
49.可选地，所述获取多个旋转矩阵，包括：
50.在每一所述定位时间戳获取所述全景相机的加速度计数值和角速度数值；
51.利用扩展卡尔曼滤波结合所述加速度计数值和所述角速度数值，计算所述全景相机在每一所述定位时间戳时相对初始时刻时的姿态的旋转矩阵。
52.可选地，所述全景图像为全景视频流的一帧图像。
53.为达此目的，本发明实施例还采用以下技术方案：
54.一种全景相机，包括：
55.第一获取模块，用于获取全景图像和所述全景图像的像素的采集时间戳；
56.第二获取模块，用于获取多个旋转矩阵，其中，所述全景图像由全景相机在目标时段采集得到，多个所述旋转矩阵表示所述全景相机在不同的定位时间戳相对初始时刻时的姿态，所述定位时间戳位于所述目标时段内；
57.转换模块，用于将所述全景图像转换为球面图像，所述全景图像和所述球面图像上相互匹配的像素的采集时间戳相同；
58.校正模块，用于对所述球面图像的每一像素，分别使用多个所述旋转矩阵进行位置校正，得到每一像素的多个校正像素，属于同一像素的不同校正像素的位置为所述球面图像上的像素按照不同所述旋转矩阵表示的姿态移动后的位置；
59.确定模块，用于对所述球面图像的每一像素，根据所述球面图像的像素的采集时
间戳，从多个所述校正像素中确定第一校正像素和第二校正像素，其中，所述球面图像的当前校正的像素的采集时间戳位于第一旋转矩阵的定位时间戳和第二旋转矩阵的定位时间戳之间，所述第一旋转矩阵为得到所述第一校正像素所使用的旋转矩阵，所述第二旋转矩阵为得到所述第二校正像素所使用的旋转矩阵；
60.计算模块，用于对所述球面图像的每一像素，使用所述第一校正像素和所述第二校正像素进行加权平均计算，得到目标校正像素，其中，在所述加权平均计算中，所述第一校正像素和所述第二校正像素的权重大小关系反比于第一时长和第二时长的大小关系，所述第一时长为所述球面图像的当前校正的像素的采集时间戳和所述第一旋转矩阵的定位时间戳之间的时间差，所述第二时长为所述球面图像的当前校正的像素的采集时间戳和所述第二旋转矩阵的定位时间戳之间的时间差。
61.可选地，所述全景相机上设有多个cmos互补金属氧化物半导体传感器，一所述cmos传感器用于采集一鱼眼图像，所述定位时间戳为扫描所述cmos传感器中的一行感光像素的时刻；
62.所述第一获取模块包括采集单元、拼接单元、和时间戳获取单元；
63.所述采集单元，用于通过多个所述cmos传感器在所述目标时段同步采集图像，得到多张所述鱼眼图像；
64.所述拼接单元，用于将多张所述鱼眼图像进行拼接，得到全景图像；
65.所述时间戳获取单元，用于获取所述全景图像的像素的采集时间戳；
66.所述全景相机还包括投影模块；
67.所述投影模块，用于将所述球面图像的每一目标校正像素投影到平面，得到校正后全景图像。
68.可选地，多个所述旋转矩阵分别为首行旋转矩阵、中间旋转矩阵和末行旋转矩阵；
69.所述首行旋转矩阵的定位时间戳为扫描所述cmos传感器中的首行感光像素的时刻；
70.所述中间旋转矩阵的定位时间戳为扫描所述cmos传感器中的中间行感光像素的时刻；
71.所述末行旋转矩阵的定位时间戳为扫描所述cmos传感器中的末行感光像素的时刻；
72.其中，所述中间行感光像素为位于所述首行感光像素和所述末行感光像素之间的一行感光像素。
73.可选地，所述全景相机还包括归一模块；
74.所述归一模块，用于使用归一公式t＝(t
’‑
t1)/(t
3-t1)，对所述全景图像的像素的采集时间戳进行归一化，得到归一时间；
75.所述计算模块，还用于当0≤t＜0.5时，使用第一公式计算目标校正像素的位置坐标，以得到目标校正像素；
76.所述计算模块，还用于当0.5＜t≤1时，使用第二公式计算目标校正像素的位置坐标，以得到目标校正像素；
77.其中，所述第一公式为p”＝(1-2t)p1+2t
×
p2；
78.所述第二公式为p”＝(1-2(t-0.5))p2+2(t-0.5)p3；
79.t表示所述归一时间；
80.t’表示所述全景图像的像素的采集时间戳；
81.t1表示所述首行旋转矩阵的定位时间戳；
82.t3表示所述末行旋转矩阵的定位时间戳；
83.p1表示所述球面图像上的像素按照所述首行旋转矩阵表示的姿态移动后的位置坐标；
84.p2表示所述球面图像上的像素按照所述中间旋转矩阵表示的姿态移动后的位置坐标，所述中间旋转矩阵的定位时间戳为扫描所述cmos传感器中的正中间行感光像素的时刻；
85.p3表示所述球面图像上的像素按照所述末行旋转矩阵表示的姿态移动后的位置坐标；
86.p”表示目标校正像素的位置坐标。
87.可选地，所述时间戳获取单元包括时间确定子单元和建立子单元；
88.所述时间确定子单元，用于当扫描完所述cmos传感器中的一行感光像素时，将扫描该行感光像素的时间，作为扫描该行感光像素得到的所述鱼眼图像上的像素的采集时间戳；
89.所述建立子单元，用于将所述鱼眼图像的像素的采集时间戳和所述全景图像的像素建立映射关系，得到像素时间映射关系，所述鱼眼图像和所述全景图像相互匹配的像素的采集时间戳相同；
90.所述全景相机还包括时间戳确定模块；
91.所述时间戳确定模块，用于根据所述全景图像的像素，从所述像素时间映射关系中确定所述全景图像的像素的采集时间戳。
92.可选地，所述建立子单元，还用于将所述鱼眼图像的像素的采集时间戳投影到所述全景图像的像素所在的位置，得到时间索引图，其中，所述时间索引图的像素位置记录所述全景图像的像素的采集时间戳，所述时间索引图的像素位置和所述全景图像的像素的位置匹配；
93.所述时间戳确定模块，还用于根据所述全景图像的像素的位置，从所述时间索引图中确定所述全景图像的像素的采集时间戳。
94.可选地，所述第二获取模块包括数据获取单元和旋转矩阵计算单元；
95.所述数据获取单元，用于在每一所述定位时间戳获取所述全景相机的加速度计数值和角速度数值；
96.所述旋转矩阵计算单元，用于利用扩展卡尔曼滤波结合所述加速度计数值和所述角速度数值，计算所述全景相机在每一所述定位时间戳时相对初始时刻时的姿态的旋转矩阵。
97.可选地，所述全景图像为全景视频流的一帧图像。
98.从以上技术方案可以看出，本发明实施例具有以下优点：
99.在本发明实施例的全景图像处理方法中，获取全景图像和全景图像的像素的采集时间戳，以及，获取多个旋转矩阵，其中，全景图像由全景相机在目标时段采集得到，多个旋转矩阵表示全景相机在不同的定位时间戳相对初始时刻时的姿态，定位时间戳位于目标时
段内。将全景图像转换为球面图像，全景图像和球面图像上相互匹配的像素的采集时间戳相同。对球面图像的每一像素，分别使用多个旋转矩阵进行位置校正，得到每一像素的多个校正像素，属于同一像素的不同校正像素的位置为球面图像上的像素按照不同旋转矩阵表示的姿态移动后的位置，从而实现对球面图像上的像素的不同程度的位置校正。对球面图像的每一像素，根据球面图像的像素的采集时间戳，从多个校正像素中确定第一校正像素和第二校正像素，其中，球面图像的当前校正的像素的采集时间戳位于第一旋转矩阵的定位时间戳和第二旋转矩阵的定位时间戳之间，第一旋转矩阵为得到第一校正像素所使用的旋转矩阵，第二旋转矩阵为得到第二校正像素所使用的旋转矩阵。第一校正像素和第二校正像素较为适合校正球面图像的当前校正的像素。对球面图像的每一像素，使用第一校正像素和第二校正像素进行加权平均计算，得到目标校正像素，其中，在加权平均计算中，第一校正像素和第二校正像素的权重大小关系反比于第一时长和第二时长的大小关系，第一时长为球面图像的当前校正的像素的采集时间戳和第一旋转矩阵的定位时间戳之间的时间差，第二时长为球面图像的当前校正的像素的采集时间戳和第二旋转矩阵的定位时间戳之间的时间差。这样，通过加权平均计算，综合了第一校正像素和第二校正像素的校正效果，使得若全景相机在目标时段采集全景图像时发生抖动，通过本发明实施例的全景图像处理方法可将球面图像的每一像素尽量校正到在初始时刻时像素所应处于的位置，从而实现了较好的防抖效果。
附图说明
100.图1为本发明一实施例提供的一种全景相机的结构示意图；
101.图2为本发明另一实施例提供的一种全景图像处理方法的流程示意图；
102.图3为本发明另一实施例提供的一种全景图像处理方法的流程示意图；
103.图4为图3所示实施例的全景图像处理方法的简化流程示意图；
104.图5为本发明另一实施例提供的一种cmos传感器扫描过程示意图；
105.图6为本发明另一实施例提供的有果冻效应的拼接图；
106.图7为本发明另一实施例提供的无果冻效应的拼接图；
107.图8为本发明另一实施例提供的一种全景相机的结构示意图。
具体实施方式
108.本发明实施例提供了一种全景图像处理方法和全景相机，用于提高全景相机的防抖效果。
109.图1为本发明一实施例提供的一种全景相机的结构示意图。全景相机上设有至少两个镜头，例如，图1所示的全景相机上设有四个镜头。全景相机用于采集全景图像。具体为，全景相机通过镜头可采集鱼眼图像，将全景相机上的每一镜头采集的鱼眼图像进行拼接，即可得到全景图像。其中，全景图像(英文名称panoramic photo，或panorama)通常是指人的双眼正常有效视角(大约水平90度，垂直70度)以上或包括双眼余光视角(大约水平180度，垂直90度)以上、乃至360度完整场景范围拍摄的图像。
110.图2为本发明另一实施例提供的一种全景图像处理方法的流程示意图。
111.图2所示实施例的全景图像处理方法可应用于全景相机上，例如应用于图1所示实
施例的全景相机上。应该理解，本发明实施例的全景图像处理方法也可以应用于其它处理设备上，例如应用于服务器或计算机上。
112.参阅图2，本发明实施例的全景图像处理方法，包括如下步骤：
113.步骤201：获取全景图像和全景图像的像素的采集时间戳。
114.处理设备获取全景图像、以及全景图像的像素的采集时间戳。其中，全景图像由像素组成，每一像素有对应的采集时间戳。全景图像的像素的采集时间戳即全景相机采集该像素时的时刻。
115.步骤202：获取多个旋转矩阵。
116.处理设备获取旋转矩阵，其中，全景图像由全景相机在目标时段采集得到，多个旋转矩阵表示全景相机在不同的定位时间戳相对初始时刻时的姿态，定位时间戳位于目标时段内。
117.在本发明实施例中，全景图像的采集需要一段时间，即全景相机在目标时段内采集得到全景图像。在目标时段内全景相机的空间位置可能会变化，通过旋转矩阵可记录全景相机的空间位置。一旋转矩阵表示全景相机在一定位时间戳相对初始时刻时的姿态。多个旋转矩阵可用于记录全景相机在采集全景图像的过程中的多个空间位置姿态。
118.步骤203：将全景图像转换为球面图像。
119.处理设备可将全景图像转换为球面图像，全景图像和球面图像上相互匹配的像素的采集时间戳相同。即球面图像上的一像素由全景图像的一像素转换得到，则该两像素拥有相同的采集时间戳。这样，通过全景图像的像素的采集时间戳，可得到球面图像的像素的采集时间戳。
120.步骤204：对球面图像的每一像素，分别使用多个旋转矩阵进行位置校正，得到每一像素的多个校正像素。
121.其中，属于同一像素的不同校正像素的位置为球面图像上的像素按照不同旋转矩阵表示的姿态移动后的位置。
122.具体来说，对球面图像的一像素，使用一旋转矩阵进行位置校正，即将该像素按照旋转矩阵表示的姿态进行移动，得到一校正像素，其中，球面图像的像素的校正像素，位置得到了校正。对同一像素，使用多个旋转矩阵执行前述操作，即可得到多个校正像素。对球面图像的每一像素，都分别使用多个旋转矩阵进行位置校正，则球面图像的每一像素都可得到多个校正像素。
123.步骤205：对球面图像的每一像素，根据球面图像的像素的采集时间戳，从多个校正像素中确定第一校正像素和第二校正像素。
124.其中，球面图像的当前校正的像素的采集时间戳位于第一旋转矩阵的定位时间戳和第二旋转矩阵的定位时间戳之间，第一旋转矩阵为得到第一校正像素所使用的旋转矩阵，第二旋转矩阵为得到第二校正像素所使用的旋转矩阵。
125.球面图像的像素记录有采集时间戳，旋转矩阵对应有定位时间戳，若定位时间戳越接近采集时间戳，则该旋转矩阵对像素的校正越准确。对球面图像的每一像素，都分别确定出第一校正像素和第二校正像素，对当前校正的像素来说，因为球面图像的当前校正的像素的采集时间戳位于第一旋转矩阵的定位时间戳和第二旋转矩阵的定位时间戳之间，从而，第一校正像素和第二校正像素对当前校正的像素的位置校正较为准确。
126.步骤206：对球面图像的每一像素，使用第一校正像素和第二校正像素进行加权平均计算，得到目标校正像素。
127.其中，在加权平均计算中，第一校正像素和第二校正像素的权重大小关系反比于第一时长和第二时长的大小关系，第一时长为球面图像的当前校正的像素的采集时间戳和第一旋转矩阵的定位时间戳之间的时间差，第二时长为球面图像的当前校正的像素的采集时间戳和第二旋转矩阵的定位时间戳之间的时间差。
128.为了进一步提高对球面图像的当前校正的像素的位置校正精度，可调整第一校正像素和第二校正像素在校正过程中的权重。具体来说，当前校正的像素的采集时间戳离旋转矩阵的定位时间戳越近，则使用该旋转矩阵对当前校正的像素进行位置校正的效果越好，从而，第一时长和第二时长中，时长越小，表示该时长所对应的旋转矩阵的定位时间戳离当前校正的像素的采集时间戳越近，从而该时长所对应的旋转矩阵对当前校正的像素的校正比重越大。换言之，第一时长比第二时长小，则第一校正像素的权重比第二校正像素的权重大，同理，第一时长比第二时长大，则第一校正像素的权重比第二校正像素的权重小。这样，使用第一校正像素和第二校正像素进行加权平均计算后，得到的目标校正像素可尽量校正到在初始时刻时像素所应处于的位置。
129.综上所述，在本发明实施例的全景图像处理方法中，获取全景图像和全景图像的像素的采集时间戳，以及，获取多个旋转矩阵，其中，全景图像由全景相机在目标时段采集得到，多个旋转矩阵表示全景相机在不同的定位时间戳相对初始时刻时的姿态，定位时间戳位于目标时段内。将全景图像转换为球面图像，全景图像和球面图像上相互匹配的像素的采集时间戳相同。对球面图像的每一像素，分别使用多个旋转矩阵进行位置校正，得到每一像素的多个校正像素，属于同一像素的不同校正像素的位置为球面图像上的像素按照不同旋转矩阵表示的姿态移动后的位置，从而实现对球面图像上的像素的不同程度的位置校正。对球面图像的每一像素，根据球面图像的像素的采集时间戳，从多个校正像素中确定第一校正像素和第二校正像素，其中，球面图像的当前校正的像素的采集时间戳位于第一旋转矩阵的定位时间戳和第二旋转矩阵的定位时间戳之间，第一旋转矩阵为得到第一校正像素所使用的旋转矩阵，第二旋转矩阵为得到第二校正像素所使用的旋转矩阵。第一校正像素和第二校正像素较为适合校正球面图像的当前校正的像素。对球面图像的每一像素，使用第一校正像素和第二校正像素进行加权平均计算，得到目标校正像素，其中，在加权平均计算中，第一校正像素和第二校正像素的权重大小关系反比于第一时长和第二时长的大小关系，第一时长为球面图像的当前校正的像素的采集时间戳和第一旋转矩阵的定位时间戳之间的时间差，第二时长为球面图像的当前校正的像素的采集时间戳和第二旋转矩阵的定位时间戳之间的时间差。这样，通过加权平均计算，综合了第一校正像素和第二校正像素的校正效果，使得若全景相机在目标时段采集全景图像时发生抖动，通过本发明实施例的全景图像处理方法可将球面图像的每一像素尽量校正到在初始时刻时像素所应处于的位置，从而实现了较好的防抖效果。
130.图3为本发明另一实施例提供的一种全景图像处理方法的流程示意图，其中，图3所示实施例的全景图像处理方法可基于图2所示实施例的全景图像处理方法实现。图3所示实施例的全景图像处理方法可应用于全景相机上，例如应用于图1所示实施例的全景相机上。应该理解，本发明实施例的全景图像处理方法也可以应用于其它处理设备上，例如应用
于服务器或计算机上。
131.下面以应用于全景相机上为例对图3所示实施例的全景图像处理方法进行详细的描述。为了更直观地理解本发明实施例的全景图像处理方法，本发明实施例还提供了全景图像处理方法的简化流程，如图4所示，在本发明实施例的全景图像处理方法中，获取多张鱼眼图像后，将多张鱼眼图像拼接为全景图像，然后，将全景图像转换为球面图像。使用本发明实施例的全景图像处理方法对球面图像的像素进行位置校正，得到目标校正像素。校正后球面图像由目标校正像素组成。然后，将校正后球面图像投影到平面，即可得到校正后全景图像。图3所示实施例的全景图像处理方法为图4所示实施例的全景图像处理方法的详细实现方式。
132.参阅图3，本发明实施例的全景图像处理方法包括如下步骤：
133.步骤301：通过多个cmos传感器在目标时段同步采集图像，得到多张鱼眼图像。
134.在本发明实施例中，全景相机上设有多个互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)传感器，一cmos传感器用于采集一鱼眼图像。
135.全景相机通过多个cmos传感器在目标时段同步采集图像，一cmos传感器采集得到一鱼眼图像，这样，多个cmos传感器采集得到多张鱼眼图像。
136.步骤302：将多张鱼眼图像进行拼接，得到全景图像。
137.对在目标时段同步采集得到的多张鱼眼图像，全景相机可将多张鱼眼图像进行拼接，得到全景图像。
138.步骤303：获取全景图像的像素的采集时间戳。
139.在本发明实施例中，全景相机还需获取全景图像的像素的采集时间戳。
140.全景图像的像素的采集时间戳用于记录全景相机采集全景图像上的像素时的时间。
141.在本发明实施例中，获取全景图像和全景图像的像素的采集时间戳的步骤包括步骤301至步骤303。通过步骤301至步骤303，全景相机实现了获取全景图像和全景图像的像素的采集时间戳。
142.步骤304：获取多个旋转矩阵。
143.全景相机获取多个旋转矩阵。其中，全景图像由全景相机在目标时段采集得到，多个旋转矩阵表示全景相机在不同的定位时间戳相对初始时刻时的姿态，定位时间戳位于目标时段内，定位时间戳为扫描cmos传感器中的一行感光像素的时刻。
144.换言之，全景相机通过多个cmos传感器在目标时段同步采集图像时，确定每一定位时间戳。然后，获取目标时段内每一定位时间戳的旋转矩阵，得到多个旋转矩阵。旋转矩阵可记录全景相机的空间位置姿态，具体来说，在初始时刻时，全景相机处于一具体的空间位置姿态，可称之为第一空间位置姿态。在定位时间戳，全景相机有可能会发生旋转，例如在采集图像时发生抖动，从而，在定位时间戳时，全景相机处于一具体的空间位置姿态，可称之为第二空间位置姿态。旋转矩阵即表示第二空间位置姿态相对第一空间位置姿态的旋转量，即，在第一空间位置姿态的全景相机，依据旋转矩阵的数据移动，可到达第二空间位置姿态。
145.步骤304的具体实现方式有多种，例如，外部设备对全景相机进行监控测量，以计算出旋转矩阵。
146.在一个具体的实现方式中，步骤304具体包括：在每一定位时间戳获取全景相机的加速度计数值和角速度数值。然后，利用扩展卡尔曼滤波结合加速度计数值和角速度数值，计算全景相机在每一定位时间戳时相对初始时刻时的姿态的旋转矩阵。
147.因目标时段为一时长，在目标时段内有多个定位时间戳，对每一定位时间戳，分别计算出旋转矩阵。
148.为了更好地理解本发明实施例的全景图像处理方法，下文将对旋转矩阵进行示例性说明。具体来说，在一个具体的示例中，多个旋转矩阵分别为首行旋转矩阵、中间旋转矩阵和末行旋转矩阵。其中，首行旋转矩阵的定位时间戳为扫描cmos传感器中的首行感光像素的时刻。中间旋转矩阵的定位时间戳为扫描cmos传感器中的中间行感光像素的时刻。末行旋转矩阵的定位时间戳为扫描cmos传感器中的末行感光像素的时刻。其中，中间行感光像素为位于首行感光像素和末行感光像素之间的一行感光像素。例如，中间行感光像素可以为cmos传感器中的正中间行的感光像素。
149.例如，如图5所示，cmos传感器的感光像素为阵列形式排列。cmos传感器在采集图像时，依次逐行扫描感光像素。从首行感光像素开始，按行扫描，扫描到中间行感光像素，直至扫描到末行感光像素，从首行感光像素扫描到末行感光像素，用时为目标时段。其中，在扫描首行感光像素时，以当前时间为一定位时间戳，且获取首行旋转矩阵。与此类似，在扫描cmos传感器中的中间行感光像素时，确定当前时间为一定位时间戳，且获取中间旋转矩阵。在扫描cmos传感器中的末行感光像素时，确定当前时间为一定位时间戳，且获取末行旋转矩阵。
150.步骤305：将全景图像转换为球面图像。
151.全景相机获取了全景图像、全景图像的像素的采集时间戳、以及多个旋转矩阵。此时全景图像可能因全景相机在采集图像时发生抖动等原因而产生果冻效应。为此，需要对全景图像的像素进行位置校正。
152.全景相机可将全景图像转换为球面图像。球面图像为在球面坐标系中展示的全景图像。其中，全景图像和球面图像上相互匹配的像素的采集时间戳相同，即球面图像的一像素若由全景图像的一像素转换坐标系后得到，则这两个像素为相互匹配的像素，这两个像素的采集时间戳相同。
153.关于果冻效应的示例，可参考图6和图7。其中，图6为本发明实施例提供的有果冻效应的拼接图，图7为本发明实施例提供的无果冻效应的拼接图。全景相机使用cmos传感器，且使用卷帘快门方式工作。全景相机在拍摄全景图像时，如图5所示，全景相机上的cmos传感器的感光像素逐行依次曝光并扫描。在曝光开始的时候，cmos传感器的像素点逐行扫描逐行进行曝光，直至所有像素点都被曝光。该过程在极短的时间内完成，一般不会对拍摄造成影响。此时，得到的图像如图7所示，图7为无果冻效应的拼接图。但是，在拍摄过程中，如果被摄物体相对于全景相机高速运动或快速振动时，例如全景相机发生抖动，此时，用卷帘快门方式拍摄，逐行扫描速度不够，拍摄结果就可能出现“倾斜”、“摇摆不定”或“部分曝光”等情况。这种现象为果冻效应。使用有果冻效应的图像进行拼接，得到的图像如图6所示。
154.步骤306：对球面图像的每一像素，分别使用多个旋转矩阵进行位置校正，得到每一像素的多个校正像素。
155.得到球面图像后，对球面图像的每一像素，全景相机分别使用多个旋转矩阵进行位置校正，这样，对球面图像的每一像素可得到多个校正像素。其中，一旋转矩阵对球面图像的一像素进行位置校正，可得到一校正像素。
156.属于同一像素的不同校正像素的位置为球面图像上的像素按照不同旋转矩阵表示的姿态移动后的位置。具体来说，使用旋转矩阵对球面图像的像素进行位置校正，即将球面图像的像素的空间位置进行移动，具体为按照旋转矩阵表示的姿态移动，因旋转矩阵表示全景相机在初始时刻时移动到全景相机在定位时间戳时的移动数据，从而球面图像的像素按照旋转矩阵表示的姿态移动，可让球面图像的像素的空间位置校正到接近在初始时刻时该像素所应处于的位置。在初始时刻时该像素所应处于的位置，即若全景相机的镜头朝向未发生移动，全景相机在初始时刻时采集得到的像素所处于的空间位置，该空间位置可以在球面图像所在的三维坐标系下表示。
157.类似于，在初始时刻时，全景相机因抖动等原因镜头朝向发生移动，导致全景相机拍摄的图像和全景相机的镜头朝向未发生移动时拍摄的图像比较，产生位置偏差。本发明实施例的方法将球面图像的像素按照旋转矩阵表示的姿态移动，可实现像素的空间位置和镜头朝向同步移动，减少前述的位置偏差，从而在全景图像上减缓甚至消除了全景相机的抖动带来的影响。
158.在本发明实施例中，可选地，获取全景图像的像素的采集时间戳的步骤具体包括：当扫描完cmos传感器中的一行感光像素时，将扫描该行感光像素的时间，作为扫描该行感光像素得到的鱼眼图像上的像素的采集时间戳。然后，将鱼眼图像的像素的采集时间戳和全景图像的像素建立映射关系，得到像素时间映射关系，鱼眼图像和全景图像相互匹配的像素的采集时间戳相同。
159.因cmos传感器上的感光像素按照阵列排列，在具体的感光过程中，cmos传感器的感光像素按行进行感光，以采集到具体的像素，如图5所示。从而，对cmos传感器上的一行感光像素，在一采集时间戳扫描该行感光像素，则将该采集时间戳作为扫描该行感光像素得到的像素的采集时间戳。其中，扫描完一cmos传感器后，得到的像素组成一鱼眼图像。这样，即可得到鱼眼图像上的像素的采集时间戳。
160.为了将全景图像的像素和像素的采集时间戳对应上，以方便对具体的像素确定出其采集时间戳。可将鱼眼图像的像素的采集时间戳和全景图像的像素建立映射关系，得到像素时间映射关系。因全景图像由多个鱼眼图像拼接得到，从而，鱼眼图像和全景图像相互匹配的像素的采集时间戳相同。即全景图像的一像素由鱼眼图像的一像素转化得到，则该两像素相互匹配，且该两像素的采集时间戳相同。
161.这样，在执行步骤307之前，本发明实施例的方法还包括：根据全景图像的像素，从像素时间映射关系中确定全景图像的像素的采集时间戳。这样，通过像素时间映射关系，可确定出具体的一像素的采集时间戳。
162.在本发明实施例中，建立像素时间映射关系的具体实现方式有多种。
163.在一个具体的实现方式中，将鱼眼图像的像素的采集时间戳和全景图像的像素建立映射关系，得到像素时间映射关系的步骤，具体包括：将鱼眼图像的像素的采集时间戳投影到全景图像的像素所在的位置，得到时间索引图。其中，时间索引图的像素位置记录全景图像的像素的采集时间戳，时间索引图的像素位置和全景图像的像素的位置匹配。
164.相应地，根据全景图像的像素，从像素时间映射关系中确定全景图像的像素的采集时间戳的步骤，具体包括：根据全景图像的像素的位置，从时间索引图中确定全景图像的像素的采集时间戳。
165.在另一具体的实现方式中，全景相机可建立一具体的数据结构，以同时记录像素和该像素的采集时间戳。具体来说，当扫描完cmos传感器中的一行感光像素时，将扫描该行感光像素的时间，作为扫描该行感光像素得到的鱼眼图像上的像素的采集时间戳，形成的数据为以“(像素，采集时间戳)”的方式记录，例如，形成的数据以“rgbt”的方式记录，其中，rgb为像素颜色，t为该像素的采集时间戳。然后，将多张鱼眼图像进行拼接以得到全景图像时，在全景图像中也记录采集时间戳信息，具体以“(像素，采集时间戳)”的方式记录，例如，以“rgbt”的方式记录，其中，rgb为像素颜色，t为该像素的采集时间戳。
166.当旋转矩阵的定位时间戳和球面图像的像素的采集时间戳相同时，则球面图像上的像素按照该旋转矩阵表示的姿态移动后，可准确位于在初始时刻时该像素所应处于的位置。若旋转矩阵的定位时间戳和球面图像的像素的采集时间戳不同，则有可能球面图像上的像素按照该旋转矩阵表示的姿态移动后，偏离在初始时刻时该像素所应处于的位置。为此，本发明实施例的全景图像处理方法还包括下述步骤。
167.步骤307：对球面图像的每一像素，根据球面图像的像素的采集时间戳，从多个校正像素中确定第一校正像素和第二校正像素。
168.全景相机获取有像素的采集时间戳，对球面图像的每一像素，根据球面图像的像素的采集时间戳，从多个校正像素中确定第一校正像素和第二校正像素。其中，球面图像的当前校正的像素的采集时间戳位于第一旋转矩阵的定位时间戳和第二旋转矩阵的定位时间戳之间，第一旋转矩阵为得到第一校正像素所使用的旋转矩阵，第二旋转矩阵为得到第二校正像素所使用的旋转矩阵。
169.具体来说，对球面图像的一像素来说，该像素有一采集时间戳。旋转矩阵的定位时间戳可能和该采集时间戳重合，也可能不重合。定位时间戳和该像素的采集时间戳越接近的旋转矩阵对该像素的位置校正越准确。该像素的采集时间戳位于第一旋转矩阵的定位时间戳和第二旋转矩阵的定位时间戳之间时，则在多个旋转矩阵中，第一旋转矩阵和第二旋转矩阵对该像素的位置校正比其他旋转矩阵的位置校正更准确，从而，第一校正像素和第二校正像素为该像素较准确的位置校正结果。在本发明实施例中，对球面图像的每一像素都分别确定出第一校正像素和第二校正像素，以对球面图像的每一像素都进行准确的位置校正。
170.例如，全景相机先扫描cmos传感器中的首行感光像素，该扫描时间为首行旋转矩阵的定位时间戳，首行旋转矩阵记录全景相机在该定位时间戳相对初始时刻时的姿态。然后，全景相机继续扫描cmos传感器的感光像素，在目标采集时间戳扫描目标行的感光像素，得到目标行的像素，其中，目标行的像素包括目标像素，目标像素的采集时间戳为目标采集时间戳。跟着，全景相机扫描中间行感光像素，扫描时间为中间旋转矩阵的定位时间戳。中间旋转矩阵记录全景相机在该定位时间戳相对初始时刻时的姿态。然后，全景相机扫描到末行感光像素，扫描时间为末行旋转矩阵的定位时间戳，末行旋转矩阵记录全景相机在该定位时间戳相对初始时刻时的姿态。这样，目标像素的目标采集时间戳位于首行旋转矩阵的定位时间戳和中间旋转矩阵的定位时间戳之间。使用首行旋转矩阵和中间旋转矩阵对目
标像素进行位置校正比使用末行旋转矩阵进行位置校正更准确。为此，全景相机对目标像素确定出的第一校正像素和第二校正像素为使用首行旋转矩阵和中间旋转矩阵对目标像素进行位置校正得到的两校正像素。
171.步骤308：对球面图像的每一像素，使用第一校正像素和第二校正像素进行加权平均计算，得到目标校正像素。
172.对球面图像的每一像素都分别确定出第一校正像素和第二校正像素，然后，使用第一校正像素和第二校正像素进行加权平均计算，对球面图像的每一像素，都可分别得到目标校正像素。其中，在加权平均计算中，第一校正像素和第二校正像素的权重大小关系反比于第一时长和第二时长的大小关系，第一时长为球面图像的当前校正的像素的采集时间戳和第一旋转矩阵的定位时间戳之间的时间差，第二时长为球面图像的当前校正的像素的采集时间戳和第二旋转矩阵的定位时间戳之间的时间差。
173.具体来说，第一校正像素和第二校正像素为当前校正的像素的较准确的位置校正结果。在第一校正像素和第二校正像素中，校正效果不一定相同。如上所述，定位时间戳和像素的采集时间戳越接近的旋转矩阵对该像素的位置校正越准确。
174.为此，若第一旋转矩阵的定位时间戳比第二旋转矩阵的定位时间戳离当前校正的像素的采集时间戳接近，即第一时长小于第二时长，则第一校正像素比第二校正像素的校正效果好，从而，在加权平均计算中，第一校正像素的权重大于第二校正像素的权重。反之，若第二旋转矩阵的定位时间戳比第一旋转矩阵的定位时间戳离当前校正的像素的采集时间戳接近，即第一时长大于第二时长，则第二校正像素比第一校正像素的校正效果好，从而，在加权平均计算中，第一校正像素的权重小于第二校正像素的权重。这样，使用第一校正像素和第二校正像素进行加权平均计算后，得到的目标校正像素可尽量校正到在初始时刻时像素所应处于的位置。
175.可选地，本发明实施例的全景图像处理方法还包括：使用归一公式t＝(t
’‑
t1)/(t
3-t1)，对全景图像的像素的采集时间戳进行归一化，得到归一时间。
176.相应地，对球面图像的每一像素，使用第一校正像素和第二校正像素进行加权平均计算，得到目标校正像素的步骤，具体包括：
177.当0≤t＜0.5时，使用第一公式计算目标校正像素的位置坐标，以得到目标校正像素；
178.当0.5＜t≤1时，使用第二公式计算目标校正像素的位置坐标，以得到目标校正像素。
179.其中，第一公式为p”＝(1-2t)p1+2t
×
p2；
180.第二公式为p”＝(1-2(t-0.5))p2+2(t-0.5)p3。
181.t表示归一时间。t’表示全景图像的像素的采集时间戳。t1表示首行旋转矩阵的定位时间戳。t3表示末行旋转矩阵的定位时间戳。p1表示球面图像上的像素按照首行旋转矩阵表示的姿态移动后的位置坐标。p2表示球面图像上的像素按照中间旋转矩阵表示的姿态移动后的位置坐标，中间旋转矩阵的定位时间戳为扫描cmos传感器中的正中间行感光像素的时刻。在一cmos传感器中，正中间行感光像素和首行感光像素之间的距离相等于正中间行感光像素和末行感光像素之间的距离。p3表示球面图像上的像素按照末行旋转矩阵表示的姿态移动后的位置坐标。p”表示目标校正像素的位置坐标。
182.应该理解，在本发明实施例中，目标校正像素包括空间位置信息和颜色信息，空间位置信息即上述的位置坐标。本发明实施例的全景图像处理方法可校正像素的空间位置，以得到目标校正像素，从而实现去果冻和防抖。而对像素的颜色信息，本发明实施例的全景图像处理方法可以不予改变。
183.步骤309：将球面图像的每一目标校正像素投影到平面，得到校正后全景图像。
184.全景相机对球面图像的每一像素，使用第一校正像素和第二校正像素进行加权平均计算，得到目标校正像素之后，全景相机将球面图像的每一目标校正像素投影到平面，得到校正后全景图像。例如使用等距矩形投影方式投影。
185.在本发明实施例的全景图像处理方法中，对每一像素通过使用多个所述旋转矩阵进行位置校正，且根据时间信息确定校正的权重，使得校正后全景图像减少因全景相机在拍摄时的抖动等原因产生的果冻效应，图像的变形较少，从而多张图像的拼接效果更好。并且，将像素按照旋转矩阵表示的姿态移动，以实现位置校正，可使得校正后全景图像的防抖效果更好。
186.可选地，全景图像为全景视频流的一帧图像。这样，本发明实施例的全景图像处理方法可以去除全景视频流中的果冻效果，有较好的防抖效果，并且，因每一帧图像都以全景相机在初始时刻时的位置为基准进行校正，从而全景视频流整体也能有较好的防抖效果。
187.综上所述，在本发明实施例的全景图像处理方法中，获取全景图像和全景图像的像素的采集时间戳，以及，获取多个旋转矩阵，其中，全景图像由全景相机在目标时段采集得到，多个旋转矩阵表示全景相机在不同的定位时间戳相对初始时刻时的姿态，定位时间戳位于目标时段内。将全景图像转换为球面图像，全景图像和球面图像上相互匹配的像素的采集时间戳相同。对球面图像的每一像素，分别使用多个旋转矩阵进行位置校正，得到每一像素的多个校正像素，属于同一像素的不同校正像素的位置为球面图像上的像素按照不同旋转矩阵表示的姿态移动后的位置，从而实现对球面图像上的像素的不同程度的位置校正。对球面图像的每一像素，根据球面图像的像素的采集时间戳，从多个校正像素中确定第一校正像素和第二校正像素，其中，球面图像的当前校正的像素的采集时间戳位于第一旋转矩阵的定位时间戳和第二旋转矩阵的定位时间戳之间，第一旋转矩阵为得到第一校正像素所使用的旋转矩阵，第二旋转矩阵为得到第二校正像素所使用的旋转矩阵。第一校正像素和第二校正像素较为适合校正球面图像的当前校正的像素。对球面图像的每一像素，使用第一校正像素和第二校正像素进行加权平均计算，得到目标校正像素，其中，在加权平均计算中，第一校正像素和第二校正像素的权重大小关系反比于第一时长和第二时长的大小关系，第一时长为球面图像的当前校正的像素的采集时间戳和第一旋转矩阵的定位时间戳之间的时间差，第二时长为球面图像的当前校正的像素的采集时间戳和第二旋转矩阵的定位时间戳之间的时间差。这样，通过加权平均计算，综合了第一校正像素和第二校正像素的校正效果，使得若全景相机在目标时段采集全景图像时发生抖动，通过本发明实施例的全景图像处理方法可将球面图像的每一像素尽量校正到在初始时刻时像素所应处于的位置，从而实现了较好的防抖效果。
188.图8为本发明另一实施例提供的一种全景相机的结构示意图。图8所示的全景相机可用于执行上述图2所示实施例的全景图像处理方法和图3所示实施例的全景图像处理方法。图8所示的全景相机可集成在图1所示实施例的全景相机上。
189.参阅图8，本发明实施例的全景相机包括：
190.第一获取模块801，用于获取全景图像和全景图像的像素的采集时间戳；
191.第二获取模块802，用于获取多个旋转矩阵，其中，全景图像由全景相机在目标时段采集得到，多个旋转矩阵表示全景相机在不同的定位时间戳相对初始时刻时的姿态，定位时间戳位于目标时段内；
192.转换模块803，用于将全景图像转换为球面图像，全景图像和球面图像上相互匹配的像素的采集时间戳相同；
193.校正模块804，用于对球面图像的每一像素，分别使用多个旋转矩阵进行位置校正，得到每一像素的多个校正像素，属于同一像素的不同校正像素的位置为球面图像上的像素按照不同旋转矩阵表示的姿态移动后的位置；
194.确定模块805，用于对球面图像的每一像素，根据球面图像的像素的采集时间戳，从多个校正像素中确定第一校正像素和第二校正像素，其中，球面图像的当前校正的像素的采集时间戳位于第一旋转矩阵的定位时间戳和第二旋转矩阵的定位时间戳之间，第一旋转矩阵为得到第一校正像素所使用的旋转矩阵，第二旋转矩阵为得到第二校正像素所使用的旋转矩阵；
195.计算模块806，用于对球面图像的每一像素，使用第一校正像素和第二校正像素进行加权平均计算，得到目标校正像素，其中，在加权平均计算中，第一校正像素和第二校正像素的权重大小关系反比于第一时长和第二时长的大小关系，第一时长为球面图像的当前校正的像素的采集时间戳和第一旋转矩阵的定位时间戳之间的时间差，第二时长为球面图像的当前校正的像素的采集时间戳和第二旋转矩阵的定位时间戳之间的时间差。
196.可选地，全景相机上设有多个cmos互补金属氧化物半导体传感器，一cmos传感器用于采集一鱼眼图像，定位时间戳为扫描cmos传感器中的一行感光像素的时刻；
197.第一获取模块801包括采集单元807、拼接单元808、和时间戳获取单元809；
198.采集单元807，用于通过多个cmos传感器在目标时段同步采集图像，得到多张鱼眼图像；
199.拼接单元808，用于将多张鱼眼图像进行拼接，得到全景图像；
200.时间戳获取单元809，用于获取全景图像的像素的采集时间戳；
201.全景相机还包括投影模块810；
202.投影模块810，用于将球面图像的每一目标校正像素投影到平面，得到校正后全景图像。
203.可选地，多个旋转矩阵分别为首行旋转矩阵、中间旋转矩阵和末行旋转矩阵；
204.首行旋转矩阵的定位时间戳为扫描cmos传感器中的首行感光像素的时刻；
205.中间旋转矩阵的定位时间戳为扫描cmos传感器中的中间行感光像素的时刻；
206.末行旋转矩阵的定位时间戳为扫描cmos传感器中的末行感光像素的时刻；
207.其中，中间行感光像素为位于首行感光像素和末行感光像素之间的一行感光像素。
208.可选地，全景相机还包括归一模块811；
209.归一模块811，用于使用归一公式t＝(t
’‑
t1)/(t
3-t1)，对全景图像的像素的采集时间戳进行归一化，得到归一时间；
210.计算模块806，还用于当0≤t＜0.5时，使用第一公式计算目标校正像素的位置坐标，以得到目标校正像素；
211.计算模块806，还用于当0.5＜t≤1时，使用第二公式计算目标校正像素的位置坐标，以得到目标校正像素；
212.其中，第一公式为p”＝(1-2t)p1+2t
×
p2；
213.第二公式为p”＝(1-2(t-0.5))p2+2(t-0.5)p3；
214.t表示归一时间；
215.t’表示全景图像的像素的采集时间戳；
216.t1表示首行旋转矩阵的定位时间戳；
217.t3表示末行旋转矩阵的定位时间戳；
218.p1表示球面图像上的像素按照首行旋转矩阵表示的姿态移动后的位置坐标；
219.p2表示球面图像上的像素按照中间旋转矩阵表示的姿态移动后的位置坐标，中间旋转矩阵的定位时间戳为扫描cmos传感器中的正中间行感光像素的时刻；
220.p3表示球面图像上的像素按照末行旋转矩阵表示的姿态移动后的位置坐标；
221.p”表示目标校正像素的位置坐标。
222.可选地，时间戳获取单元809包括时间确定子单元812和建立子单元813；
223.时间确定子单元812，用于当扫描完cmos传感器中的一行感光像素时，将扫描该行感光像素的时间，作为扫描该行感光像素得到的鱼眼图像上的像素的采集时间戳；
224.建立子单元813，用于将鱼眼图像的像素的采集时间戳和全景图像的像素建立映射关系，得到像素时间映射关系，鱼眼图像和全景图像相互匹配的像素的采集时间戳相同；
225.全景相机还包括时间戳确定模块814；
226.时间戳确定模块814，用于根据全景图像的像素，从像素时间映射关系中确定全景图像的像素的采集时间戳。
227.可选地，建立子单元813，还用于将鱼眼图像的像素的采集时间戳投影到全景图像的像素所在的位置，得到时间索引图，其中，时间索引图的像素位置记录全景图像的像素的采集时间戳，时间索引图的像素位置和全景图像的像素的位置匹配；
228.时间戳确定模块814，还用于根据全景图像的像素的位置，从时间索引图中确定全景图像的像素的采集时间戳。
229.可选地，第二获取模块802包括数据获取单元815和旋转矩阵计算单元816；
230.数据获取单元815，用于在每一定位时间戳获取全景相机的加速度计数值和角速度数值；
231.旋转矩阵计算单元816，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，计算全景相机在每一定位时间戳时相对初始时刻时的姿态的旋转矩阵。
232.可选地，全景图像为全景视频流的一帧图像。
233.综上所述，在本发明实施例的全景相机中，第一获取模块801获取全景图像和全景图像的像素的采集时间戳。第二获取模块802获取多个旋转矩阵，其中，全景图像由全景相机在目标时段采集得到，多个旋转矩阵表示全景相机在不同的定位时间戳相对初始时刻时的姿态，定位时间戳位于目标时段内。转换模块803将全景图像转换为球面图像，全景图像和球面图像上相互匹配的像素的采集时间戳相同。对球面图像的每一像素，校正模块804分
别使用多个旋转矩阵进行位置校正，得到每一像素的多个校正像素，属于同一像素的不同校正像素的位置为球面图像上的像素按照不同旋转矩阵表示的姿态移动后的位置。对球面图像的每一像素，确定模块805根据球面图像的像素的采集时间戳，从多个校正像素中确定第一校正像素和第二校正像素，其中，球面图像的当前校正的像素的采集时间戳位于第一旋转矩阵的定位时间戳和第二旋转矩阵的定位时间戳之间，第一旋转矩阵为得到第一校正像素所使用的旋转矩阵，第二旋转矩阵为得到第二校正像素所使用的旋转矩阵。对球面图像的每一像素，计算模块806使用第一校正像素和第二校正像素进行加权平均计算，得到目标校正像素，其中，在加权平均计算中，第一校正像素和第二校正像素的权重大小关系反比于第一时长和第二时长的大小关系，第一时长为球面图像的当前校正的像素的采集时间戳和第一旋转矩阵的定位时间戳之间的时间差，第二时长为球面图像的当前校正的像素的采集时间戳和第二旋转矩阵的定位时间戳之间的时间差。这样，通过加权平均计算，综合了第一校正像素和第二校正像素的校正效果，使得若全景相机在目标时段采集全景图像时发生抖动，通过本发明实施例的全景图像处理方法可将球面图像的每一像素尽量校正到在初始时刻时像素所应处于的位置，从而实现了较好的防抖效果。
234.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
235.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
236.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
237.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
238.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
239.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前
述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。