影像校正方法与影像校正装置与流程

1.本发明涉及一种影像校正方法与影像校正装置。


背景技术：

2.就现今的影像处理技术而言，针对影像方向错误的情况，往往较难检测影像的方向。尤其是，相机或摄影机往往只能撷取影像像素的颜色信息，并不会撷取影像相关的方向信息。此时，若拍摄到错误方向的影像或影像在传送时发生影像方向错误，通常只能直接辨识影像的方向，以将影像的方向旋转至正确的方向。
3.然而，在上述发生影像方向错误的情况下，不仅无法预期进来的画面方向且目前影像方向辨识方法还往往成效不佳或精确度不高。因此，要如何在发生影像方向错误的情况下，提供精确度极佳的影像方向辨识以及校正方法，为本领域技术人员所关心的议题之一。


技术实现要素：

4.本发明提供一种影像校正方法。所述方法包括：辨识第一影像中的至少一物件，以定义物件的物件区块影像；利用方向计算模型计算物件区块影像中的物件的物件方向，物件方向分别是二维坐标平面上相对于基准轴向的偏转角度，且偏转角度为0度至360度之间的任一角度；以及依据偏转角度产生第一影像的影像偏转信息，并利用影像偏转信息校正第一影像为第二影像。
5.在一实施例中，辨识第一影像中的物件，以定义物件的物件区块影像的步骤包括：依据第一样本影像，以辨识物件对应的物件类型，其中第一样本影像包括多个候选物件类型的多个第一物件影像。
6.在一实施例中，辨识第一影像中的物件，以定义物件的物件区块影像的步骤还包括：依据预设解析度调整第一影像，其中预设解析度大于或不大于第一影像的解析度；从调整后的第一影像辨识出物件对应的位置信息；以及依据位置信息从调整后的第一影像撷取出物件对应的物件区块影像。
7.在一实施例中，利用方向计算模型计算物件区块影像中的物件的该物件方向的步骤包括：依据方向计算模型当中的第二样本影像辨识物件区块影像对应的物件方向，其中第二样本影像包括各物件类型的影像对应的多个第二物件影像，且多个第二物件影像分别对应于多个候选方向。
8.在一实施例中，第一影像包含多个物件，多个物件分别被定义多个物件区块影像，多个物件区块影像依据方向计算模型分别被计算对应的多个物件方向，多个物件依据第一样本影像被辨识出对应的多个物件类型。
9.在一实施例中，多个物件类型对应于多个权重值，依据多个物件区块影像对应的多个物件方向判断第一影像对应的影像偏转信息的步骤包括：依据多个物件区块影像对应的多个物件方向以及多个权重值产生多个方向加权值；以及依据多个方向加权值计算加权
后的影像偏转信息。
10.在一实施例中，多个物件类型对应于多个优先次序，且依据多个物件区块影像对应的多个物件方向判断第一影像对应的影像偏转信息的步骤包括：搜寻多个物件区块影像的多个优先次序当中的最高优先次序；以及依据最高优先次序对应的物件区块影像的物件方向计算影像偏转信息。
11.在一实施例中，多个物件类型对应于多个权重值并且对应于多个优先次序，且依据多个物件区块影像对应的多个物件方向判断第一影像对应的影像偏转信息的步骤包括：将多个物件区块影像对应的多个物件方向乘以多个权重值以产生多个方向加权值；依据多个方向加权值计算加权后的第一影像偏转信息；搜寻多个物件区块影像的多个优先次序当中的最高优先次序；依据最高优先次序对应的物件区块影像的物件方向计算第二影像偏转信息；以及依据第一影像偏转信息以及第二影像偏转信息计算第一影像对应的影像偏转信息。
12.本发明提供一种影像校正装置，包括影像撷取电路、存储器以及处理器。影像撷取电路用以撷取第一影像；存储器用以存储多个指令；以及处理器连接影像撷取电路与存储器，并用以载入并执行多个指令以：接收第一影像，并对第一影像中的至少一物件进行物件辨识，以产生至少一物件区块影像；利用方向计算模型计算物件区块影像对应的物件方向，物件方向分别是二维坐标平面上相对于基准轴向的偏转角度，偏转角度的为0度至360度之间的任一角度；以及依据偏转角度产生第一影像的影像偏转信息，并利用影像偏转信息校正第一影像为第二影像。
13.在一实施例中，第一影像包含多个物件，多个物件分别被定义多个物件区块影像，多个物件区块影像依据方向计算模型分别被计算对应的多个物件方向，且处理器更用以：依据多个第一样本影像，以辨识多个物件对应的多个物件类型，其中多个第一样本影像包括多个候选物件类型的影像；以及依据方向计算模型当中的多个第二样本影像辨识多个物件区块影像对应的多个物件方向，其中多个第二样本影像包括各物件类型的影像对应的多个第二物件影像，且多个第二物件影像分别对应于多个候选方向。
14.基于上述，本发明提供的影像校正方法与装置能在影像方向错误的情况下，结合深度学习、权重值以及优先次序的计算，以对影像进行方向辨识，并判断影像的方向是否错误，以将影像旋转至正确的方向。借此，可达成节省硬件资源的使用，并增加影像方向辨识的精确度。
附图说明
15.为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
16.图1是根据本发明实施例绘示影像校正装置的方块图。
17.图2是根据本发明实施例绘示影像校正方法的流程图。
18.图3是根据本发明实施例绘示影像调整的示意图。
19.图4是根据本发明实施例绘示产生物件区块影像的示意图。
20.图5a是根据本发明实施例绘示图2的影像校正方法的部分步骤的进一步流程图。
21.图5b是根据本发明另一实施例绘示图2的影像校正方法的部分步骤的进一步流程
图。
22.图5c是根据本发明另一实施例绘示图2的影像校正方法的部分步骤的进一步流程图。
23.图6是根据本发明实施例绘示物件方向的示意图。
24.图7是根据本发明实施例绘示二维坐标平面的示意图。
25.图8是根据本发明实施例绘示利用影像偏转信息进行影像旋转的示意图。
26.图9a至图9b是根据本发明实施例绘示矩形影像的调整的示意图。
27.图10是根据本发明另一实施例绘示影像校正方法的流程图。
28.其中，附图标记说明如下：
29.110：影像撷取电路
30.120：存储器
31.130：处理器
32.pic：第一影像
33.pic’：影像
34.pic1：调整后的第一影像
35.pic2、pic3：物件区块影像
36.t：树木物件
37.m：人物物件
38.d1、d2：物件方向
39.d3、d3’：影像方向
40.pic1’：旋转影像
41.rect1：最大内切矩形的影像
42.rect2：最小外切矩形的影像
43.s210～s270、s2501、s2701～s2717、s1010～s1050：步骤
具体实施方式
44.图1是根据本发明实施例绘示影像校正装置的方块图。参照图1，影像校正装置100包括影像撷取电路110、存储器120以及处理器130。影像撷取电路110可用以撷取影像。存储器120可用以存储多个指令。处理器130可连接影像撷取电路110与存储器120，并用以载入并执行上述多个指令。值得注意的是，在本实施例中，影像撷取电路110可以被配置于影像校正装置100中。然而，在其他实施例中，影像撷取电路110也可以被配置于影像校正装置100以外的其他装置中。
45.在一些实施例中，影像校正装置100可以是拍摄影像的摄影机或相机，也可以是支援影像串流(video steaming)的装置或平台服务器。在一些实施例中，影像撷取电路110是具有电荷耦合元件(charge coupled device,ccd)的镜头、互补性氧化金属半导体(complementary metal-oxide semiconductor，cmos)的镜头、红外线镜头或其他元件镜头等的电路。在一些实施例中，上述影像撷取电路110所撷取的影像是由影像撷取电路110直接撷取所拍摄的照片的影像，或周期性地撷取拍摄影片中的帧(frame)的影像。
46.在一些实施例中，存储器120可以是任何型态的固定式或可移动式的随机存取存
储器(random access memory，ram)、只读存储器(read-only memory，rom)、快闪存储器(flash memory)、硬盘(hard disk drive，hdd)、固态硬盘(solid state drive，ssd)或类似元件或上述元件的组合。
47.在一些实施例中，处理器130可以是中央处理单元(central processing unit，cpu)，或是其他可编程的一般用途或特殊用途的微控制单元(micro control unit，mcu)、微处理器(microprocessor)、数字信号处理器(digital signal processor，dsp)、可编程控制器、特殊应用集成电路(application specific integrated circuit，asic)、图形处理器(graphics processing unit，gpu)、算数逻辑单元(arithmetic logic unit，alu)、复杂可编程逻辑装置(complex programmable logic device，cpld)、现场可编程逻辑闸阵列(field programmable gate array，fpga)或其他类似元件或上述元件的组合。
48.在一些实施例中，处理器130可以有线或无线的方式连接影像撷取电路与存储器。对于有线方式而言，上述连接的方式可以是通过通用序列总线(universal serial bus，usb)、rs232、通用非同步接收器/传送器(universal asynchronous receiver/transmitter，uart)、内部整合电路(i2c)、序列周边接口(serial peripheral interface，spi)、显示端(display port)、雷电端(thunderbolt)或区域网络(local area network，lan)接口连接的方式。而对于无线方式而言，上述连接的方式可以是通过无线保真(wireless fidelity，wi-fi)模块、无线射频识别(radio frequency identification，rfid)模块、蓝牙模块、红外线模块、近场通信(near-field communication，nfc)模块或装置对装置(device-to-device，d2d)模块连接的方式。
49.图2是根据本发明实施例绘示影像校正方法的流程图。图2所示实施例的方法适用于图1的影像校正装置100，但不以此为限。为清楚说明，下述同时参照图1及图2，以影像校正装置100中各元件之间的作动关系来说明图2所示影像校正方法的详细步骤。
50.首先，于步骤s210中，处理器130可调整第一影像。换言之，处理器130可对从影像撷取电路110所撷取的第一影像进行调整，以产生调整后的第一影像。请注意，倘若第一影像不须经过调整即可被辨识出物件所在，则可省略步骤s210。
51.在一些实施例中，处理器130可依据预设解析度调整第一影像，其中预设解析度大于或小于第一影像的解析度。此外，此预设解析度可以预先存储于存储器120中或者是一个数据服务器(未绘示)中。借此，处理器130可从存储器120或数据服务器读取此预设解析度。进一步而言，处理器130可先判断第一影像的解析度是否与一个预设解析度相同。当处理器130判断第一影像的解析度与预设解析度不同时，处理器130可将第一影像的影像分别沿垂直方向与水平方向等比例地调整(等比例地放大或缩小)，以将第一影像的解析度调整为预设解析度。
52.举例而言，图3是根据本发明实施例绘示影像调整的示意图，当判断第一影像pic的解析度小于预设解析度时，可先将第一影像pic沿垂直方向等比例地调整以产生影像pic’，其中影像pic’的垂直解析度与预设解析度的垂直解析度相同。再将影像pic’沿水平方向等比例地调整以产生调整后的第一影像pic1。值得注意的是，由于上述采用了等比例调整的方法，故影像pic’与调整后的第一影像pic1并不会有失真(distortion)的问题。
53.接着，于步骤s230中，处理器130可辨识调整后的第一影像中的至少一物件，以定义此物件的物件区块影像。换言之，处理器130可从调整后的第一影像检测并辨识出至少一
物件，再从调整后的第一影像定义并产生前述的至少一物件对应的至少一物件区块影像。请注意，倘若第一影像不须经过调整即可被辨识出物件所在，则可省略步骤s210，换言之，处理器130也可对第一影像直接进行物件辨识，并定义至少一物件区块影像。
54.在一些实施例中，处理器130可依据第一样本影像对调整后的第一影像中的至少一物件进行该物件辨识，以辨识至少一物件对应的至少一物件类型，其中第一样本影像包括多个候选物件类型的影像，且多个候选物件类型的影像中的各者包括其各自对应的多个第一物件影像。值得注意的是，此物件辨识的方法可以是目前常用的用以辨识影像中的物件的各种机器学习演算法，并没有针对物件辨识的方法有特别的限制。
55.举例而言，处理器130可预先利用m个候选物件类型各自对应的多个第一物件影像作为第一样本影像，并利用第一样本影像训练出各自对应的二元(two-class classification)辨识模型(即，用以判断物件是否存在)，其中m可以是任意正整数，并没有特别的限制。此外，处理器130也可预先利用m个候选物件类型各自对应的多个第一物件影像作为第一样本影像，并利用第一样本影像训练出一个分类(multiclass classification)辨识模型(即，用以判断存在哪种物件)。借此，当处理器130利用上述m个二元辨识模型或一个分类辨识模型从调整后的第一影像辨识出n个物件时，处理器130可辨识出n个物件对应的p个物件类型，其中p为不大于m、n的正整数。此外，上述二元辨识模型可以是基于类神经网络(neural network，nn)演算法或卷积神经网络(convolutional neural network，cnn)演算法等机器学习演算法产生的，而上述分类辨识模型可以是基于cnn演算法、k-邻近(k-nearest neighbors，knn)演算法、k-平均(k-mean)演算法、阶层式集群分析(hierarchical cluster analysis)演算法以及期望最大化(expectation maximization，em)演算法等机器学习演算法产生的。
56.进一步而言，图4是根据本发明实施例绘示产生物件区块影像的示意图。参照图4，可预先利用包含树木的物件的复数影像，训练出树木对应的二元辨识模型，并利用包含人物的物件的复数影像，训练出人物对应的二元辨识模型。借此，可利用树木对应的二元辨识模型判断调整后的第一影像pic1中是否存在树木的物件，并可利用人物对应的二元辨识模型判断调整后的第一影像pic1中是否存在人物的物件。又或者是，可直接利用包含树木的物件的影像与包含人物的物件的影像训练出分类辨识模型，并利用此分类辨识模型判断调整后的第一影像pic1为包含树木的物件的影像或包含人物的物件的影像。藉由上述的物件辨识方法，可判断出调整后的第一影像pic1中是否存在树木物件t与人物物件m。
57.同时参照图1与图2，在进一步的实施例中，处理器130可从调整后的第一影像辨识出多个物件对应的位置信息。借此，处理器130可依据位置信息从调整后的第一影像撷取出多个物件对应的多个物件区块影像。值得注意的是，此位置辨识的方法可以是目前常用的用以辨识影像中的物件位置的各种机器学习演算法，并没有针对位置辨识的方法有特别的限制。
58.在一些实施例中，处理器130可依据多个另一样本影像从调整后的第一影像辨识出至少一物件对应的位置信息，其中多个另一样本影像包括多个物件类型的影像，多个物件类型的影像中的各者包括其各自对应的多个另一物件影像，且多个另一物件影像对应于多个候选物件位置。此外，各候选物件位置可以是影像中的任意位置(即，影像中的任意像素区块)。借此，处理器130可依据位置信息从第一影像撷取出至少一物件对应的至少一物
件区块影像。
59.在进一步的实施例中，上述位置信息可包括至少一物件对应的至少一位置坐标信息，其中各位置坐标信息可包括各物件对应的像素坐标信息(例如，各物件的定界框的左上角像素坐标与右下角像素坐标)。
60.举例而言，接续上个例子，当处理器130从调整后的第一影像辨识出n个物件对应的p个物件类型时，处理器130可从存储器120中读取预先训练好的与p个物件类型对应的p个位置辨识(object localization)模型，其中p个物件类型分别对应于p个位置辨识模型。进一步而言，处理器130可预先从外部的各种数据库或存储器120中的各种数据库随机地读取t个样本物件类型的q个物件影像(即，已对物件进行标示的影像)，其中这些样本物件类型包括上述p个物件类型，且q个物件影像对应于r个候选位置(即，影像中可存在物件的各种位置)，其中t为大于p的正整数，且q、r为任意正整数(q、r的值越大，位置辨识模型的精确度越好)。换言之，处理器130可利用t个样本物件类型对应的q个影像训练出t个样本位置辨识模型，并从t个样本位置辨识模型选择与p个物件类型对应的p个位置辨识模型。借此，处理器130可利用上述p个位置辨识模型从调整后的第一影像辨识出n个物件对应的定界框的左上角像素坐标与右下角像素坐标。如此一来，处理器130可利用n个定界框的左上角像素坐标与右下角像素坐标从调整后的第一影像撷取出n个物件对应的至少一物件区块影像。
61.此外，上述各位置辨识模型可以是基于区域卷积神经网络(region convolutional neural network，r-cnn)演算法、快速区域卷积神经网络(fast region convolutional neural network，fast r-cnn)演算法以及更快的区域卷积神经网络(faster region convolutional neural network，faster r-cnn)演算法等机器学习演算法产生的。
62.进一步而言，参照图4，当从调整后的第一影像pic1判断出树木物件t与人物物件m时，可利用包含树木的物件的复数影像，训练出树木对应的位置辨识模型，其中这些树木的物件位于这些影像中的任意候选物件位置。此外，可利用包含人物的物件的复数影像，训练出人物对应的位置辨识模型，其中这些人物的物件位于这些影像中的任意候选物件位置。借此，可利用树木对应的位置辨识模型，从调整后的第一影像pic1判断出树木物件t对应的定界框，并撷取树木物件t的定界框的左上角像素坐标与右下角像素坐标。此外，可利用人物对应的位置辨识模型，从调整后的第一影像pic1判断出人物物件m对应的定界框，并撷取人物物件m的定界框的左上角像素坐标与右下角像素坐标。如此一来，可依据树木物件t的定界框的左上角像素坐标与右下角像素坐标以及人物物件m的定界框的左上角像素坐标与右下角像素坐标，从调整后的第一影像pic1撷取出物件区块影像pic2与物件区块影像pic3(即，撷取树木物件t对应的多个像素与人物物件m对应的多个像素)。
63.同时参照图1与图2，在另一实施例中，处理器130也可直接依据上述多个另一样本影像训练出的物件与位置辨识模块，其中物件与位置辨识模块可用以辨识物件与辨识物件位置。在又一实施例中，处理器130可依据多个另一样本影像，利用yolo(you only look once)演算法等机器学习演算法产生物件与位置辨识模块。
64.接着，于步骤s250中，处理器130可利用方向计算模型计算物件区块影像中的物件的物件方向。换言之，处理器130可训练出方向计算模型以利用方向计算模型计算至少一物件区块影像中的物件的物件方向。在一些实施例中，物件方向分别是二维坐标平面上相对
于基准轴向的偏转角度，且此偏转角度为0度至360度之间的任一角度(即，物件方向的数值是连续(continuous)的数值)。
65.进一步而言，现有的影像方向辨识方法往往无法精确地辨识方向，且只能辨识大概的数值，故无法精确地辨识出连续变化的方向的角度。为解决上述问题，本案可针对任何影像训练出上述对应的方向计算模型，且此方向计算模型更可辨识出精确的连续性变化的角度，其中此角度可以是在二维坐标平面上相对于基准轴向的偏转角度(例如，与零度的基准轴向相对的偏转角度)，且此偏转角度的数值为在0到360之间的连续变化的数值(例如，30.27)。在一实施例中，方向计算模型可以是利用任意具有回归(regression)特性的机器学习演算法产生的。
66.在一实施例中，图5a是根据本发明实施例绘示图2的影像校正方法的部分步骤的进一步流程图。同时参照图1与图5a，步骤s250更可包括步骤s2501。于步骤s2501中，处理器130可依据方向计算模型当中的多个第二样本影像辨识多个物件区块对应的多个物件方向。换言之，处理器130可利用多个第二样本影像训练出方向计算模型，并利用此方向计算模型辨识多个物件区块影像对应的多个物件方向。此外，上述多个第二样本影像可包括多个物件类型的影像，多个物件类型的影像中的各者可包括其各自对应的多个第二物件影像，且多个第二物件影像对应于多个候选方向。
67.举例而言，接续上个例子，当处理器130从调整后的第一影像辨识出n个物件对应的p个物件类型时，处理器130可利用各物件类型的s个候选方向对应的影像训练出p个物件类型对应的一个方向计算模型，其中s为任意正整数(s的值越大，方向计算模型的精确度越好)。
68.详细而言，处理器130可针对cnn设定s个候选方向对应的分类器(classifier)，并去除末端的归一化指数(softmax)层，以产生一个方向辨识网络。借此，处理器130可利用各物件类型的s个候选方向对应的影像，以此方向辨识网络产生一个方向计算模型。如此一来，藉由这个方向计算模型，处理器130可产生s个数值(这s个数值分别对应于s个候选方向)，并依据这s个数值以及s个候选方向对应的坐标计算出二维坐标平面上的一个坐标，进而依据此坐标判断在二维坐标平面上相对于基准轴向的偏转角度，以将此偏转角度作为上述方向计算模型的输出值。因此，此输出值的大小可以是0度至360度之间连续性变化的任一角度(即，并非单点式且不连续变化的数值)。处理器130可利用此方向计算模型更精准地辨识上述多个物件区块影像对应的多个物件方向。
69.例如，若存在4个候选方向且这4个候选方向分别对应于二维坐标平面上的0度、90度、180度以及270度，这4个候选方向对应的坐标可分别为(0,0)、(0,1)、(-1,0)以及(0,-1)。若所产生的4个数值分别为0、0、0.5、0.5，便可执行以下计算：0x(0,0)+0x(0,1)+0.5x(-1,0)+0.5x(0,-1)＝(-0.5,-0.5)。借此，可从二维坐标平面判断坐标(-0.5,-0.5)对应于225度，并将225度作为上述方向计算模型的输出值。
70.进一步而言，图6是根据本发明实施例绘示物件方向的示意图。参照图6，可利用多个候选方向对应的多个树木的物件的影像与多个候选方向对应的多个人物的物件的影像，通过上述的方向辨识网络产生一个用以辨识树木与人物的物件方向的方向计算模型。
71.借此，可利用上述方向计算模型，判断物件区块影像pic2对应的物件方向d1以及物件区块影像pic3对应的物件方向d2，以将物件方向d1与物件方向d2分别作为物件区块影
像pic2对应的物件方向数据与物件区块影像pic3对应的物件方向数据，其中这两个物件方向数据为0度至360度之间的任一角度。
72.以下提出针对物件方向数据的例子，图7是根据本发明实施例绘示二维坐标平面的示意图。参照图7，可将-180度作为基准点(即，作为0)，并将任意角度与-180度相减以产生一个差值，进而将此差值除以360度以产生物件方向的数值。借此，可将此数值作为物件方向数据。如此一来，由图7来看，-180度对应的物件方向的数值为0、-90度对应的物件方向的数值为0.25、0度对应的物件方向的数值为0.5以及90度对应的物件方向的数值为0.75等。由此可知，上述物件方向的数值是连续性变化的数值(即，并非单点式且不连续变化的数值)。
73.最后，同时参照图1与图2，于步骤s270中，处理器130可依据与上述物件方向对应的偏转角度产生第一影像的影像偏转信息，并利用影像偏转信息校正第一影像为第二影像。换言之，处理器130可利用物件区块影像对应的物件方向判断调整后的第一影像对应的影像偏转信息，藉以将调整后的第一影像进行校正以产生第二影像(即，具有正确影像方向的影像)。
74.以下以利用多个权重值产生影像偏转信息为例，同时参照图1与图5a，步骤s270可包括步骤s2701与步骤s2703。首先，于步骤s2701中，处理器130可依据多个物件区块影像对应的多个物件方向以及多个权重值产生多个方向加权值。换言之，处理器130可预先对各物件类型设定对应的权重值，并依据各物件区块影像对应的物件方向以及各物件区块影像对应的权重值以产生多个方向加权值。值得注意的是，在调整后的第一影像中，移动的几率越低的物件类型将具有较高的权重值(例如，树木的物件对应的权重值大于人物的物件对应的权重值)。
75.在一些实施例中，处理器130可将各物件区块影像对应的物件方向的数值乘以各物件区块影像对应的权重值以产生多个方向加权值。举例而言，假设已辨识出一个第一物件类型的物件区块影像以及一个第二物件类型的物件区块影像，其中第一物件类型对应的权重值与第二物件类型对应的权重值分别为0.75与0.25，且第一物件类型的物件区块影像对应的物件方向的数值以及第二物件类型的物件区块影像对应的物件方向的数值分别为0.7与0.67。借此，可将0.75乘以0.7以计算第一物件类型的物件区块影像对应的方向加权值(即，0.525)，并将0.25乘以0.67以计算第二物件类型的物件区块影像对应的方向加权值(即，0.1675)。
76.在另一些实施例中，处理器130可依据多个物件区块影像对应的物件方向的数值计算多个物件类型对应的物件方向平均值，并将多个物件类型对应的物件方向平均值分别乘以多个物件类型对应的权重值，以产生多个方向加权值。举例而言，假设已辨识出三个第一物件类型的物件区块影像以及两个第二物件类型的物件区块影像，其中第一物件类型对应的权重值与第二物件类型对应的权重值分别为0.75与0.25，且三个第一物件类型的物件区块影像对应的物件方向的数值分别为0.7、0.69以及0.72，以及两个第二物件类型的物件区块影像对应的物件方向的数值分别为0.22以及0.25。借此，可将0.7、0.69以及0.72相加并除以3，以计算第一物件类型的物件方向平均值(即，0.7033)，并将第一物件类型的物件方向平均值乘以0.75，以计算第一物件类型的方向加权值(即，0.5275)。此外，更可将0.22以及0.25相加并除以2，以计算第二物件类型的物件方向平均值(即，0.235)，并将第二物件
类型的物件方向平均值乘以0.25，以计算第二物件类型的方向加权值(即，0.05875)。
77.最后，于步骤s2703中，处理器130可依据多个方向加权值计算加权后的影像偏转信息。详细而言，处理器130可依据多个方向加权值计算一个方向加权总合值，并依据方向加权总合值与一个垂直方向(即，90度)产生加权后的影像偏转信息。借此，处理器130可利用加权后的影像偏转信息校正调整后的第一影像。进一步而言，处理器130可多个方向加权值相加并除以上述多个权重值的总和，以计算一个方向加权总合值，进而依据方向加权总合值与垂直方向对应的数值产生加权后的影像偏转信息。举例而言，参照图6，若将树木的物件对应的权重值与人物的物件对应的权重值分别设定为0.75与0.25，且物件方向d1与物件方向d2的数值分别为0.7与0.67，可将0.75乘以0.7以计算树木对应的方向加权值(即，0.525)，并将0.25乘以0.67以计算人物对应的方向加权值(即，0.1675)。
78.借此，可将树木对应的方向加权值与人物对应的方向加权值相加并除以权重值的总和(即，树木的物件对应的权重值以及人物的物件对应的权重值的总和)，以产生方向加权总合值(即，0.6925)，进而依据方向加权总合值与一个垂直方向对应的数值产生加权后的影像偏转信息(即，将0.75与0.6925相减，并乘以360，以计算出调整后的第一影像的偏转角度为20.7度，进而将20.7度作为加权后的影像偏转信息)。
79.以下以利用多个优先次序产生影像偏转信息为例，图5b是根据本发明另一实施例绘示图2的影像校正方法的部分步骤的进一步流程图，其中图5b与图5a的差异仅在于步骤s270中的步骤，故不针对其他雷同的步骤赘述。同时参照图1与图5b，步骤s270可包括步骤s2705与步骤s2707。
80.首先，于步骤s2705中，处理器130可搜寻多个物件区块影像的多个优先次序当中的最高优先次序。详细而言，处理器130可预先为多个物件类型设定优先次序，并依据各物件区块影像的优先次序进行排序，进而选择具有最高优先次序的物件区块影像。值得注意的是，在调整后的第一影像中，移动的几率越低的物件类型将具有较高的优先次序(例如，树木的物件对应的优先次序大于人物的物件对应的优先次序)。
81.最后，于步骤s2707中，处理器130可依据最高优先次序对应的物件区块影像的物件方向计算影像偏转信息。详细而言，若仅存在具有最高优先次序的一个物件区块影像，处理器130可将此物件区块影像的物件方向作为影像偏转信息。而若存在具有最高优先次序的多个物件区块影像，处理器130可从这些物件区块影像的物件方向计算出一个平均方向(例如，将多个物件区块影像的物件方向的数值相加以取平均值，并将此平均值作为平均方向的数值)，并依据此平均方向与一个垂直方向产生影像偏转信息。借此，处理器130可利用此影像偏转信息对调整后的第一影像进行校正。
82.举例而言，参照图6，若将树木的物件对应的优先次序与人物的物件对应的优先次序分别设定为1与2，且物件方向d1与物件方向d2的数值分别为0.7与0.67，可将0.7与一个垂直方向相减以产生调整后的第一影像的影像偏转信息(即，将0.75与0.7相减，并乘以360，以计算出调整后的第一影像的偏转角度为18度，进而将18度作为影像偏转信息)。
83.以下以同时考量利用多个权重值与多个优先次序产生影像偏转信息为例，图5c是根据本发明另一实施例绘示图2的影像校正方法的部分步骤的进一步流程图，其中图5c中的步骤s2501、s2709～s2711皆与图5a中的所有步骤雷同，且图5c中的步骤s2501、s2713～s2715皆与图5b中的所有步骤雷同，故不在此对雷同的步骤赘述。同时参照图1与图5c，步骤
s270可包括步骤s2717。
84.于步骤s2717中，处理器130可依据第一影像偏转信息以及第二影像偏转信息计算并决定第一影像对应的该影像偏转信息。详细而言，处理器130可同时依据上述针对权重值产生的第一影像偏转信息以及针对优先次序产生的第二影像偏转信息，计算并决定调整后的第一影像对应的影像偏转信息；换句话说，同时采用两种计算方式藉以选择较佳的校正方式。
85.在一些实施例中，处理器130可预先设定一个差值阈值，并将第一影像偏转信息中的数值与第二影像偏转信息中的数值相减，进而判断所产生的差值是否大于此差值阈值。若所产生的差值大于此差值阈值，处理器130可直接将第二影像偏转信息作为第一影像对应的影像偏转信息。反之，处理器130可直接将第一影像偏转信息作为第一影像对应的影像偏转信息。借此，处理器130可利用第一影像对应的影像偏转信息对调整后的第一影像进行旋转，以对调整后的第一影像进行校正。
86.在另一些实施例中，处理器130可预先设定一个偏转阈值，并判断第一影像偏转信息中的数值与第二影像偏转信息中的数值是否皆大于此偏转阈值。若此两个数值皆大于此偏转阈值，处理器130可直接将第一影像偏转信息作为调整后的第一影像对应的影像偏转信息。反之，处理器130可直接将第二影像偏转信息作为第一影像对应的影像偏转信息。借此，处理器130可利用调整后的第一影像对应的影像偏转信息对调整后的第一影像进行旋转，以对调整后的第一影像进行校正。
87.在一些实施例中，处理器130可依据影像偏转信息，并利用旋转矩阵(rotation matrix)以实现将调整后的第一影像进行旋转。举例而言，图8是根据本发明实施例绘示利用影像偏转信息进行影像旋转的示意图。参照图8，调整后的第一影像pic1对应于一个影像方向d3，影像方向d3对应于一个影像偏转信息(即，包括影像方向d3与垂直方向之间的角度差)。基于此，可依据影像偏转信息，以利用旋转矩阵将调整后的第一影像进行旋转，进而产生旋转影像pic’，其中旋转影像pic’具有影像方向d3’，且影像方向d3’与垂直方向相同。
88.在进一步的实施例中，同时参照图1与图5c，在处理器130将调整后的第一影像进行旋转后，处理器130可对所产生的旋转影像撷取一个最大内切矩形的影像，以将此最大内切矩形的影像作为第二影像。在另一些实施例中，在处理器130将调整后的第一影像进行旋转后，处理器130可从所产生的旋转影像产生一个最小外切矩形的影像，以将此最小外切矩形的影像作为第二影像。
89.举例而言，图9a至图9b是根据本发明实施例绘示矩形影像的调整的示意图。参照图9a，可从旋转影像pic’中撷取一个最大内切矩形的影像rect1，以将最大内切矩形的影像rect1作为第二影像。此外，参照图9b，可由旋转影像pic’中产生一个最小外切矩形的影像rect2，以将最小外切矩形的影像rect2作为第二影像，其中最小外切矩形的影像rect2中除了旋转影像pic’之外的像素皆补上数值为0或数值为1的像素，即黑或白。
90.图10是根据本发明另一实施例绘示影像校正方法的流程图。同时参照图1与图10，首先，于步骤s1010中，处理器130可对第一影像中的多个物件进行物件辨识，以产生多个物件区块影像。接着，于步骤s1030中，处理器130可利用方向计算模型针对多个物件区块影像分别计算多个物件区块影像对应的多个物件方向，多个物件方向每一者分别是第一影像其中一个物件在二维坐标平面上相对于基准轴向的偏转角度，多个物件方向的多个偏转角度
的大小为0度至360度之间的任一角度。最后，步骤s1050中，处理器130可依据多个物件区块影像对应的多个物件方向判断第一影像对应的影像偏转信息，并利用影像偏转信息校正第一影像以产生第二影像。本实施例的详细流程已公开如上，故不在此进一步赘述。
91.综上所述，本发明提供的影像校正方法可利用一种影像方向辨识演算法对方向错误的影像进行校正。此外，更提出权重值与优先次序的计算方法判断影像的偏转角度。借此，若拍摄到错误方向的影像或影像在传送时发生影像方向错误，可提供在影像方向错误的情况下辨识并自动校正影像方向，达成节省硬件资源的使用，并增加影像方向辨识的精确度。
92.虽然本发明已以实施例公开如上，然并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的权利要求所界定者为准。