177] CAJi)
[0178] 其中V'和V'是"Γ的两个端点并且：
[0179]
[0180] "δ"是给定的最大误差值。在至少一些实现方式中，"δ"可W是1.75。在至少一些实 现方式中，"λL"可W被设置成0.02。然而，注意其它值可W在一些实现方式中用于"δ"和/或 U、，， Al 〇
[01引]处理遗漏消没点
[0182]在估计时，可能在一些情况下未发现所有Ξ个消没点。在至少一些实现方式 中，为了健壮性，能量项"Em|k,r"和"El|m"可W能够处置运一情况。在至少一些实现方式中，对 于"Em|k,r"，能量可W对于遗漏消没点被设置成零，其中假设该点位于使用"K"和"R"而估计 的定位。在至少一些实现方式中，对于巧L|M，d(Vmiss，li)对于li为δ"。 巧18引 K、R和Μ的迭代优化
[0184] 有了 W上定义的能量项，直接优化等式(Α10)可能有困难，因为它高度地非线性。 因此，至少一些实现方式可W使用迭代技术W发现近似求解。
[0185] 在至少一些实现方式中，在迭代技术中，该技术可W交替地优化"Κ"、"R"和"Μ"。在 至少一些实现方式中，通过固定"Μ"，可W按照下式用r和"R"优化等式(Α10):
[0186] (成惕
[0187]相似地，在至少一些实现方式中，可W通过求解下式来实现的优化：
[018 引 CAIJ)
[0189]为了在给定时优化"K"和"R"，至少一些实现方式可W使用Matlab中的 吁minsearch"或者相似函数或者某种其它优化技术。然而的优化即使"K"和"R"固定仍 然可能有困难，因为巧L|M"如在等式(All)中定义的那样将距离截短成"δ"。为了求解等式 (13)，至少一些实现方式可W使用离散近似。
[0190]在至少一些实现方式中，从线段"L"可W假设大的消没点集合"V= [VI，V2，···， Vn]"，其中计算每个元素为两个随机选择的线的交点。优化"Μ"因此变成从?'选择消没点 W最小化在等式(Α13)中的能量。对于M=[vx vy vz]的每个元素，发现?'中的使能量最小 化而保持其它两个元素的消没点。
[0191 ]在至少一些实现方式中，可W用W下方式从?'选择"与所有线最接近"的小子集 "Vc={Vcl，Vc2，...，Vckr:
[0192]
[0193] 其中在至少一些实现方式中"k = 9"。在至少一些实现方式中，可W向"Vc"中添加 代表遗漏消没点的特殊消没点"Vmiss"，因为"V。"可W不含景物的曼哈顿方向中的每个曼哈 顿方向。对于在"V。"中的消没点的每个Ξ元组，至少一些实现方式可W使用等式(A12)和 (A13)来优化"K"、"R"和、然后评估等式(AI0)。最后，具有最小能量的"K"、"R"和可W 用作校准结果。
[0194] 在至少一些实现方式中，虽然初始"V。"可W不含曼哈顿方向中的每个曼哈顿方 向，所W可W在迭代优化过程中优化等式(A13)之时从?'检测遗漏方向。然而优化用于在 "V。"中的可能Ξ元组中的每个Ξ元组优化的"K"、"R"和可能计算成本高。因此，至少一 些实现方式可W使用如W下进一步具体描述的用于加速的一个或者多个及早终止策略。 巧19引对消没线进行分组
[0196] 在校准过程之后，至少一些实现方式可W确定用于在中的每个消没点的消没 线。可W通过下式从"L"获得Ξ个消没线集合"Lx"、"Ly"和"Lz":
[0197] 1^1= {1EL| d(Vi，l)<S}，ie {x，y，z}，
[0198] 其中"d( · r是在等式(All)中定义的距离函数。在图lOA至图lOD中示出用估计的 消没线的相机校准结果的示例。 巧199] 相机校准参数
[0200] 在至少一些实现方式中，可W固定用于相机校准的参数的值。然而在其它实现方 式中，可W指定值。可W例如用实验确定用于运些参数的值。与在线段定位中的噪声的 容差。如果设置"δ"太小或者太大，则算法可能未发现最优消没点，因为线段可能被更少准 确地分组。"δ"也与"Al"有关，因为能量函数"El|m"与截短成"δ"的在线与消没点之间的距离 有关。一般而言，"Al"随着"δ"增加而减少，否则校准结果可能在过量数量上依赖于巧L ΙΜ"。
[0201] 减少"Φ"、V'和"k。"可W加速计算而代价为更少准确的估计。此外，将更大值用 于运些参数可能未改进估计结果。与许多其它相机校准技术相似，校准技术的实现方式被 随机化并且偶然地可能获得不希望的结果。然而，有了关于"K"和"R"的先验W及"K"、"R"和 的同时优化，可W在多数情况下实现稳定结果。至少一些实现方式可W提供例如经由用 户接口的技术，用户可W经由该用户接口调整一个或者多个相机校准参数。 巧202] 相机校准初始化
[0203]下文概括相机校准技术并且描述用于该技术的初始化细节。目标是估计相机本征 参数矩阵"K"和定向"R" W及从单个图像的曼哈顿方向"MR"。在至少一些实现方式中，运可 W通过最小化W下能量函数来完成：
[0204] Ek,r,m|l = Ek巧r+Em|k,r巧L|M. (Bl)
[020引（注意也示出运一能量函数为等式(AlO))。至少一些实现方式可W使用交替优化 方案W优化"K"、"R"和。在一些实现方式中，固定W用W下等式更新"K"和"R":
[0206] 掛2)
[0207]然后通过固定"K"和"R"来更新Μ为：
[020引 CB3)
[0209] 运一优化过程可W相互结合、即"同时"优化"Κ"、"R"和"Μ"。在至少一些实现方式 中，为了确定初始值，从?'选择小子集"{ VeI，Ve2，…，VEk}"。然后，从"V。"选择Ξ个消没点作 为初始评估等式(B1)。
[0210] 在至少一些实现方式中，基于曼哈顿假设，可W选择可W使巧LIM"最小化如下的 "Vc":
[0211] 例
[021引其中V'是线段数目并且"d( ·)"是W上定义的距离函数。在至少一些实施方式 中，"k=9"。对于在"Vc"中的消没点的每个S元组，可W通过相对于立元组优化"K"和"R"来 评估等式(B1)。然而在选择消没点时，一些消没点经常可能遗漏，因为可能无代表具体曼哈 顿方向的消没点(例如，见图10B)。
[0213] 在至少一些实现方式中，运通过向"V。"中添加代表遗漏消没点"Vmiss"的特殊消没 点来建模，从而"Vg={Vc1，…，Vck，Vmiss}"然后可W从"Vc"选择消没点的S元组W构建如 下：
[0214] M=[vx Vy Vz]
[0引引 l<x，y，z<k+l
[0216]如果x，y，z < k则x辛y辛z，
[0217]其中"vx"、V'和"Vz"是"V。"的第Vvy'和V个元素。有了运一表示，可W构建 包括遗漏消没点的"M"。
[0218] 一旦构建初始，可W优化"K"、"R"和。然而对于可能Ξ元组中的每个Ξ元组 进行优化可能设及到大量计算，因此在至少一些实现方式中可W使用W下策略。对于每个 Ξ元组，使用等式(B2)来优化"K"和"R"。然后，评估等式(B1)而无的任何进一步优化。Ξ 元组中的每个Ξ元组按照它们的评估的能量值来排序，然后选择若干Ξ元组作为向迭代优 化的输入。在至少一些实现方式中，可W选择其能量值是在所有Ξ元组之中的最小值的两 倍的Ξ元组。
[0219] 图10A至图10D图示根据至少一些实现方式的相机校准技术的过程。该技术可W有 效地发现曼哈顿方向并且同时估计相机参数。图10A示出输入图像。在图10B中，未良好估计 沿着X轴的曼哈顿方向，因为"V。"无恰当对应消没点。在迭代优化步骤期间处置运一问题； 在图10C中，估计正确M。在图10D中，虚线所示两个轴的原点指示投影中屯、。 巧220] 第二相机校准示例
[0221]如W上描述的那样，来自单个图像的相机参数的校准是高度地不良引起的问题。 在先前方式、比如曼哈顿世界假设中利用若干先验。在运一章节中，首先描述校准先验集 合，然后用公式表示校准技术为最大a-后验(MP)估计，然后描述优化算法。 巧222] 景物先验
[0223] 曼哈顿世界假设是在单图像相机校准方法中的最常见先验。它假设在景物中存在 Ξ个主导正交方向，运些主导正交方向如图22C中所示称为"曼哈顿方向"。通过提取那些方 向，可W恢复参考世界坐标轴，并且可W校准相机参数。
[0224] 尽管曼哈顿世界模型有效，但是在一些情况下，景物可W具有未对准的多个正交 方向、比如两组建筑物而在它们的水平方向之间有非直角（见图22C)，运可W称为"亚特兰 大'世界假设。在运一示例中，运用其中进行亚特兰大世界假设的相似先验。例如，该假设可 W指定输入图像具有主导正交框而附加水平方向共享相同竖直方向。 巧2巧]相机先验
[0226] -些技术利用关于相机的本征参数矩阵"K"的先验。该假设是相机W像素为尺度 的焦距与图像的宽度相同并且投影的中屯、是图像中屯、，从而：
[0227]
[022引其中分别地，"取'是图像宽度并且"(Cx Cy)"是图像中屯、。
[0229] 对于关于外部相机定向"R"的先验，采用人们倾向于对准他们的相机与世界的主 轴(principal ace)运样的人类倾向。在运一假设之下，定向矩阵"R"的旋转角度为小，从 而：
[0230] (φ，θ，Φ }=〇,其中R = R*ReR* 巧231] 校准公式表示
[0232] 同前，使用线段作为用于校准的基本源语。从输入图像W多比例方式提取线段集 合"L"。存储每个线段"li"而它在投影平面"P 2"中的两个端点为"pi"和"qi"。
[0233] 一旦提取线段，校准相机参数"K"和"护。为了利用校准先验，在校准期间提取曼哈 顿方向和附加水平消没点"A"，其中：
[0234] M=[Vx Vy Vz]和 A=[Val Va2...Vak]，
[02对并且V代表在"p2"中的消没点。可w格式化TV'R"、"Μ"和"A"相对于"L"的联合 概率如下：
[0236] p(K，R，M，A|L)Kp(L|K，R，M，A)pW，R，M，A)
[0237] =p(L|M，A)p(M，A|K，R)p化)p(R)
[0238] 而假设为Τ'和"R"相互独立并且也独立于Τ'。通过取对数，可W将W上表达式转 换成W下能量函数：
[0239 ] Εκ, R, ΜIL = Ek+Er+Em, AIK, r+El IM, A
[0240]为了计算巧l|m,a" '，使用景物先验。在曼哈顿字词假设之下，代表更多线段的消没 点的Ξ元组合乎需要。另外，对于和"A"的并集，可能希望具有尽可能多的线段作为消没 线。因而，可W用公式表示能量函数如下：
[0241]
[0242] 其中"li代表线段。值…cU( · r用来测量在消没点集合"V={vi，v2，-'，vkr与线段 "Γ之间的最小距离如下：
[0243] dm(V，l)=min{d(vi，l)、d(V2，l)，...，d(vk，l)}
[0244] 值"d(( · r用于使用w下定义来测量在消没点与线之间的距离：
[0245]
[0246] 其中V'和V'是"Γ的两个端点并且
[0247]
[0248] 值"δ"代表给定的最大误差值，该最大误差值在示例中是1.75。值和在 运一示例中分别设置成0.01和0.02，但是也设想其它示例。
[0249] 值"Εκ"和巧R"与相机先验有关。从本征参数矩阵"K"和"R"，可W获得W下表达式：
[0 巧 0]
[0巧1] 并且
[0 巧 2] Εκ = λφ 护+λθ 白 2+λφφ2
[0253] 对于"Εκ"，设置值"λ/'为0.001而设置"Ac"为"(4/W)2"。对于巧R"，Ξ个旋转角度未 被同等地加权。具体地，发现用于"Φ"(即Ζ轴旋转）的先验更强对于实行视平线对准可W是 有益的。因此，可W利用W下表达式：
[0 巧 4] [λφ,λθ,λφ] = [3