Pinhole Camera: Homography @ 拾人牙慧

如果兩台相機所拍攝的場景為同一個平面，則這兩台相機之間的關係稱為 Planar Homography。
如果兩台相機拍攝同一場景，但兩台相機之間只有旋轉角度的不同，沒有任何位移，，則這兩台相機之間的關係稱為 Homography。

預備知識：
Dot Product and Normals to Lines and Planes

Planar Homography

如果兩台相機所拍攝的場景為同一個平面，則任意一個平面上的點，在這兩台相機的成像平面上所產生的兩個點，將產生由 Planar Homography Matrix 所形成的對映關係：
planar_homography

圖中，兩台相機對平面上的一三維座標點拍照，以 Q 表示為該座標點相對於 Camera C 的相機座標，Q' 表示為該座標點相對於 Camera C' 的相機座標，則 Q 與 Q' 之間的關係為：
Q' = RQ + t
R, t 分別表示為相機 C 跟 C' 的相對旋轉(rotation) 及位移(translation)。

假設對 Camera C 來說 (以 C 為原點)，該平面的 normal vector 為 n = [n_x, n_y, n_z]，則從 C 到該平面的距離 d 為：
d = n^TQ = n_xQ_x + n_yQ_y + n_zQ_z => (1/d) n^TQ = 1
接著將上述的關係，代入 Q' 與 Q 之間的方程式，可以得到：

假設相機的內部參數矩陣皆為 K，且 q 與 q' 分別為 Q 及 Q' 在相機 C 及 C' 上的影像座標，其關係式為：

則在這兩台相機在該平面上，所形成的任何成對的影像座標 q 及 q' ，都會滿足以下限制：

H 所指的就是 Homography Matrix，它代表著平面上的任意一個點，在兩台相機所形成的不同影像座標之間的關係。
(注意：這邊有個 scale factor - s)

類似的關係，除了在影像座標之間存在，在相機座標之間也會存在：

所以在算出 Homography Matrix 之後，可以分解 H 得到 R 及 t。

疑問：這邊在求 H 時，有個 scale factor 無法解，對於所求的 H 是否會有不良的影響？
就算求到 H，又該如何分解 H，來求它的 R 及 t ？

Homography

如果兩台相機之間沒有任何的位移(translation)，只有旋轉(rotation)，則依上述的定義，Q 與 Q' 的關係可以重新定義，如下：
Q' = RQ
不管所拍攝的物體是否為平面，上述的關係述都是成立的。

再按照同樣的推導，可以得到 Infinite Homography H_∞：
H_∞ = KRK^-1

上述的關係式，也可由 Planar Homography 來推導，在相機沒有位移的情況下，則 t → 0，或是相機離拍攝物體很遠，則 d → ∞，
所以可以得到 (t/d) → 0：
ho_005

疑問：這邊在求 H_∞ 時，同樣也會有個 scale factor 無法解，對於所求的 H_∞ 是否會有不良的影響？

Pinhole Camera 相關文章：
相機座標成像原理
相機校正 (Camera Calibration)
3D 深度預測 (3D Depth Estimation)
Epipolar Geometry
Homography

Reference

Visual Odometry on Mobile Devices for Virtual Walkthroughs

文字內容或影像內容部份參考、引用自網路，如有侵權，請告知，謝謝。