電腦視覺矩陣 (Matrices in Computer Vision) @ 拾人牙慧

在電腦視覺中，常會碰到的矩陣有下列幾種，簡單作個說明：
(不確定中文的翻譯為何，所以直接以英文表示)

Camera Matrix
Fundamental Matrix
Essential Matrix
Homography Matrix

Camera Matrix

Camera Matrix 是一個 3x4 的矩陣，用來表示在針孔相機 (Pinhole Camera) 的成像過程中，物體的 3維座標點，會成像在相機 2維成像平面上的哪個位置，相關細節可以參考：Pinhole Camera 的數學成像原理。

也就是說，只要有了 Camera Matrix，搭配某物體的 3維座標點，就可以得知該物體會在成像平面的哪個位置成像。
又或是有了 Camera Matrix，就可以將 2維成像平面上的物體，回推出其 3維座標，但整體的 (X, Y, Z) 比例無法確定，因為有個 scalar factor 無法得知。

圖形表示法：
cv_matrix_camera

數學表示法：

Fundamental Matrix

Fundamental Matrix 是一個 3x3 的矩陣，試著想像在空間中，有一個物體，由兩臺不同位置的相機所拍攝，各自在自己相機的成像座標平面上成像，而 Fundamental Matrix 就是來表示這兩個成像座標之間的關係，相關細節可以參考：Epipolar Geometry。

圖形表示法：
cv_matrix_epipolar_geometry

數學表示法：

Essential Matrix

Essential Matrix 是一個 3x3 的矩陣，類似 Fundamental Matrix，只是這兩個座標的關系，在將物體的世界座標經由外部參數矩陣，轉換成相機座標時，就已經存在。

試著想像在空間中，有一個物體，由兩臺不同位置的相機所拍攝，各自轉換成相對於自己相機的相機座標，而 Essential Matrix 就是來表示這兩個成像座標之間的關係，相關細節可以參考：Epipolar Geometry。

圖形表示法：(同 Fundamental Matrix)
cv_matrix_epipolar_geometry

數學表示法：

Homography Matrix

Homography Matrix 是一個 3x3 的矩陣，類似 Essential Matrix，只是兩台相機的相對位置，沒有位移，只有旋轉，或者是這兩台相機所拍攝的是一個平面影像 (planar scene)。

可以說 Homography Matrix 的存在，是為了補足 Epipolar Geometry 的缺陷而存在，因為 Epipolar Geometry 在兩台相機的相對位置只有旋轉的變化時，不成立。

至於在平面影像中，為何 Epipolar Geometry 不成立，目前瞭解不夠深，所以尚未有解答…

Planar Homography 圖形表示法：
cv_matrix_planar_homography