相機感光元件 - Bayer Sensor @ 拾人牙慧

相機感光元件 - Bayer Sensor

感光元件

是一種將光學影像轉換成電子訊號的設備，廣泛應用在數位相機和其他電子光學設備中。
早期的感光元件採用類比訊號，如攝像管。
如今，感光元件主要分為感光耦合元件(Charge-Coupled Device, CCD) 和互補式金屬氧化物半導體主動像素感測器(CMOS Active pixel sensor) 兩種。

CCD 感光元件是一個基於類比訊號的設備。
當光投射到其表面時，將有訊號電荷產生。
電荷訊號可以轉換成電壓，並按指定的時序將圖像信息輸出。
數位相機主板上的其他電路將把這訊號轉換成數位訊號，以便微處理器進行處理。

而 CMOS 感光元件是一類利用 CMOS半導體的主動像素感測器。
每個光電感測器附近都有相應的電路直接將光能量轉換成電壓訊號。
與 CCD 不同的是，它並不涉及訊號電荷。
在主板上可能也需要類比數位轉換器將它的輸出訊號轉換成數位訊號。

而不管是 CCD 還是 CMOS 都只能紀錄光的強度，而無法分辨光的顏色，也就是說，只能產出灰階的影像。
這樣子的話，彩色的照片是如何產生的呢？

對於彩色圖像，需要採集多種最基本的顏色，如 RGB 三種顏色。
最簡單的方法就是用濾鏡的方法，採用上述三片CCD彩色攝像機的模式：
以紅色的濾鏡過濾紅色的波長。
以綠色的濾鏡過濾綠色的波長。
以藍色的濾鏡過濾藍色的波長。
因此，要採集RGB三個基本色，將需要三塊濾鏡。
這樣的作法除了價格昂貴外，還不好制造，因為三塊濾鏡的每一個像素點都必須保證對齊。

彩色感光元件，按其對色彩的分辨方式可分成以下幾大類：
1、拜爾傳感器 (Bayer Sensor) ，一種廉價也最常見的圖像傳感器，使用拜爾濾色鏡(Bayer Filter) 讓不同的像素點只對紅、藍、綠三原色光中的其中一種感光，這些像素點交織在一起，然後通過去馬賽克內插來恢復原始影像。
2、Foveon X3 感測器，用於某些適馬（Sigma）及寶麗來數位照相機。它的每一像素點都有三重感測器，可以對所有顏色感光。
3、3CCD 感測器，如某些松下數位照相機，或者是攝像機(Camcorder)，通過雙色稜鏡分光，並採用3塊獨立的CCD感測器，一般認為圖像還原品質最好但價格比較昂貴。

Bayer Filter

Bayer Filter 是由 Bryce Bayer 所發明的，是一個非常有名的彩色圖片的數字採集格式，為 Bayer Sensor 所使用。
在每個像素點，只採集一種顏色，因此只需要一片濾鏡，只是在同一片濾鏡上，對每個像素點採集各自對應的顏色。
濾鏡的色彩濾波器模式如下圖所示，由一半的G，1/4 的 R，1/4 的 B 組成，G 相對多的原因在於人的眼精對綠色比較敏感：

對每個像素點，都會採集到其 R 或 G 或 B 的值，這種格式的影像稱為 Bayer Raw data，副檔名通常為 .raw。

接著每個像素點的其它顏色則需要透過計算插值的方式來進行填補，插值的計算方式分為兩大種類：
1、針對所有像素點、先填補 R 及 B。
2、針對對 R、B 取樣的像素點，再填補 G。

1-1、所有對 G 採樣的像素點都需要填補 R 及 B 值，填補的情況會有以下兩種：

中間 G 像素點的 R 及 B 值，直接對上、下或左、右相鄰的兩個像素的 R 或 B 值取平均即可。
如此，所有對 G 取樣的像素點已經都湊滿 R、G、B 值。

1-2、所有對 R 採樣的像素點都需要填補 B 值，所有對 B 採樣的像素點都需要填補 R 值，填補的情況會有以下兩種：

1-2-1、中間對 B 採樣的像素點的 R 值，直接對周圍 4 個對 R 採樣的像素點的 R 值取平均即可。
1-2-2、中間對 R 採樣的像素點的 B 值，直接對周圍 4 個對 B 採樣的像素點的 B 值取平均即可。
如此，所有對 R、B 取樣的像素點都已經有 R、B 值，只需要再計算 G 值即可。

2、對 R、B 取樣的像素點再填補 G 值，填補的情況會有以下兩種：

2-1、中間 B 像素點的 G 值，是由周圍的 4 個像素的 G 值決定，但是計算的方式是由 B1、B2、B3、B4 的值決定的，分成三種情況：
2-1-1、如果 | B1 - B3 | < | B2 - B4 |，則 G 值 = G1 跟 G3 的平均值。
2-1-2、如果 | B1 - B3 | > | B2 - B4 |，則 G 值 = G3 跟 G4 的平均值。
2-1-3、如果 | B1 - B3 | = | B2 - B4 |，則 G 值 = G1、G2、G3、G4 的平均值。

2-2、中間 R 像素點的 G 值，是由周圍的 4 個像素的 G 值決定，但是計算的方式是由 R1、R2、R3、R4 的值決定的，分成三種情況：
2-2-1、如果 | R1 - R3 | < | R2 - R4 |，則 G 值 = G1 跟 G3 的平均值。
2-2-2、如果 | R1 - R3 | > | R2 - R4 |，則 G 值 = G3 跟 G4 的平均值。
2-3-3、如果 | R1 - R3 | = | R2 - R4 |，則 G 值 = G1、G2、G3、G4 的平均值。

對 R、B 取樣的像素點填補 G 值的計算原理是一樣的。
如此，所有的像素點都有了 R、G、B 值，也就可以形成彩色的影像。

範例

以 Lenna.bmp 來測試，經過 Bayer Filter 的作用後，得到的灰階圖如下：