图像传感器仅记录灰度表从纯白到纯黑的系列色调。根本上来说,它们仅捕获亮度。灰度表是由从纯白到纯黑之间的一系列不同深度的灰色调组成。只能记录不同灰度的传感器是在感光阵列的像素单元上使用不同的彩色滤光镜,以分离出拍摄物体所反射的光线颜色。
根据光的波动说,单一波长的光称为单色光。从人们可以区别各种不同颜色这样一个事实出发,似乎可以假定视网膜上也存在着许多不同类型的锥状体,每一类型的锥状体只“谐振”于某一特定颜色。如果锥状体果真有这样的单色响应,那么某一彩色感觉只能由相应波长的电磁能引起,然而,事实却不完全如此。照射到某一视网膜上的单色光并不是引起该彩色的唯一因素。例如,有几种单色黄光可以由射到视网膜上的红光和绿光配出来。几乎所有的颜色都能由三种基本彩色混配起来,这三种彩色就叫做三基色。国际照明委员会(CIE)选择红色(λ=700.00nm)、绿色(λ=546.1nm)和蓝色(λ=435.8nm)三种单色光作为表色系统的三基色。所有颜色都可以用互相独立的三基色混合得到。照片中的颜色通常基于红、绿、蓝三原色,它称为添加颜色系统,因为该三种颜色以相同量合成时,呈现的颜色为白色,这个系统用在显示屏幕上(或人眼上)合成各种各样的颜色。大部分传感器上的滤光镜为红色、绿色和蓝色(RGB),但有些高级的相机使用青色、红紫色和黄色(CMYK)滤光镜。在整个像素单元上安放滤光镜,滤光镜仅能捕捉到三种颜色中的一种。滤镜上不同的颜色按G-R-G-B(绿-红-绿-蓝)的顺序像马赛克一样排列,使每一片“马赛克”下的像素感应不同的颜色。
数字摄像机传感器上的每个像元包含一个光敏二极管,用来测量光的强度,因为光电二极管为单色器件,不能分出不同波长的光。因此,mosaic格式的彩色滤波器(CFA)放置在传感器上以确定红、绿、蓝光的成分,CFA普遍应用的是GRGB Bayer格式。
这是把滤波器永久地放置在各个像元上,把感应器分成多种红、绿、蓝像素,从每个相邻的像元中可获得足够的信息,可精确估计该点的真彩色值,这种利用相邻像元和有根据估计处理方法称作插值法。
普通滤波器的结构为Bayer滤波器结构,如图所示。这种结构是一列红和绿滤波器与一列蓝和绿滤波器相互交替布置。这些像元并没有均匀分开,事实上,绿色像元的数量是蓝色和红色像元数量的总和,这是因为人的眼睛对这三种颜色的灵敏度不一致。获取更多的绿色信息是很必要的,目的是建立的图像使人的眼睛感觉到是“真彩色”。
这种方法的优点是仅有一个感应器,所有的颜色信息(红、蓝、绿)在同时刻记录,这就意味着摄像机体积小、便宜,并在很多场合得到应用。另外,就有可能制造买得起的手持式数字式摄像机。带有Bayer滤波器的感应器原始输出为不同亮度的红、绿和蓝像素的马赛克(mosaic)图像。
数字摄像机采用了特殊的解马赛克运算法则,不同颜色的马赛克转换为相同大小的真彩色马赛克。由于相近的像元具有不同的滤波器,在记录数据的过程中从每个像元获得信号,并以最接近它的相同颜色点作平均,对中间点进行估算,即把红色、绿色和蓝色滤光镜直接放在传感器上的各个像素单元时,一些像素单元拍摄一种颜色的图像,其他像素单元也相应地拍摄其他颜色的图像。插值处理能够产生最终全彩色图像。插值的工作原理是用临近的像元颜色去添加像素单元未记录的其他两种颜色,通过把这两种以内插值替换的颜色与由该位置直接检测的颜色组合起来,就产生了各像元的原始颜色。
在数字摄像机中,还有其他的方法来处理彩色。一些单感应器的摄像机使用交替的bayer滤波的结构;有的采用2个感应器。有的高级摄像机并不累加红、绿、蓝的不同值,而是减去青色、黄色、绿色和洋红的颜色值。但是,目前市场上大部分摄像机都采用带有一行绿-红,一行绿-蓝的交互滤波器的单感应器。