机器视觉-Chapter 2.3 Cameras相机

2.3 Cameras

• 摄像机作用：将通过镜头聚焦于像平面的光线生成图像。

• 数字传感器技术：

  1. 电荷耦合器件CCD（charge coupled device）
  2. 互补金属氧化半导体CMOS（complementary metal oxide semiconductor）
  3. CCD与CMOS主要区别：读出结构（从芯片中读取数据的方式）不同。

2.3.1 CCD Sensors 电荷耦合器件

2.3.1.1 Line Sensors线阵传感器

• CCD传感器由一行光线敏感的光电探测器组成，光电探测器一般为光栅晶体管或光电二极管。
• 每个光电探测器对应一个读出寄存器。
• 只能生成一个像素高度的图像，因此通常通过多行组成二维图像。

1. 为得到有效图像，线阵传感器必须相对于被测物运动。

   1. 平板扫描仪是有一个传感器和一个集成光源组成的
2. 使用线阵传感器时，传感器必须与被测物平面平行，与运动方向垂直。
3. 根据传感器分辨率，线采集频率必须与摄像机和被测物间相对运动匹配，以得到方形像素。
4. 若运动速度是变化的，则需要通过编码器触发传感器采集每行图像。
5. 若传感器与运动方向不匹配，则需要使用摄像机标定来确保测量精度。
6. 要求非常强的照明，线读出时间在14~240kHz之间，每行的曝光时间被限制。同时要求镜头光圈使用较小f值，景深被严重限制。

2.3.1.2 Full Frame Array Sensors 全帧转移型面阵传感器

• 光再光电探测器中转换为电荷，电荷按行的顺序转移到串行读出电路寄存器，然后于线阵传感器的方式一样转换为视频信号。
• 读出过程中，光电传感器还在曝光，仍有电荷在积累。由于上面的像素要经过下面的像素移位移出，因此像素集类的全部场景信息就会发生拖影现象。
  

• 优点：

  • 全帧转移面帧传感器填充因子（像素光敏感区域与整个靶面之比）达100%，可使像素的光灵敏度最大化，图像失真最小化。

• 缺点：

  • 存在拖影现象，需加上机械快门或利用闪光灯来避免。下层像素读出时传感器还在曝光并产生电荷，而上层像素读出时会经过下层像素，多出的电荷会造成场景信息的积累，从而产生拖影。

2.3.1.3 Frame Transfer Sensors

• 为了解决拖影问题，全帧转移型面阵传感器加上另外的传感器用于存储，在这个传感器上覆盖有金属光屏蔽层，构成帧转移性阵面传感器。

• 优点：

  • 填充因子可达100%，而且不需要机械快门或闪光灯。

• 缺点：

  • 存在残留的拖影。虽然从光敏感传感器到光疲敝存储阵列，电荷转移速度快，时间短，但传感器依然在曝光。
  • 成本高，需要两个传感器。
• 由于高灵敏度和拖影等特征，全帧转移型传感器和帧转移型传感器通常用于天文等曝光时间比读出时间长的科学研究等应用领域

2.3.1.4 Interline Transfer Sensors 隔列转移型传感器

• 图像曝光后，累积的电荷通过传输门电路转移到垂直传输寄存器。
• 电荷通过垂直转移寄存器移至串行传输寄存器

• 优点：

  • 无拖影，不需要机械快门和闪光灯。

• 缺点：

  • 由于其传输寄存器需要在传感器上占用空间，填充因子可能低至20%，图像失真会增加，需在加上微镜头。移位寄存器会在传感器上占据空间，使得填充因子过低。
  • 为了增大填充因子，常利用在传感器上加上微镜头来使光聚焦至光敏光电二极管。

2.3.1.5 Readout Modes 读出模式

• CCD传感器存在的问题：

  • 高光溢出效应：当积累的电荷超出光电探测器的容量时，电荷会溢出到相邻的光电探测器中，使得图像中亮的区域被显著放大。

• 解决方法：

  • 在传感器上增加溢流沟道

    • 位于传感器平面中每个像素的侧边：侧溢流沟道

    • 埋于设备的底部：垂直溢流沟道。

      • 图2.41是垂直溢流沟道，该沟道一定在传输寄存器下面。

• CCD常用的模拟视频标准（隔行扫描）要求一副图像以两场传输：

  • 一场是图像所有的奇数行
  • 一场包含所有的偶数行

• 由于CCD传感器特定的读出结构，意味着一副图像必须经过两次曝光：

  • 第一次曝光后，奇数行转移到传输寄存器
  • 第二次曝光后，偶数行转移、读出

• 模拟CCD摄像机常用读出模式：

  • 隔行扫描。CCD传感器读出时需两次曝光，若被测物在两次曝光之间移动，图像会出现锯齿
  • 逐行扫描。采集运动物体图像时必须用逐行扫描。

2.3.2 CMOS Sensors 互补金属氧化物半导体

2.3.2.1 Sensor Architecture

• CMOS传感器通常采用光电二极管作为光电探测器。
• 与CCD传感器不同，光电二极管中的电荷不是顺序地转移到读出寄存器，CMOS传感器的每一行都可以通过行和列选择电路直接选择并读出。这方面，CMOS传感器可以当作随机存取存储器。
• CMOS每个像素都有一个自己的独立放大器，这类传感器也称作主动像素传感器（APS）

• 缺点：

  • 填充因子很低，需使用微镜增加填充因子和减少图像失真。放大器和行列选择电路占据像素的大部分面积。

• 优点：

  • 随机读取特性使其容易实现图像的矩形感兴趣区域（AOI）读出方式。

  • 可在传感器上实现并行模数转换。

    • 使得CMOS机使不适用AOI也能有较高的帧率

2.3.2.2 Rolling and Global Shutters 行曝光和全局曝光

• 行曝光 Rolling Shutters：由于CMOS传感器每一行都可以独立读出 ，因此最简单得到一幅图像的方式就是一行一行曝光并读出。对于连续的行，曝光时间和读出时间可以充电。

  • 第一行与最后一行存在很大采集时差，采集运动物体图像时会变形。

• 全局曝光 Global Shutters：全局曝光传感器对应每个像素都要一个存储区，因此降低了填充因子。

  • 采集运动物体图像时需使用全局曝光。

• 对于运动物体使用行曝光(a)和全局曝光(b)采集图像对的比较。使用行曝光会使被测物有明显变形。

2.3.3 Color Cameras 彩色摄像机

2.3.3.1 Spectral Response of Monochrome Cameras黑白摄像机的光谱响应

• CCD和CMOS传感器对于近紫外200nm至可见光380~780nm直至近红外1100nm波长范围都有响应。
• 灰度是入射光（传感器可响应的所有波长的光）积累后按传感器光谱响应的结果。

2.3.3.2 Single-Chip Cameras单芯片摄像机

• 由于CCD和CMOS传感器对于整个可见光波段全部有相响应，所以无法产生彩色图像。

  • 为了产生彩色图像，需要在传感器前面加上彩色滤镜阵列（color filter array,CFA）使得一定范围的光到达每个光电探测器。
  • 由于这种传感器仅使用一个芯片得到彩色信息，所以称为单芯片摄像机。
• Bayer滤镜阵列采样1/4红色、1/2绿色、1/4蓝色，这就导致了严重的图像失真。加上抗图像失真滤光片避免由于红绿蓝颜色不均造成严重图像失真，通过颜色插值（如双线性或双三次插值）重建少采样部分以得到传感器全分辨率下的彩色图像。

2.3.3.3 Three-Chip Cameras三芯片摄像机

• 三芯片摄像机利用分光器或棱镜将通过镜头的光线分成三束，在三个传感器前加上对应红绿蓝滤光片。三芯片摄像机可以克服单芯片摄像机图像失真问题，但成本高，需要三个传感器，且需要仔细调整位置。

2.3.3.4 Spectral Response of Color Cameras 彩色摄像机的光谱响应

• 典型彩色CCD传感器对近红外敏感，需加上红外滤光片防止图像产生不希望看到的颜色。

2.3.4 Sensor Size 传感器尺寸

• 传感器的有效尺寸大约是传感器标称尺寸的2/3，传感器的宽度大约是传感器标称尺寸的1/2。

• 镜头尺寸不能小于传感器实际使用大小，否则传感器外围没有光线到达。

  • 例如1/2''的镜头就不能用于2/3''的传感器
• 图像大小一定，传感器分辨率越高，像素间距越小。
• 分辨率常用百万像素表示，分辨率越高，帧率和行频越低。
  

2.3.5 Camera Performance

• 图像灰度值产生过程：

  • 曝光时，$μ_{p}$个光子落到传感器的区域内(包括光线不敏感区域)；

    • 对于CCD产生$μ_{e}$个电子-空穴对，对于CMOS消灭$μ_{e}$个电子-空穴对；
  • 每个光子产生或消灭的电子的比率称作量子效率$ŋ$
  • 电子-空穴对形成电荷然后转化为电压；
  • 电压放大后通过模数转换数字化产生灰度值$y$。
  • $y$与整个系统的增益$K$有关

2.3.5.1 Noise 噪声

• 光子噪声（光子的随时间不一致性）：光子不是等时间间隔到达传感器，而是按泊松分布 Poisson distributed模型的随机分布到达。

  • 光子噪声使用光子数的平方$σ_{p}^{2}$来表示。
  • 对于泊松分布$σ_{p}^{2}$与到达像素的光子的均值$μ_{p}$一致。
  • 意味着光线具有一致的信噪比$SNP_{p}=μ_{p} / σ_{p} = \sqrt{μ_{p}}$，光线强就能得到好的图像。
  • 曝光期间，每个光子产生电子的概率为$ŋ$，填充因子与传感器材料的量子效率相乘称为总的量子效率total quantum efficiency。
  • 因子电子数$μ_{e}=ŋμ_{p}$也是泊松分布的，其中$μ_{e} =ŋμ_{p} = ŋσ_{p}^{2}$
• 复位噪声：读出时像素电荷不能完成复位，可使用双采样（读出的电压-读出后像素中的电压）去除。
• 暗电流噪声。热也会产生电子-空穴，可对摄像机制冷来消除。
• 本底噪声（暗噪声）：即使没有光线也会有的噪声。
• 入量化噪声：电压通过模数转换器转化为数字引起的噪声。
  ​

2.3.5.2 Signal-to-Noise Ratio 信噪比

• 对于一定照明$μ_{p}$信噪比可由下式表述：

• 对于低光照水平
  
• 对于高光照水平
  
• 这意味着所有SNR曲线的斜率都从低照度下的线性增加变为高照度下的平方根增加。
• 对于一些CMOS传感器，SNR中主要是增益噪声，所以$SNR≈1/S_{g}$
• SNR常以分贝(dB)表示：$SNR_{dB}=20\log{SNR}$，$\log{x}$是以10为底的对数。
• 也可以用有效位数表示：$SNR_{bit}=\lg{SNR}$，$\lg{x}=\log_{2}{x}$
• 当照明$μ_{p}$增加时，SNR随之增加，在像素达到饱和前达到最大值，此时的光强为$μ_{p.sat}$
• SNR=1时的；光强$μ_{p.min}$通常被认为是可以探测到的最小光强，称为绝对灵敏度 absolute sensitivity threshold

2.3.5.3 Dynamic Range 动态范围

• 摄像机的动态范围：$$DYN=\frac{μ_{p.sat}}{μ_{p.min}}$$
• 与SNR一样，动态范围也常用分贝或有效位数表示。

• 注意：以上为输入的动态范围$DYN_{in}$

  • 对于线性响应，与输出动态范围一致
  • 对于非线性传感器，有不同的输出动态范围
• 动态范围就是在接近传感器饱和能力照明下的传感器输出比上图像恰好能够和噪声相区分的照明条件下的传感器输出。

2.3.5.4 Nonuniformities 不均匀性

• 不均匀性属于系统误差，有时也称空间噪声 spatial noise或模式噪声 pattern noise，与随机噪声相比不能通过时间平均来消除。
• 暗信号（dark signal）不均匀性（DSNU）：暗信号对于每个像素可能不一致。
• 光响应（responsivity of the pixels to light）不均匀性（PRNU）（photoresponse nonuniformity）：像素对于光的响应对于每个像素来说是不同的。
• CMOS传感器比CCD传感器经常表现出明显较大的不均匀性，因为CMOS传感器每个像素都有放大器，故需要不同的增益和补偿。
• $y.dark$为完全黑暗下的图像
• $y.50$:照明达到传感器饱和度的50%的图像
• $DSNU_{1288}=\frac{S_{y.dark}}{K}$
• $PRNU_{1288}=\frac{\sqrt{S_{y.50}^{2}-S_{y.dark}^{2}}}{μ_{y.50}-μ_{y.dark}}$
• s：图像的空间差异 μ：图像的平均灰度值
• 我们将相机对着一个均匀场景进行拍照时候，假定场景理想均匀，所有像素的灰度值也并非一致。这种个体之间的差异就是非均匀性。
• 一个度量表征了非均匀性的周期性变化，而另一个度量表征了缺陷像素

• 本文部分内容来自:机器视觉算法与应用：2.3 摄像机