大多数现代光学显微镜技术需要使用数码相机。通过使用数字设备，研究人员可以在屏幕上实时观察标本，或者获取和存储图像以及可量化的数据。从基本的明场成像到先进的超分辨率技术，各种各样的应用都需要相机。

    可用的数码相机技术的性能和多样性已大大提高，为研究人员提供了广泛的探测器以满足他们的科学需求。数字成像传感器的选择可能会对图像特性产生重大影响，因此，对它们的工作原理和彼此区别有一个基本的了解是很重要的。在这里，我们介绍科学成像中常见的徕卡显微镜数码相机数码相机技术背后的基本原理。

    徕卡显微镜数码相机-基本原理

    成像传感器的任务是将光信号转换为电信号。成像传感器的这一原理基于所谓的光伏效应，该效应描述了光子如何与材料相互作用以释放电子，从而导致电荷积聚。在大多数相机中，硅是用于此目的的基材。在所有情况下，都通过吸收光子将电子从其结合中移除。

    硅的自然特性使其非常适合用作大多数成像传感器基本单元的主要成分：像素。

    徕卡显微镜数码相机-像素点

    与传感器的类型无关，可以将像素视为基本单位。像素的主要元素依次是与硅耦合到电子存储阱的光敏光电二极管（图1）。硅负责产生电子，然后电子可以被收集，移动并最终转换为数字信号。像素的其他组件包括电气控制电路和颜料层，以排除不需要的波长或破坏性波长。

    光电二极管

    图1：光电二极管。感光二极管的主要复合材料是光电硅。传入的光子能量用于激发硅中的电子，这些电子又被收集在一个存储阱（橙色）中，然后转移到放大器中。完整的数字成像传感器（右）通常由数百万个嵌入单个像素的光电二极管组成。

    在成像过程中，撞击光电二极管的光子被转换为电子。这些电子存储在电子存储井中，以便随后传输（读数）到放大器（图2）。该放大器读出累积的电子，并将它们转换成电压，而在相邻的模拟-数字（AD）转换器做数字化，并产生等效的数字信号。

    基本成像原理

    图2：基本成像原理。入射光以光子的形式撞击图像传感器，从而产生电子。它们逐个像素地传输到串行寄存器，然后通过放大器运行。所产生的电压可以由模数转换器（未示出）转换为数字图像信号。

    像素中产生的电荷与撞击传感器的光子数量成正比，通常受曝光时间（积分时间），检测到的波长以及重要的是光强度影响。根据经验，像素大小定义了在不使像素饱和的情况下可以收集的电子数量。对于显微镜成像传感器，像素大小通常在2-24μm2之间变化。

    由于典型的像素体系结构，并非像素的整个表面都是光敏的。图像传感器的填充因子描述了像素的感光面积与其总面积的关系。可以将微透镜添加到像素，以更好地将光聚焦到光敏区域上，从而提高填充率。

    完整的数字成像传感器由数百万个按几何阵列组织的像素组成。通常，像素数量与“分辨率”混合在一起。值得注意的是，不仅是像素数，而且像素的大小也决定了相机芯片的分辨率。通常，较小的像素将比较大的像素提供更高的分辨率。最后，显微镜系统的分辨率不仅取决于传感器阵列，还取决于整个光学系统。

    徕卡显微镜数码相机-噪声和信噪比

    冷却。热能会产生暗噪声，这意味着像素中的电子是随机生成的。防止暗噪声的措施是例如借助Peltier元件和散热片来冷却相机。

    不幸的是，噪声是影响所有信号的物理基础。不同传感器类型的影响和主要噪声的类型有所不同。通常，可以根据其来源将相机噪声分为三大类：

    暗噪声（也称为暗电流）是传感器中存在的基本噪声。暗噪声是由硅中的热能随机产生的像素中的电子引起的。随着曝光时间的增加，暗噪声会以像素为单位累积。它以每像素每秒的电子数（e-/px/sec）表示。对于具有短曝光时间的快速应用来说，它就不再那么重要了。当需要较长的曝光时间（例如一秒钟或更长时间）以发出微弱的荧光信号时，这种噪声类型可能会成为主要问题。通过冷却传感器来降低暗噪声，每8度的冷却将暗电流减半（图3）。

    读取噪声源自涉及量化信号的传感器的电气读取电路。根据经验，可以通过降低像素读出率来降低读取噪声。该像素读出速率定义了从传感器读出电荷的速度（单位：MHz）。由于这决定了相机的帧速率，因此对于像活细胞的高速延时这样的快速实验，必须考虑到噪声。某些相机提供了更改读取速率的可能性，从而可以针对暗光应用针对快速读取模式或较慢的低噪声模式进行优化。读出噪声的单位为e-并且与积分时间无关。读取噪声和暗噪声可用于确定特定相机是否适合于弱光荧光应用。

    作为另一个噪声源的光子散粒噪声是基于对入射光子计数的不确定性。换句话说，它是由光子撞击传感器的随机性引起的，但不是由传感器本身引入的。通过想象您正在尝试捕捉桶中的雨滴来解释。即使每个桶的大小和形状都相同，也不是每个桶都会捕获到完全相同数量的液滴，因此可以将芯片上光子的检测结果显示为泊松分布。

    在信号强度低的荧光灯等弱光条件下，不同的噪声源会影响信噪比，从而对图像质量产生重大影响。因此，对于应用程序使用合适的相机对于捕获优质图像至关重要。

    信噪比（SNR）是图像，该图像在很大程度上受该传感器类型的影响的总体质量的度量。从广义上讲，可以将其指定为敏感性。尽管这可能相当复杂，但SNR表示将目标信号与背景噪声区分开的程度（图4）。这里有几个因素需要探讨，因为信号取决于到达传感器的光子数量，以及将这些光子转换为信号的传感器能力以及相机对不良噪声的控制能力。这就是为什么例如填充因子和微透镜在这里以及传感器的量子效率中起着重要作用的原因（请参见“量子效率”一节）。

    信噪比（SNR）

    图4：信噪比（SNR）：上面的图像显示了同一对象，并且SNR不断提高。左侧几乎无法区分真实信号和背景。中间图像显示出改善的SNR。右边的图像具有更佳的SNR，这也可以从上面的图表中得到解释，其中沿绿线测量像素强度。左侧图像中的峰很少分散背景噪声，而右侧的峰很容易区分。

    最后重要的一点是，来自样品的光学噪声，自发荧光或染色不良通常是图像中的主要噪声源。使用高等传感器无法帮助您克服制备不良的样品。

    徕卡显微镜数码相机-全阱容量

    全阱容量在很大程度上取决于像素的物理尺寸。它是指单个像素的电荷存储容量。这是饱和之前可以收集的更大电子数。达到满井能力可以与装满水的水桶进行比较（图5）。

    全孔处理能力。FWC可以比得上装满水的水。较大的水桶分别。像素可以容纳更多的水。电子比小电子。

    更大的像素具有更大的全阱容量比小像素（通常18000e-6.45微米像素VS300000e-对于24微米像素）。为了获得更大的全井容量而牺牲了空间分辨率，这反过来又会影响动态范围（请参见“动态范围”一节）。

    超过全阱容量的电子无法量化。在某些情况下，电荷可能泄漏到相邻的像素中，从而导致被称为“起霜”的现象（图6）。一些传感器包含防起霜的电子器件，这些电子器件试图释放多余的电荷以控制起霜的伪像。

    徕卡显微镜数码相机-盛开的人工制品盛开的人工制品

    盛开的人工制品。在左图中，水桶的容积足以容纳所有进入的水滴。相应的显微图像显示在其旁边。如果流入的水超过了水桶的容量，水将溢出并注满邻近的容器。溢出的电子会导致在显微镜图像上可见的光晕伪影。

    徕卡显微镜数码相机-动态范围

    动态范围是与全井能力直接相关的特征。这描述了传感器同时记录低强度和高强度信号的能力。从实际意义上讲，这意味着较弱的信号不会在噪声中丢失，而亮的信号不会使传感器饱和。用数学术语表示的动态范围定义为全井容量（FWC）除以相机噪声。

    动态范围公式

    通常以分贝（dB）为单位进行描述：

    动态范围公式

    如果全井能力更高且相机噪声更低，则动态范围会改善。可以近似地说，以下参数会影响动态范围：

    像素尺寸（全阱容量）

    温度（暗噪声）

    读出率（读出噪声）

    对于荧光应用，较大的动态范围是记录暗背景下的明亮荧光信号的主要好处（图7），尤其是在量化信号时。

    徕卡显微镜数码相机-动态范围

    动态范围。较大的动态范围-传感器同时记录低强度和高强度信号的能力-有助于在深色背景上成像明亮的荧光信号。

    动态范围直接受到所施加增益的影响。术语“增益”在此用于表示所生成信号的放大。例如，如果您将传感器的增益提高一倍，则可以将全阱容量有效地减半，这反过来会减小动态范围。因此，经常需要在灵敏度和动态范围之间进行权衡。

    如果传感器的固有动态范围不足以用于应用（分别是样本），则可以考虑采集“高动态范围”（HDR）。在此过程中，将获得一系列具有不同曝光强度的图像。通过应用不同的算法来计算得到的图像（图8）。这种方法的缺点是获取图像所需的时间较长。因此，这对于快速移动或光敏样品不是优选的。

    徕卡显微镜数码相机-HDR采集HDR采集HDR采集

    HDR采集。该标本（T虫规格）的荧光信号强（上部），荧光信号弱（下部）。相机的动态范围不足以同时记录黑暗区域和明亮区域。因此，只能优化曝光强度以对强（左）或弱（中）荧光信号成像。HDR图片（右）由一系列具有不同曝光强度的图像组成，这些图像组合在一起形成一个图像。

    量子效率

    在理想世界中，人们会假设100个光子能够产生100个电子。与传感器相互作用时，光子可能会被吸收，反射甚至直接穿过。传感器吸收特定波长的光并将其转换为电子的能力被称为量子效率（QE）。

    传感器的量子效率受许多因素影响，包括：

    填充系数

    微透镜的添加/性能

    防反射涂层

    传感器格式（背照式或前照式）

    量子效率始终是入射光波长的函数。科学成像中常用的硅探测器能够探测到可见光范围以外的波长（约400至1000nm）。通过查看QE曲线，您可以看到特定传感器将特定波长转换为信号的效率（图9）。

    徕卡显微镜数码相机-量子效率（QE）

    量子效率（QE）。光子到电子的转换永远不会100％，但会因多种因素而衰减。传感器吸收光子并将其转换为电子的能力称为QE。QE始终取决于波长，可以描述为曲线。

    大部分相机传感器都是前照式，入射光从像素的前面进入，在碰到感光硅之前必须经过包含像素电路的半透明层（图1）。这些层会造成一些光损失，因此前照式传感器的更大QE通常约为50-60％。由于传感器表面上的电子设备只能产生局部电场，因此它们无法操纵在硅晶片中形成的更深的电荷（图10）。

    在采用背照式传感器的情况下，光直接从“背”射到感光硅上，而不必通过像素电路，从而使更大QE接近95％。为了制造背照式传感器（也称为背照式传感器），需要将这种额外的硅研磨掉（这是一项昂贵的过程），以形成难以置信的薄硅层，在该层中，所有电荷都可以由像素的电子设备操纵。

    徕卡显微镜数码相机-正面和背面照明

    正面和背面照明。光电二极管的照明可以发生在“正面”（左侧）或“背面”（右侧）。由于较少的光子猝灭层，在背面照明的情况下，电子产生的效率高于正面照明的二极管。

    徕卡显微镜数码相机-位深

    比特深度可以与动态范围相关，但不应与动态范围混淆，它是指模拟信号如何数字化（或切碎）为灰度值或灰度级。数码相机传感器的动态范围取决于其FWC和噪声。位深度取决于AD转换器将生成的电子数量转换为灰度值的能力。它可以输出的灰度越多，可以再现的细节就越多（图11）。

    一些相机提供的灰度值比光子可以产生的大电子数量更多（例如16位数字化将信号切成约65K灰度单位）。在极端情况下，传感器可能会饱和到1000光子/像素以下，但图像仍显示65,000灰度值。此外，计算机屏幕通常只能显示8位数据。这就是为什么必须按比例缩小显示超过8位的摄像机信号的原因。用户可以借助查找表（LUT）来影响此过程。玩游戏通常可以揭示图像中隐藏的细节。

    徕卡显微镜数码相机-动态范围与位深度的关系动态范围与位深度的关系

    动态范围与位深度的关系，传感器的动态范围是指其同时记录低强度和高强度信号的能力。这可以追溯到其像素的FWC及其噪声属性。高FWC有助于检测许多光子撞击像素的高强度信号。另一方面，低噪声有利于检测低强度信号。动态范围主要是指像素的特性，而位深度是AD转换器的属性。位深度越大，就可以更好地解析图像的整个动态范围。使用2位AD转换器，数字成像传感器可以输出4个灰度级，而使用4位AD转换器16等。

    成像速度和合并

    数码相机的成像速度以表示为每秒帧数（fps）的帧速率进行测量。这是相机在一秒钟内可以获取的图像（帧）数。许多因素都会影响相机的更大可达到帧频。在给定的曝光时间，需要考虑以下参数：

    像素数

    像素读出率

    电脑介面（USB2.0/USB3.0/CamLink等）

    增加帧率的简单方法是通过切换到较小的关注区域（ROI）来减少读出的像素数量。随着帧速率的增加，到达传感器的光子数量将减少，因此，根据样品类型的不同，需要额外的灵敏度。可以用来提高速度和降低噪声的一种技巧是“片上合并”。

    在合并过程中，不是从各个像素分别读取数据，而是将几个相邻像素的数据组合在串行寄存器的芯片上，并作为“超级像素”读出。以这种方式，可以合并来自2x2、3x3或4x4以及更多像素的数据（图12）。

    徕卡显微镜数码相机-合并

    合并。对于弱光应用，数码相机芯片能够汇总一定数量的相邻像素的信息（左）。在2x2合并处理的情况下，会将4个相邻的正方形像素的信息视为一个大的“超级像素”等。使用这种方法，可以以空间分辨率为代价来提高速度和SNR。右侧的序列说明了片上装仓的过程。t1显示将要组合的四个像素。在t2，下一行被传输到串行寄存器。在t3，下一行传输到串行寄存器，它们的电子被合并（由较浅的颜色指示）。在t4，来自串行寄存器的两个像素被组合，从而进一步增加了像素的亮度。

    合并以降低分辨率为代价提高了信噪比。假设每个像素包含100个电子，读取的噪声为10个电子，则逐一读取信噪比为10/1。如果以2x2装仓，则现在读出的信号为400，而读取的噪声仍然为10，因此信噪比急剧增加到40/1。由于读出电子设备必须处理更少的数据点（如果是2x2装箱，则数据点要少4倍），因此帧速率也会增加。合并的主要缺点是分辨率下降，因为有效像素大小按bin值平方增加（图13）。

    合并。右侧的图像是通过合并记录的。达到提高的SNR的代价是分辨率降低。

    装仓是快速荧光成像（例如快速延时）的标准配置。目的是减少噪声，数据大小并减少曝光时间。后者特别值得一提，因为这减少了活细胞的漂白和光诱导损伤。

    对于明场应用（例如染色病理组织的记录），通常将合并应用于实时图像，从而在移动显微镜载物台时获得平滑的屏幕上图像。

    徕卡显微镜数码相机-传感器类型

    对于显微镜中的所有类型的成像传感器，大多数上述特征和参数都是通用的。但是，基于历史发展和技术进步，显微镜师可以分别在不同类型的传感器和相机之间进行选择。它们在原理架构（例如CCDvs.CMOS），增强信号的能力（例如EMCCDs。CCD）和图像质量（例如CMOSvs.sCMOS）方面有所不同。

    CCD传感器-带电耦合设备：基于这种传感器类型的相机是明场和荧光成像的主要工具。典型地，在像素中产生的电荷从一个像素到另一像素在整个表面上移动到串行寄存器中（图14）。电荷从串行寄存器中逐一传递到读出的电子设备，在电子设备中，信号被转换为电压，然后进行放大，量化和数字化处理。因此，通常通过单个输出节点读取CCD传感器中的所有数据。

    EMCCD传感器-电子倍增CCD：EMCCD传感器基本上是CCD传感器，在传感器和读出的电子器件之间增加了EM增益寄存器。该EM增益寄存器放大信号遇到读出电子前。除此以外，EMCCD摄像机还采用了背面减薄的传感器技术，通常可提供90％的峰值QE。这些类型的相机用于极端弱光应用，并且可能对单光子敏感。这些相机的价格通常明显高于常规CCD相机。

    CMOS-互补金属氧化物半导体：原来在手机和低端相机，CMOS技术已经显著在近年来有所改善，并已成为在显微镜标准明应用的重要成像设备。与CCD相比，主要区别在于像素内电子设备和省时的传感器读出原理，与传统CCD传感器中使用的单个读出节点相比，具有数千个读出节点。

    sCMOS-科学CMOS：几年前推出的这种类型的传感器克服了CMOS传感器的常见缺点，例如高噪声水平。这种类型的传感器用于高端荧光成像，这得益于快速帧频，高动态范围和低噪声。

    传感器类型。CCD（左）：入射光以光子的形式撞击图像传感器，从而产生电子。它们逐个像素地传输到串行寄存器，然后通过放大器运行。所产生的电压可以由模数转换器（未示出）转换为数字图像信号以例如显示在计算机屏幕上。EMCCD（中）：根据常规的CCD传感器，EMCD中的光感应电子被传输到串行寄存器。在到达放大器的途中，它们通过了一个附加寄存器，即电子倍增（EM）寄存器，电子数量增加1000倍。sCMOS（右）：在sCMOS传感器中，每个像素都有自己的放大器。此外，每一列在每一侧（未示出）具有附加的放大器和自己的模数转换器。这种结构可以加快读出速度，因为电子不必将单个下游像素传递给串行寄存器。

    徕卡显微镜数码相机-总结

    没有数码相机技术，现代光学显微镜是不可想象的。大多数显微镜用户要么想在监视器上实时观看标本，要么想在计算机上保存和处理他们的发现。此外，如果没有数码相机传感器的兴起，某些显微镜技术，例如定位显微镜，甚至是不可能的。本文的读者应该已经学习了如何产生数字显微图像。反过来，这将有助于正确使用数码相机，以及如何以正确的方式解释生成的数据。