趁着OPPO发布影像专用NPU之际，深度解析ISP在智能手机摄影中的关键作用

昨天，OPPO正式发布首款自研NPU芯片——马里亚纳MariSilicon X，这颗芯片采用台积电6nm工艺和DSA新黄金架构，集成自研的MariNeuro AI计算单元以及MariLumi影像处理单元，在设计之初就将AI和图像处理进行了融合，相比传统的ISP有更高灵活性和更高性能，用计算摄影突破手机影像功能的极限。

在此之前，小米和vivo也都推出过自研的ISP芯片。问题来了，为什么现在手机厂商这么热衷于ISP的研发，这个模块对成像来说到底有多重要？

简单来说，ISP（Image Signal Process, 图像信号处理器，又称成像引擎）是手机拍照/摄像流程中的核心单元之一。一张照片，一段视频，最终呈现的色彩和细节都取决于它。

ISP所扮演的角色

当你按下手机相机APP的（虚拟）快门进行拍照或录像时，就会自动进入一场“视觉处理的接力赛”。

首先，光线通过镜头进入相机模组内部，经过IR Filter过滤红外光，然后到达CMOS传感器。这个时候，CMOS会将光学信号转换为电信号，再通过内部的ADC电路转换为数字信号，然后传输给ISP进行加工处理，再经历AI单元的一轮智能成像算法优化后，最终才能生成肉眼可见的图片或视频文件。

问题来了，镜头和CMOS在将光学信号转化为由0、1、0、1组成的数字信号时可能存在细节上的遗漏和错误，而ISP单元的主要任务就是进行“纠错”、“校验”和“补偿”。

这就好比让你用英文翻译一段中文成语或谚语，需要翻译官具备足够的文学素养，才能用英语准确表达出中文语境的博大精深。没错，此时ISP扮演的就是“翻译官”的角色。

细数ISP的补偿任务

智能手机的镜头是由5片起步的镜片、滤光装置、马达、陀螺仪等部件构成，“透光率”是权衡镜头性能的重要指标。

CMOS更是核心部件，传感器尺寸、像素值大小、RGGB或RYYB滤镜结构、单位像素面积、多像素合一技术等等都会影响它的性能。

换句话说，镜头和传感器本身都存在物理缺陷，从7P→8P的镜头到IMX586→IMX700的CMOS，不断的迭代升级只能无限趋近完美，而这就意味着经由它们转化而来的数字信号的原始数据（raw data）都是不完美的。

另一方面，当我们进行拍照或视频录制时的环境光线条件多种多样，需要镜头和CMOS像人眼瞳孔缩放那般适应环境明暗。

作为翻译官的ISP，其主要任务就是对存在物理缺陷的原始数据进行优化补偿，并还原出最符合我们预期的明暗效果，比如防止逆光时过曝，看清暗光时的画面细节等。ISP是由很多功能模块构成，下面我们就简单介绍一下ISP的功能模块以及需要补偿的部分内容：

BLC：黑电平校正

数字信号对纯黑的原始数据定义为0。但由于CMOS存在“漏电流”的缺陷，将镜头放入一个纯黑的环境时，经过镜头和CMOS输出的原始数据却不为0。此时，就需要ISP内的BLC（BlackLevel Correction）模块登场，通过对所有像素减去特性的矫正值，获得一个矫正成功的结果，这一过程即黑电平校正，让原始数据可以显示纯黑画面。

LSC：镜头阴影校正

在拍照/摄像时，通过镜头到达CMOS中间的光通常要比到达CMOS边缘的光多，导致CMOS捕获的图像中间亮度高，周围边缘亮度低，容易形成所谓的“渐晕”问题。此时，ISP内部的LSC（Lens Shade Correction）镜头阴影校正模块就开始插手了，它会检测出图像中间亮度比较均匀的部分，并以此为基准，计算出周围区域需要补偿的因子。

Bayer Denoise：降噪模块

除了ADC器件以外，包含模拟部分的CMOS感光器件在信号的传输中也存在一定的噪声，拍摄环境的光线越暗，就越需要放大信号，从而产生更大噪音，落实到成像环节就是照片或视频画面中出现大量彩色雪花状的噪点。ISP内的Bayer Denoise降噪模块可通过多级滤波，显著降低信号中的噪声，减少成像噪点。

BPC：坏点校正

CMOS传感器属于物理器件，在长时间使用过程中难免出现坏点。ISP中的BPC（Bad Point Correction）坏点校正模块会自动进行坏点检测，找到坏点后则可通过中值滤波替换原来的值，从而纠正坏点，避免在全黑画面中出现彩点和亮点，抑或在纯白画面出现彩点和黑点。

Demosaic：颜色插值

CMOS传感器本身其实是个“色盲”，如果只靠它输出的照片都是黑白的，想要记录颜色，还需要搭配一个名为Bayer（拜耳）色彩滤波阵列（Bayer Color Filter Array，CFA）的滤光板，并将其覆盖在一个感光板上。Bayer色彩滤波阵列的结构主要以RGBW、RWWB、RGGB和RYYB为主，但由于拜耳阵列中的每一个像素只能采集一个颜色通道信息，另外两种颜色信息需要通过插值算法，结合相邻其他颜色的像素信息才能组成一个完整的色彩，这个有点类似于“去马赛克”的过程，就需要依靠ISP内的Demosaic插值算法模块实现。

AWB：自动白平衡

人脑的视觉系统可以自我修正，无论是阴天、晴天、室内、室外、白炽灯还是日光灯下都能识别出准确的白色，不会受到光源颜色的影响。但是，CMOS传感器却不具备这一特性，一张白纸在不同光源下输出的颜色存在偏差，比如低色温（如白炽灯）偏黄，高色温（户外阳光）偏蓝。这个时候，ISP中的AWB（Automatic White Balance）自动白平衡模块就能通过检测色温→计算增益→色温矫正这套流程自动校色，从而准确记录不同色温光线下的白色物体。

CCM：颜色校正

CMOS传感器各颜色块之间因颜色渗透可能产生颜色误差，因此经CMOS获取的图像与我们期望的颜色之间存在偏差。前面提到的AWB可以矫正白色，而CCM（Color Correction Matrix）颜色矫正模块则可校准除白色以外其他颜色的准确度，比如提升颜色饱和度，让画面色彩更艳丽。

AEC：自动曝光

光照强度会因时间和场景出现变化，人眼由于有着一定的自适应能力，可以根据光照变化作出及时的调整，但CMOS传感器却不具备这个能力。为此，就需要使用ISP中的AEC（Automatic Exposure Control）自动曝光模块根据光照强度自动调节曝光时间，并在必要时进行一定的曝光补偿。

HDR：高动态范围

自然界中的光照强度非常宽，但人眼对高亮度和极暗环境下的细节分辨能力却相对较窄，CMOS传感器能记录的范围则更窄，因此经由后者输出的画面极易丢失高亮和极暗部分的细节。ISP中的HDR高动态范围模块就是为此而生，它能通过Tone Mapping（色调映射）的方式，将像素值在特别暗的区域拉高，在特别亮的区域拉低，从而显露出高亮和极暗部分丢失的画面细节。

除了上述功能以外，ISP还包含RGB Gamma（伽玛校正）、RGBToYUV（色彩空间转换）、Color Denoise /Sharpness（色彩去噪/锐化）和Auto Focus（自动对焦）等模块。需要注意的是，上述都仅是ISP的基础功能，不同的ISP（包含独立芯片和SoC集成的ISP模块）可能会引入独有的或更强的特色功能。

虽然高通骁龙和联发科天玑等5G SoC内部已经集成了性能不俗的通用ISP，但它们很难100%匹配手机厂商自家的AI算法，因此通过自研ISP（NPU）来匹配自家的AI算法，自然就成为了手机厂商的突围之路，可以在硬件趋于同质化的当下实现更讨好用户审美的成像效果。