高通 ISP pipeline

IPS是图像信号处理是对CMOS图像传感器输出的信号做后期处理的芯片。主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等。ISP处理主要有三个流preview、snapshot、video分别对应IFE、BPS、IPE。高通ISP大致流程图 :名词解释CSID: Camera Serial Interface Decoder Module摄像机串行接口解码器模块IFE(x 2):Image Front End图像前端IFE_Lite(x 5): Image Front End Lite图像前端Lite轻量级BPS: Bayer Processing Segment (for snapshot)拜耳处理器用于快照IPE: Image Processing Engine图像处理引擎VPU: Video Processing Unit (CODEC),视频处理单元编解码器DPU: Display Processing Unit,显示处理单元1. IFE : Image front-end engine图像前端引擎1.1 相关特点只对preview、vedio做bayer域的处理3A的处理IEF模块提供多级pass的输出1:11:41:16供给IPE与以前的相比主要是把luma和colorCACLTMCVSCECS移到了IPEIEF为ideal raw dump 提供3条路径来自CAMIFBayer 格式CAMIFCamera Interface Hardware照相机接口上的硬件来自Lens shading correctionLSC的输出Bayer 格式来自Global tone mappingGTM的输出RGB 14-bit格式名词解释CSIDCSI DecoderCSI解码器IFE_lite 与 IFE 分开有 4 个 RDI3/4 RDI (Raw Data Interface) output to DDR3/4 RDI原始数据接口输出到 DDR12MP120 each12MP代表的是1200w像素摄像头后面“120”是什么意思不是很明白。Bayer processing for video/preview视频/预览的拜耳处理3A 的统计数据拜耳网格/直方图、拜耳焦点等HVX 流媒体的 4 个分接点PD 校正包括 2x1/2x2 OCL、zzHDR、QCFA binning3A 的统计数据拜耳网格/直方图、拜耳焦点等用于 2PD 和稀疏 PDAF 改进的 PDLib单独的预览和视频输出2.IFE(Image Front End) x 21.2 IFE作用数据分流和格式转换。2.BPS : Bayer processing segment拜耳加工段2.1 相关特点IFE的CSID可以直接输出“补偿过pd像素点的raw Bayer”作为Snapshot数据供后续BSP操作。IFE的CAMIF可以直接输出PD像素点的raw Bayer以供PDAF算法使用IFE经过一些处理产生的拜尔图像可以供IFE内部的3A 使用但不是输出IFE经过进一步处理可以产生自动逸尺寸的YUV数据作为preview和video的数据供给IPE使用BPS在Bayer处理阶段用于快照snapshot的拜尔阵列处理单元例如去马赛克、zzHDR、PDAF 像素校正包括 2x1/2x2 OCL、镜头阴影校正等用于特殊离线处理简单的数据BG 和 HDR列表统计BPS模块提供多级pass的输出1:11:41:161:64供给IPEBPS 中没有 HNR2.2 BPS基本概念一个Feature通常会使用一个usecase来定义一个usecase通常会包含几个pipeline来描述一个流程一个pipeline通常是几个nodelist以及portlink组成的一个串联结构而Node通常分为ChiNode也就是用户Node例如hdr的com.arcsoft.node.hdr.so这个Node或者IFE/BPS/IPE/AWB这样的系统Node在Node中一般都直接链接了处理算法和逻辑其中BPS Node也是一些算法的组成以及一个算法处理的逻辑一个usecase中通常会包含一个BPS和一个IPE的部分或者所有算法处理对相机算法的tuning其实就是对BPS/IFE/IPE这些节点中含有的算法的参数进行调整以使整个Feature达到比较好的效果2.3 BPS与IFE区别BPS与IFE主要区别就是BPS多了Green Imbalance Correction 和Hybrid Noise Reduction两个模块。GIC:Green Imbalance Correction,主要是由于sensor中多是GR和GB两个G的值不一样因此需要做一个绿平衡使结果更平滑。HNR主要是做的高频降噪其图像利用DCT转化到频域HNR主要去除的是luma信道的高频噪声不能去除Cr和Cb的噪声。3. IPE : Image processing engine图像处理引擎3.1 相关特点IPE由两个部分组成分别是NPSNoise processing segment噪声处理段和 PPSPost processing segment后处理段NPSNoise processing segment噪声处理段:ICA1用于内联EIS和图像畸变ICA2和时间滤波器TF用于运动补偿时间滤波器MCTF用于空间降噪的先进降噪技术Advance noise reductionANRfor Spatial noise reductionSNRPPSPost processing segment后处理段主要用于luma和colorCACLTM2DLUCVSCECSQualcomm Spectra 2xx主要的变化之一就是将以上模块移动到降噪后处理由于细节增强的ASFAdaptive Spatial Filter自适应空间滤波器ScalerNo rotator单输入多输出SIMOSingle input multiple outputs3.2 IPE基本概念IFE和BPS的处理更倾向于前端一般指刚拿到图像需要最根本的校准补偿等。IPE处理包括Noise processing segmentNPS噪声处理和Post processing segmentPPS主要包括去噪、滤波等对于图片的初步加工IPE可以输出YUV图像到preview和video以及输出JEPG到snapshot所以无论是那种输出都要经过IPE。Preview/video的数据处理流程为Sensor Raw Bayer —— IFE—— IPE —— YUVSnapShot的数据处理流程为Sensor Raw Bayer —— IFE —— BPS —— IPE —— JPEG