音视频基础认知——ISP与DSP

很多人在学习完linux后不知道应该学什么，并且对于音视频领域的认知只限于道听途说。

这里介绍两个音视频的方向——ISP与DSP

ISP

ISP——Image Signal Process图像信号处理

我们先来看这张图

当看到系统框架图的时候千万不要害怕，一个块一块，一个功能一个功能去看，就可以清晰很多。

• image sensor core——图像传感器核心
  这一部分主要是用于视频采集，就是sensor把拍到的东西（模拟信号）转化成电子设备看得懂的东西（数字信号），此时的数字信号是视频流，格式为rawRGB。这个就是模数转换
  摄像头后面有个感光元器件，这个感光元器件就被称为sensor。

• image sensor processor——图像传感器处理
  这一部分就是将数字信号进行一系列的处理。
  这一个模块收到的信号就是由sensor模块转换过的rawRGB的视频流。
  ISP 处理的就是这个rawRGB流，主要工作就是视频调优。内容有线性纠正、噪声去除、黑电平矫正、坏点去除、颜色插补、Gamma矫正、RGB2YUV转换、主动白平衡处理、主动曝光控制、3A算法等
  等等。
  ISP处理完后就是compression压缩，和format转换。这是因为rawRGB占用空间很大