国产安路FPGA实现图像ISP算法优化，纯verilog代码实现，提供TD工程源码和技术支持

1、前言

国产FPGA现状：

“苟利国家生死以，岂因祸福避趋之！”大洋彼岸的我优秀地下档员，敏锐地洞察到祖国的短板在于先进制程半导体的制造领域，于是本着为中华民族伟大复兴的中国梦贡献绵薄之力的初心，懂先生站在高略高度和长远角度谋划，宁愿背当代一世之骂名也要为祖国千秋万世谋，2018年7月，懂先生正式打响毛衣战，随后又使出恰勃纸战术，旨在为祖国先进制程半导体领域做出自主可控的战略推动；2019年初我刚出道时，还是Xilinx遥遥领先的时代(现在貌似也是)，那时的国产FPGA还处于黑铁段位；然而才短短7年，如今的国产FPGA属于百家争鸣、百花齐放、八仙过海、神仙打架、方兴未艾、得陇望蜀、友商都是XX的喜极而泣之局面，此情此景，不得不吟唱老人家的诗句：魏武挥鞭，东临碣石有遗篇，萧瑟秋风今又是，换了人间。。。
目前对于国产FPGA优势有以下几点：
1：性价比高，与同级别国外大厂芯片相比，价格相差几倍甚至十几倍；
2：自主可控，国产FPGA拥有完整自主知识产权的产业链，从芯片到相关EDA工具；
3：响应迅速，FAE技术支持比较到位，及时解决开发过程中遇到的问题，毕竟中文数据手册；
4：采购方便，产业链自主可控，采购便捷；

FPGA实现MIPI视频解码现状：

MIPI视频解码分为D-PHY和CSI-2两大部分，其中D-PHY属于物理层，依托硬件，灵活性不高，方案不多；CSI-2属于协议层，依托代码，灵活性很高，方案很多；所以只要实现了D-PHY，MIPI-CSI解码其实就很灵活了；第一种D-PHY方案是使用FPGA内部资源，目前FPGA内部继承了硬核MIPI D-PHY的可选方案还是很丰富，国产的高云、安路、易灵思等都有，Xilinx则只有UltraScale+高端系列FPGA才有，该方案优点是设计简单，缺点是硬件成本较高；第二种是使用专用的D-PHY芯片，比如MC20901，该方案优点是设计简单，缺点是硬件成本较高；第三种是使用权电阻网络实现D-PHY功能，该方案是Xilinx官方推荐的一种简单、低速的D-PHY方案，通常用于测试，该方案优点是电路简单，硬件成本低，缺点是性能适中，无法用于高端场景；然后D-PHY信号进入FPGA内部的MIPI CSI-2 RX IP实现CSI功能，即实现MIPI视频解码，另外，也可以使用自己写的CSI模块实现CSI功能；本设计使用国产安路系列FPGA，所以无需考虑D-PHY部分；

工程概述

本文使用国产安路的PH1系列FPGA做MIPI视频解码系统；视频输入源为SC500摄像头，2 Lane模式，FPGA首先使用纯verilog实现的i2c模块对摄像头进行i2c初始化配置，配置为RAW10的分辨率为1920x1080@30Hz的2 Lane MIPI视频输出；然后MIPI视频送入安路FPGA自带的MIPI-DPHY硬核IP，解出HS和LP电路；然后HS电路视频信号送入纯verilog代码实现的MIPI-CSI2-RX模块，实现MIPI协议层解码；然后解码视频送入纯verilog代码实现的RAW10转RAW8模块输出RAW8视频，此时一个像素时钟下输出4个RAW8格式的像素数据；然后视频送入纯verilog代码实现的Native视频转AXIS流模块输出AXIS视频流；然后AXIS视频流送入图像ISP模块实现一系列ISP操作（ISP方案源自米联客开源），包括黑电平校正、Baye转RGB、自动白平衡、图像剪裁、伽马校正、对比度调节、亮度调节、饱和度调节等，图像ISP模块由纯verilog代码实现，在算法上做了优化，使得ISP更为流畅、延时更低，性能更佳；然后经过ISP处理后的AXIS视频流送入本博主常用的FDMA图像缓存架构实现视频3帧缓存功能，本设计使用DDR3作为缓存介质；然后Native视频时序控制图像缓存架构从DDR3中读取视频，并做Native视频时序同步，输出RGB888视频；然后视频送入安路官方提供的RGB转HDMI IP实现RGB转HDMI功能，输出分辨率为1920x1080@60Hz；最后视频通过板载HDMI输出接口送显示器显示即可；针对市场主流需求，本设计提供1套TD工程源码，具体如下：
在这里插入图片描述
现对上述1套工程源码做如下解释，方便读者理解：

工程源码1

开发板FPGA型号为国产安路–PH1A180SFG676-2；视频输入源为SC500摄像头，2 Lane模式，FPGA首先使用纯verilog实现的i2c模块对摄像头进行i2c初始化配置，配置为RAW10的分辨率为1920x1080@30Hz的2 Lane MIPI视频输出；然后MIPI视频送入安路FPGA自带的MIPI-DPHY硬核IP，解出HS和LP电路；然后HS电路视频信号送入纯verilog代码实现的MIPI-CSI2-RX模块，实现MIPI协议层解码；然后解码视频送入纯verilog代码实现的RAW10转RAW8模块输出RAW8视频，此时一个像素时钟下输出4个RAW8格式的像素数据；然后视频送入纯verilog代码实现的Native视频转AXIS流模块输出AXIS视频流；然后AXIS视频流送入图像ISP模块实现一系列ISP操作，包括黑电平校正、Baye转RGB、自动白平衡、图像剪裁、伽马校正、对比度调节、亮度调节、饱和度调节等，图像ISP模块由纯verilog代码实现，在算法上做了优化，使得ISP更为流畅、延时更低，性能更佳；然后经过ISP处理后的AXIS视频流送入本博主常用的FDMA图像缓存架构实现视频3帧缓存功能，本设计使用DDR3作为缓存介质；然后Native视频时序控制图像缓存架构从DDR3中读取视频，并做Native视频时序同步，输出RGB888视频；然后视频送入安路官方提供的RGB转HDMI IP实现RGB转HDMI功能，输出分辨率为1920x1080@60Hz；最后视频通过板载HDMI输出接口送显示器显示即可；该工程适用于国产安路FPGA实现图像ISP算法优化应用；

本博客描述了国产安路FPGA实现MIPI视频解码的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)，若大佬们觉得有所冒犯，请私信批评教育；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

我已有的所有工程源码总目录----方便你快速找到自己喜欢的项目

其实一直有朋友反馈，说我的博客文章太多了，乱花渐欲迷人，自己看得一头雾水，不方便快速定位找到自己想要的项目，所以本博文置顶，列出我目前已有的所有项目，并给出总目录，每个项目的文章链接，当然，本博文实时更新。。。以下是博客地址：
点击直接前往

国产安路FPGA相关方案推荐

鉴于国产FPGA的优异表现和市场需求，我专门开设了一个人国产安路FPGA专栏，里面收录了基于国产安路FPGA的图像处理、UDP网络通信、GT高速接口、PCIE等博客，感兴趣的可以去看看，博客地址：
点击直接前往

我这里已有的 MIPI 编解码方案

我这里目前已有丰富的基于FPGA的MIPI编解码方案，主要是MIPI解码的，既有纯vhdl实现的MIPI解码，也有调用Xilinx官方IP实现的MIPI解码，既有2line的MIPI解码，也有4line的MIPI解码，既有4K分辨率的MIPI解码，也有小到720P分辨率的MIPI解码，既有基于Xilinx平台FPGA的MIPI解码也有基于Altera平台FPGA的MIPI解码，还有基于Lattice平台FPGA的MIPI解码，后续还将继续推出更过国产FPGA的MIPI解码方案，毕竟目前国产化方案才是未来主流，后续也将推出更多MIPI编码的DSI方案，努力将FPGA的MIPI编解码方案做成白菜价。。。
基于此，我专门建了一个MIPI编解码的专栏，并将MIPI编解码的博客都放到了专栏里整理，对FPGA编解码MIPI有项目需求或学习兴趣的兄弟可以去我的专栏看看，专栏地址如下：
点击直接前往专栏

3、设计思路框架

工程设计原理框图

工程设计原理框图如下：
在这里插入图片描述

SC500摄像头配置

视频输入源为SC500摄像头，2 Lane模式，FPGA首先使用纯verilog实现的i2c模块对摄像头进行i2c初始化配置，配置为RAW10的分辨率为1920x1080@30Hz的2 Lane MIPI视频输出；SC500摄像头配置模块如下：
在这里插入图片描述
需要说明的是，SC500摄像头配置模块包含了AE控制，AE控制的是指就是写摄像头内部寄存器已达到AE目的；此外，我们还提供SC500的参考原理图，主要部分截图如下：

MIPI-DPHY 硬核 IP

然后MIPI视频送入安路FPGA自带的MIPI-DPHY硬核IP，解出HS和LP电路；我们在安路原有MIPI-DPHY 硬核 IP基础上添加了一些代码，目的是使IP使用更加简单，安路的MIPI-DPHY硬核IP详情可参考《IPUG016_MIPIIO用户手册》，该手册我已放到资料盘中，请用户自行打开阅读；MIPI-DPHY 硬核 IP例化如下：
在这里插入图片描述

MIPI-CSI2-RX

然后HS电路视频信号送入纯verilog代码实现的MIPI-CSI2-RX模块，实现MIPI协议层解码；为了简化读者对本文的理解，我们将MIPI-CSI2-RX解码后的图像颜色空间转换模块也纳入MIPI-CSI2-RX不分来讲解，所以MIPI-CSI2-RX处理流程如下：
1、HS电路视频信号送入纯verilog代码实现的MIPI-CSI2-RX模块，实现MIPI协议层解码；
2、解码视频送入纯verilog代码实现的RAW10转RAW8模块输出RAW8视频，此时一个像素时钟下输出4个RAW8格式的像素数据；
MIPI-CSI2-RX模块如下：
在这里插入图片描述

Native视频转AXIS流

Native视频转AXIS流模块由纯verilog代码实现，输入端为Native视频流，输出端为AXIS视频流，Native视频转AXIS流模块如下：
在这里插入图片描述

图像ISP之黑电平校正

图像ISP的黑电平校正模块由纯verilog代码实现；黑电平校正（Black Level Correction），有时也称为黑电平补偿（Black Level Compensation），是图像信号处理（ISP）中的一个关键步骤，它的主要目的是校正图像传感器在捕获图像时由于各种原因（如传感器噪声、暗电流等）导致的黑电平偏移，从而确保图像的黑色区域在最终输出图像中显示为真正的黑色。
黑电平偏移步骤如下：
1、黑电平测量：在图像传感器捕获图像时，通常会有一些专门的像素（称为黑电平参考像素）用于测量黑电平。这些像素被遮光，不接收任何光信号，因此它们的输出应该仅包含暗电流和读出噪声；
2、计算平均黑电平：对这些黑电平参考像素的值进行平均，得到一个平均黑电平值；
3、校正图像：将捕获图像的每个像素值减去这个平均黑电平值，从而消除黑电平偏移。
黑电平校正模块如下：
在这里插入图片描述

图像ISP之Bayer转RGB

Bayer转RGB模块由verilog代码实现；Bayer转RGB888需要用到3x3的算子窗口，所以需要缓存行视频，然后使用双线性插值算法实现转RGB的像素填充，Bayer转RGB模块代码架构如下：
在这里插入图片描述

图像ISP之自动白平衡

自动白平衡由verilog代码实现；自动白平衡（Auto White Balance，简称 WB）是图像处理中的一个重要步骤，主要用于校正图像中的颜色，使得图像在不同的光照条件下都能呈现出自然的色彩。ISP（Image Signal Processor）中的白平衡处理是通过调整图像的红、绿、蓝（RGB）通道的增益来实现的；之所以叫白平衡，可以这么理解，由于白色不含任何色度信息，其显色效果最佳，因此它为被选定为基准色。如果选择黄色或者是蓝色为基准色，那么在不同的光源下，基准色会存在误差，光源的颜色就很难区分出来了，就更谈不上矫正了；自动白平衡模块代码架构如下：
在这里插入图片描述

图像ISP之图像剪裁

图像剪裁模块由纯verilog代码实现；图像剪裁模块作用是去掉边沿的黑色像素；图像剪裁的目的是去掉前面Bayer转RGB和自动白平衡过程中在图像边沿产生的寄生黑色填充像素，是必要的操作，否则影响成像效果；图像剪裁模块代码架构如下：
在这里插入图片描述

图像ISP之嘎玛校正

嘎玛校正由纯verilog代码实现；具体原理就不多讲解了，网上解释一大堆，原理也很简单，FPGA用查找表方法即可实现；嘎玛校正模块代码架构如下：
在这里插入图片描述

图像ISP之对比度调节

对比度调节由纯verilog代码实现；对比度是图像处理中一个重要的属性，它描述了图像中明暗区域之间的差异程度，高对比度的图像通常具有更明显的明暗对比，细节更为突出，而低对比度的图像则显得更为平坦和灰暗，调整对比度可以改善图像的视觉效果，使得图像中的细节更加清晰；比度调节的方法也是多种多样，考虑到资源问题，且对比度调节也不是属于 ISP 最核心部分，所以此处采用了计算量较小的线性调节，就是通过同比例乘 RGB 三通道的值去改变图像的对比度；对比度调节模块代码架构如下：
在这里插入图片描述

图像ISP之亮度调节

亮度调节由纯verilog代码实现；亮度调节在 ISP 中只占极少量的比重，主要用来图像增强所用，为了资源的节省，采用线性调节亮度，该法所消耗资源较少，也容易理解；就是去对 RGB 三通道进行同量的增减想要的亮度值即可；亮度调节模块代码架构如下：
在这里插入图片描述

图像ISP之饱和度调节

饱和度调节由纯verilog代码实现；图像饱和度是指图像中色彩的强度或纯度，高饱和度的图像颜色鲜艳、生动，而低饱和度的图像则显得灰暗、平淡，甚至接近黑白。调整图像的饱和度可以显著影响图像的视觉效果和情感表达；饱和度调节的范围为0到1，值越高表示颜色越纯，越低表示颜色越灰；算法采用灰度图混合法；饱和度调节模块代码架构如下：
在这里插入图片描述

图像ISP之AE自动曝光

我们采用手动AE控制方式实现相机AE，具体就是采用按键方式控制，AE的具体控制层面体现在SC500摄像头配置模块，里面包含了AE控制，AE控制的是指就是写摄像头内部寄存器已达到AE目的；相机AE控制例化如下：
在这里插入图片描述

FDMA图像缓存

FDMA图像缓存架构实现的功能是将输入视频缓存到板载DDR3中再读出送后续模块，目的是实现视频同步输出，实现输入视频到输出视频的跨时钟域问题，更好的呈现显示效果；由于调用了安路官方的MIG IP核作为DDR控制器，所以FDMA图像缓存架构就是实现用户数据到MIG的桥接作用；架构如下：
在这里插入图片描述
FDMA图像缓存架构由FDMA控制器+FDMA组成；FDMA实际上就是一个AXI4-FULL总线主设备，与MIG对接，MIG配置为AXI4-FULL接口；FDMA控制器实际上就是一个视频读写逻辑，以写视频为例，假设一帧图像的大小为M×N，其中M代表图像宽度，N代表图像高度；FDMA控制器每次写入一行视频数据，即每次向DDR3中写入M个像素，写N次即可完成1帧图像的缓存，读视频与之一样；同时调用两个FIFO实现输入输出视频的跨时钟域处理，使得用户可以AXI4内部代码，以简单地像使用FIFO那样操作AXI总线，从而达到读写DDR的目的，进而实现视频缓存；本设计图像缓存方式为3帧缓存；图像缓存模块代码架构如下：
在这里插入图片描述

HDMI视频输出架构

缓存图像从DDR3读出后经过Native时序生成模块输出标准的VGA时序视频，然后经过纯verilog显示的RGB转HDMI模块输出HDMI差分视频；最后送显示器显示即可；代码例化如下：
在这里插入图片描述

工程源码架构

工程源码架构如下：
在这里插入图片描述
本博主发布的工程均已编译完成，且时序收敛，无时序违约，如下：

4、TD工程源码1详解：SC500输入版本

开发板FPGA型号：国产安路–PH1A180SFG676-2；
开发环境：TangDynasty 6.0.2；
输入：SC500摄像头；
摄像头详情：MIPI-2 Lane，RAW10颜色空间，分辨率1920x1080@30Hz；
输出：HDMI，RTL编码，分辨率1920x1080@60Hz；
MIPI-DPHY方案：高云安路硬核IP方案；
MIPI-CSI2-RX方案：纯verilog代码方案；
图像ISP方案：包括黑电平校正、Baye转RGB、自动白平衡、图像剪裁、伽马校正、对比度调节、亮度调节、饱和度调节、AE自动曝光等；
图像缓存方案：FDMA图像缓存，3帧缓存；
工程源码架构请参考前面第3章节中的《工程源码架构》小节；
工程作用：此工程目的是让读者掌握国产安路FPGA实现MIPI视频解码的设计能力，以便能够移植和设计自己的项目；
工程的资源消耗和功耗如下：
在这里插入图片描述