基于FPGA的多路视频采集及AI加速

基于MES50HP开发板及PC主机实现了多源视频采集、拼接及AI协同处理的加速工作。所提出的系统可支持同时采集HDMI、网口、摄像头和光纤4路视频数据，视频采集拼接后，将缩放后存入双倍速率同步动态随机存储器(DDR)中，输出部分分为2路，其中1路数据用于HDMI回环输出，另外1路通过PCIE传至PC主机用于结果显示，并在PC端读取PCIE传回的数据并显示目标检测结果，其中视频采集和目标识别加速部分主要由2块MES50HP开发板构成。本系统在FPGA上实现了卷积加速器，卷积加速器计算完神经网络的一层后再通过PCIE传至主机进行结果显示，卷积计算与图像采集进行深度融合，具有实时、低成本的特点，可广泛应用于边缘计算等领域。实验结果表明：针对红绿灯数据集，该方法在低成本PC主机上实现的最大平均精度均值(mAP)为0.746,最高帧率达45帧。