【论文解析】FTRANS: Energy-Efficient Acceleration of Transformers using FPGA

作者及发刊详情

Li B , Pandey S , Fang H ,et al.FTRANS: energy-efficient acceleration of transformers using FPGA[J].ACM, 2020.DOI:10.1145/3370748.3406567.

摘要

正文

主要工作贡献

与CPU和GPU在执行Transformer和RoBERTa相比，提出的FTRANS框架获得了极低的成本和能耗。

先进的transformer架构的块循环矩阵压缩方法（block-circulant matrix, BCM）

处理了传统BCM压缩导致的精度损失，提出了先进的BCM压缩方法来减少transformer的权重

FPGA平台上transform的整体优化

在模型压缩的前提下，提出了一个两级优化方法，调度计算资源，优化延迟和吞吐率

降低硬件资源和能耗

提出了一个FPGA架构设计来支持模型压缩技术，开发了设计自动化和优化技术。

实验评估

实验验证平台：VCU118

选用模型： shallow Transformer和RoBERTa (base configuration)

1. shallow Transformer
   架构包括encoder和decoder。
   使用WikiText-2数据集¹任务进行评估，这是一个无监督的序列到序列的问题，需要解码器部分。
2. RoBERTa
   基本配置，预训练的Transformer架构，只有encoder
   使用情绪分类任务划分，是一种监督学习，无需decoder

如图是两种模型的关键参数：

工具：Xilinx SDX2017.1

优