Jacobi迭代法是数值线性代数中的一种算法,用于求解形如Ax = b
的线性方程组。这里,A
是一个实数或复数矩阵,x
是未知向量,b
是已知向量。
在LLM推理加速问题上的最新进展和Jacobi迭代法有关。故先复习下Jacobi迭代法。雅可比解码是Lookahead的初始版本,类似Jacobi iteration method的思想,采取一种逐步迭代的方式完成投机采样的过程,随机初始化后,每步迭代的输出作为下一步迭代的输入。
Jacobi迭代法的基本思想
Jacobi迭代法的基本思想是将矩阵A
分解成对角部分D
和其余部分(L+U
)的和,即A = D + (L + U)
,其中D
是对角矩阵,L
是下三角矩阵,U
是上三角矩阵。然后,利用对角矩阵D
来迭代求解x
。