LLM - 理解 大模型 Batch 推理的 Padding Side (左填充或右填充)

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/140721327

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

使用 Left Padding (左填充) 或者 Right Padding (右填充)，HuggingFace 的 transformer 库使用的 Left Padding，而 Llama 源码使用的是 Right Padding，两者各有不同，各有优势。做大模型 Batch 推理时，当请求的语句不等长时，需要使用 Padding，即填充一个无意义的 token，一般推荐 eos_token。

• Left Padding：填充在序列最前面，不影响之后的推理，也符合常见认知，Padding 之后，最前面 Token 没有意义，而最后面 Token 有意义，即可直接推理下一个 Token，但是，也导致前面的 Paddi