本文带你揭开思维链(CoT)的底层逻辑,告诉你如何通过“编程”式 Prompt,将 LLM 的推理能力压榨到极致。🚀
1. 揭开黑箱:CoT到底在“想”什么?
我们都知道,LLM 的内部工作像个黑箱。它在生成答案前,内部的隐藏状态其实已经进行了一场信息风暴,包含了对任务的理解、计算、甚至还有点“小情绪”(比如置信度)。但这些我们都看不见,也摸不着。
想象一下你在做一道复杂的数学题。在你动笔之前,你的大脑里已经闪过了很多念头:这道题属于什么类型?我以前做过类似的吗?关键的数字是哪些?我可能会在哪个地方犯错?
LLM 的隐藏状态 h 就类似于你大脑里这些瞬时、复杂、高维度的思绪集合。它是一个巨大的向量(一长串数字),用数学方式编码了模型到目前为止对所有输入信息的理解,包括但不限于:
语义理解:这个词是什么意思?这句话的语法结构是什么?
事实知识:与问题相关的背景知识。
中间状态:上一步计算得出的结论或部分结果。
元认知信息:模型对当前生成内容的“自信程度”、潜在的歧义、可能的错误方向等。
思维链(CoT)的出现,就像是给这个黑箱装上了一个“思想监视器”。
图片说明:通过生成辅助 Token(中间步骤),近似了循环网络的计算方式
维度 | 传统直接输出 | CoT 思维链 |
---|---|---|
内部状态 h |
高维、复杂、不可见 |