如何让AI永远保持思考

（本文章涉及transformer encoder-decoder架构，以及自注意力和交叉注意力，请确保了解这些知识后再读取本文章）

项目：永恒思考的AI（007的win11管理员）

主题：将思维链作为AI生命的本体，一直延伸下去，只要思维链被保存，就永远可以被重启。

首先将思维链（自回归最大token长度）限制为1000（也许也可以是其他长度，按算力预算和需求确定），则只需要拥有1000个位置编码。每生成一个新的token，则裁去最旧的那个token，长度一直保持1000。

每次生成一个token，就立即将其转化为词文本，再次转化为词嵌入向量以保证噪音不会无限累积（这可会增大AI思考的颗粒度，也许可以每生成n个token重新嵌入一次），每次序列添加一个新token，截断最旧的token，且将序列每次输入解码器时都重新注入位置编码，最旧的token对应第0位置编码，最新的token则为第999位置编码，一直如此。通过这些信息预测下一个token。

可以通过AI的思考信息，与外界进行通信，从而得到外部的响应信息，将这些信息进入编码器，从而更新解码器中交叉注意力的键和值，实现系统外新鲜信息注入。从而实现思考与外界信息反馈的闭环，符合热力学第二定律。

让AI生成结构化json，其中包含指令，系统解析json中的指令并返回响应信息（具体参考本作者的AI_win11管理员文章）。

实时检测信息熵，如果发现熵值过大，立刻停止工作，强制注入时政新闻或与用户聊天。

具体系统提示词设计：
系统信息：系统介绍，AI角色设定，系统状态（如时间）等占约200token
操作手册：指令的具体格式与用法介绍约占1000token
自助日记：AI自己维护的日记，最多保存最新的n条日记，约占1000token
外部信息：如命令执行后的反馈，用户聊天信息，以及各种有关无关的信息。约占2000token。