【LLM】GLM系列模型要点

note

GLM

Paper：https://arxiv.org/abs/2406.12793
GitHub：https://github.com/THUDM
HF：https://huggingface.co/THUDM

经过进一步优化的GLM-4 All Tools模型能够理解用户的意图，并自主决定何时以及如何使用包括网络浏览器、Python解释器、文本到图像模型以及用户自定义函数在内的工具来高效完成复杂任务。在实际应用中，GLM-4 All Tools在访问在线信息和使用Python解释器解决数学问题等任务中的表现超过了GPT-4 All Tools。

一、数据层面

1. 预训练数据

ChatGLM系列模型的预训练语料库由多种语言的文档构成，主要为英文和中文，涵盖了网页、维基百科、书籍、代码和论文等多种来源。数据处理流程精心设计，分为三个主要阶段：去重、过滤和分词。

• 在去重阶段，我们通过精确匹配和模糊匹配技术剔除重复或相似的文档，确保数据集的多样性。
• 在过滤阶段，我们移除了包含攻击性内容、占位符文本和源代码等噪声文档，以提升数据质量。最后，在分词阶段，文本被转换成token序列，为后续处理打下基础