Grok-1下载链接分享

Grok-1安装

亿万富翁多公司领导人埃隆·马斯克（Elon Musk）的初创公司xAI今天开源了其第一个大型语言模型（LLM）Grok。马斯克此前曾宣布此举将在本周发生，现在使任何其他企业家、程序员、公司或个人能够接受格罗克的权重——模型的人工“神经元”或软件模块之间的连接强度，允许模型做出决策并接受输入并以文本形式提供输出——以及其他相关文档，并将模型的副本用于他们想要的任何内容。 包括用于商业应用。

我们正在发布我们的大型语言模型 Grok-1 的基本模型权重和网络架构。Grok-1 是一个 3140 亿参数的专家混合模型，由 xAI 从头开始训练。

2023 年 10 月，xAI 使用 JAX 库和 Rust 语言组成的自定义训练堆栈从头开始训练。2023 年 10 月，xAI 使用 JAX 库和 Rust 语言组成的自定义训练堆栈从头开始训练。层的实现效率并不高，之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。层的实现效率并不高，之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。3140 亿参数的 MoE 模型，在给定 token 上的激活权重为 25%；」，以及该模型的权重和网络架构。」，以及该模型的权重和网络架构。

下载X（原推特）App（需从海外应用商店或APKMirror获取）独立App尚未上线Google Play，需通过X App访问。在App Store搜索“Grok”，认准xAI官方应用图标。可加入Google Play预注册等待列表（自动安装推送）若已有美区账号：直接登录App Store。点击下载并安装（需iOS 15及以上系统）点击底部导航栏或侧边栏的“Grok”入口。在App内底部菜单栏找到“Grok”选项。下载X（原推特）App并登录账号。若需注册遇到困难可以参考：​。

巧合的是，微软研究院前段时间更新了跨语言、模态、模型和任务的基准测试 MEGAVERSE，包含 22 个数据集，涵盖 83 种语言（包括资源匮乏的非洲语言）。Meta 在前几天也开源了衡量人工智能系统具体问答能力的基准数据集 OpenEQA，包含家庭和办公室等 180 多种不同现实环境的 1600 多个问题，跨越七个类别，全面测试 AI 在物体和属性识别、空间和功能推理以及常识知识等技能方面的能力，加深大模型对现实世界的理解。很久很久以前，在一个充满冒险和奇迹的国度里，有一个勇敢的小男孩，名叫提米。

首发实测：号称地表最强AI？马斯克发布新一代AI模型Grok3

Grok 是一个庞大的语言模型，拥有 3140 亿个参数，使其成为目前最大的开源模型。就上下文而言，这是 OpenAI 的 GPT-3 大小的两倍多，GPT-3 在 2020 年发布时被认为是一项突破。在 X 用户Andrew Kean Gau分享的图表中，您可以看到 Grok 的规模与其竞争对手相比有多大。但 Grok 不仅更大，它还利用了专家混合 (MoE) 架构，使其能够针对不同任务有策略地激活其参数子集。理论上，与传统的密集模型相比，这使其更加高效且适应性更强。

Grok-1 目前设计如下：参数：314B架构：8 个专家的混合（MoE）专家利用率：每个标记使用 2 个专家层数：64 注意力头：48 个用于查询，8 个用于键/值嵌入大小：6,144 标记化：使用 131,072 个标记的 SentencePiece 分词器额外功能： 旋转嵌入（RoPE）支持激活分片和 8 位量化最大序列长度（上下文）：8,192 个标记Grok-1的开源为我们提供了在大型模型领域深入探索的珍贵机会。

Grok-1 开源仅过去了 10 个小时，该项目便获得了 超过16k 的 Star，成为众人关注的焦点所在。马斯克践行诺言，坚持开源原则，选择开源自家的 AI 大模型——Grok-1。后续继续更新，使用调试情况。

Grok-1是一款基于混合专家系统（Mixture-of-Experts，MoE）技术构建的大语言模型，拥有3140亿参数，远超OpenAI GPT-3.5的1750亿。是迄今参数量最大的开源大语言模型，遵照Apache 2.0协议（因此，用户可以自由使用、修改和分发软件。）开放模型权重和架构。3140亿的参数这可是个不小的概念，是Llama 2的4倍。基础模型在大量文本数据上训练，未针对任何特定任务进行微调。314B参数的MoE，有25%的权重在给定token上处于激活状态。

今天凌晨，马斯克旗下的大型模型公司 xAI 宣布正式开源了一款名为「Grok-1」的混合专家（MoE）模型，该模型包含着 3140 亿个参数，成为当前参数量最大的开源大语言模型之一。

关于 Grok 运行 Model Specifications 下载权重 方式一：使用磁力链下载 方式二：直接使用 🤗 HuggingFace Hub

之后，他们对模型的推理和编码能力进行了重大改进，最终开发出了 Grok-1，这是一款功能更为强大的 SOTA 语言模型，在 HumanEval 编码任务中达到了 63.2% 的成绩，在 MMLU 中达到了 73%。相对的，在 X（原 Twitter）上可用的 Grok 大模型是微调过的版本，其行为和原始权重版本并不相同。研究人员可以利用Grok-1进行自然语言理解和生成的实验，开发者可以构建能够处理复杂对话的智能系统，企业可以使用Grok- 1 作为基础模型，进一步开发行业特定的AI应用。

马斯克xAI Grok iOS 应用，来了！

grok: 解析任意文本并构造它: Grok 是当前最好的方式在logstash 解析蹩脚的非结构化日志数据 到一些结构化的可查询的。 这个工具是完美的对于syslog logs, apache和其他webserver logs,mysqllogs,在一般情况下,任何日志格式 通常对于人是友好的而不是对于电脑 Logstash 有120种模式默认,你可以找到它们在:https:/