首页 > AI > AI评测> 正文

马斯克宣布开源 Grok-1:3140 亿参数,权重、架构全开放

铓锋 编辑: 陆新宇 发布于:2024-03-18 11:03 PConline原创

今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型 Grok-1,以及模型的权重和网络架构。让 Grok-1 成为了如今参数量最大的开源大语言模型。

作为一个彩蛋,xAI 表示,这则新闻的封面图(也就是上图)是根据 Grok 提示,使用 Midjourney 生成的,提示词为:“神经网络的 3D 插图,具有透明节点和发光连接,以不同粗细和颜色的连接线展现不同的权重(A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines.)。”

而开源 Grok 后,马斯克也在第一时间对竞争者 OpenAI 进行了“关心”:“我们想了解更多 OpenAI 的 Open(开放)部分。”

根据 xAI 官方公布的消息,我们可以看到 Grok-1 的三大特点:

  1. 基于大量文本数据对基础模型进行训练,没有对任何特定任务进行微调;
  2. 3140 亿参数的 MoE 模型(混合专家模型),在给定 token 上的激活权重为 25%;
  3. 从 2023 年 10 月开始,xAI 使用 JAX 库和 Rust 语言组成的自定义训练堆栈对 Grok 进行了从头训练。

xAI 遵守 Apache 2.0 许可证来开源 Grok-1 的权重和框架,如果你拥有 Apache 2.0 的许可证,不论个人还是商业用途,你都可以自由使用、修改、分发软件,截止发文,已经收获了 7.7k 星标,热度极高。

xAI 在项目中强调,如果你想顺利测试如此规模的模型,需要 CPU 拥有足够的内存,有用户给出了参考:拥有 8 个 H100 就可以顺利运行 Grok-1 模型了。

Grok-1 是马斯克 xAI 团队去年 11 月推出的一款大语言模型,xAI 表示,Grok 是一款仿照《银河系漫游指南》设计的 AI,它几乎可以回答任何问题,甚至可以建议你问什么问题,它幽默诙谐又叛逆,可以回答其他 AI 系统拒绝回答的问题。

在去年 11 月发表的博客中,xAI 展示了 Grok-1 的部分能力,可以看到,Grok-1 在各项基准测试中均优于 CPT-3.5,但相比训练量更高的 GPT-4 则有较大差别。

另外,为了防止 Grok-1 针对试题训练,xAI 还针对匈牙利国家高中数学考试进行了测试,同样优于 GPT-3.5。

现在,Grok-1 已经在 X 平台引发了不少讨论,但开源版的 Grok 依然有一些功能需要付费才可以实现,不过随着 Grok 的不断更新、开源,相信 xAI 会为我们带来更多惊喜。

AI   Grok   xAI   马斯克
铓锋

网友评论

聚超值•精选

推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部