今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型 Grok-1,以及模型的权重和网络架构。让 Grok-1 成为了如今参数量最大的开源大语言模型。 作为一个彩蛋,xAI 表示,这则新闻的封面图(也就是上图)是根据 Grok 提示,使用 Midjourney 生成的,提示词为:“神经网络的 3D 插图,具有透明节点和发光连接,以不同粗细和颜色的连接线展现不同的权重(A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines.)。” 而开源 Grok 后,马斯克也在第一时间对竞争者 OpenAI 进行了“关心”:“我们想了解更多 OpenAI 的 Open(开放)部分。” 根据 xAI 官方公布的消息,我们可以看到 Grok-1 的三大特点:
xAI 遵守 Apache 2.0 许可证来开源 Grok-1 的权重和框架,如果你拥有 Apache 2.0 的许可证,不论个人还是商业用途,你都可以自由使用、修改、分发软件,截止发文,已经收获了 7.7k 星标,热度极高。 xAI 在项目中强调,如果你想顺利测试如此规模的模型,需要 CPU 拥有足够的内存,有用户给出了参考:拥有 8 个 H100 就可以顺利运行 Grok-1 模型了。 Grok-1 是马斯克 xAI 团队去年 11 月推出的一款大语言模型,xAI 表示,Grok 是一款仿照《银河系漫游指南》设计的 AI,它几乎可以回答任何问题,甚至可以建议你问什么问题,它幽默诙谐又叛逆,可以回答其他 AI 系统拒绝回答的问题。 在去年 11 月发表的博客中,xAI 展示了 Grok-1 的部分能力,可以看到,Grok-1 在各项基准测试中均优于 CPT-3.5,但相比训练量更高的 GPT-4 则有较大差别。 另外,为了防止 Grok-1 针对试题训练,xAI 还针对匈牙利国家高中数学考试进行了测试,同样优于 GPT-3.5。 现在,Grok-1 已经在 X 平台引发了不少讨论,但开源版的 Grok 依然有一些功能需要付费才可以实现,不过随着 Grok 的不断更新、开源,相信 xAI 会为我们带来更多惊喜。 |
原创栏目
IT百科
网友评论
聚超值•精选