太平洋科技 AI

Gemma: 谷歌发文介绍的最新开放模型

zhangxinxin 责任编辑：wangkeyue 发布于：2024-02-22 13:54

近日，谷歌在其博客介绍其最新推出的大模型家族Gemma。

博客原文翻译如下：

在谷歌，我们相信让人工智能对每个人都有帮助。我们在为开放社区贡献创新方面有着悠久的历史，例如Transformers、TensorFlow、BERT、T5、JAX、AlphaFold和AlphaCode。今天，我们很高兴地介绍谷歌的新一代开放模型，以帮助开发人员和研究人员负责任地构建人工智能。

Gemma开放模型

Gemma是一个轻型的，最先进的开放式模型家族，采用与创建Gemini模型相同的研究和技术。

Gemma是由谷歌DeepMind和谷歌的其他团队开发的，灵感来自Gemini，这个名字反映了拉丁语gemma，意思是“宝石”。伴随着我们的模型权重，我们还发布了一些工具来支持开发人员的创新，促进协作，并指导对Gemma模型的负责任的使用。

从今天开始，Gemma在全球范围内可用。以下是需要了解的关键细节:

我们发布了两种尺寸的模特砝码:Gemma 2B和Gemma 7B。每种尺寸都发布了预先训练和指令调整的变体。

一个新的负责任的生成人工智能工具包为使用Gemma创建更安全的人工智能应用程序提供指导和基本工具。

我们通过原生Keras 3.0为所有主要框架(JAX、PyTorch和TensorFlow)提供推理和监督微调(SFT)的工具链。

随时可用的Colab和Kaggle笔记本，以及与流行工具(如hugs Face, MaxText, NVIDIA NeMo和TensorRT-LLM)的集成，使Gemma易于上手。

预训练和指令调整的Gemma模型可以在笔记本电脑，工作站或Google Cloud上运行，并且可以轻松部署在Vertex AI和Google Kubernetes Engine (GKE)上。

跨多个AI硬件平台的优化确保了业界领先的性能，包括NVIDIA gpu和Google Cloud TPU。

使用条款允许所有组织负责任的商业使用和分发，无论规模大小。

最先进的尺寸性能

Gemma模型与Gemini共享技术和基础设施组件，Gemini是我们目前最大、功能最强大的人工智能模型。这使得Gemma 2B和7B与其他开放模型相比，能够实现同类尺寸中的最佳性能。Gemma模型能够直接在开发人员的笔记本电脑或台式电脑上运行。值得注意的是，Gemma在关键基准上超过了较大的模型，同时坚持我们严格的安全和负责任的产出标准。有关性能、数据集组成和建模方法的详细信息，请参阅技术报告。

设计负责

Gemma的设计以我们的AI原则为最前沿。作为使Gemma预训练模型安全可靠的一部分，我们使用自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。此外，我们使用广泛的微调和强化学习从人类反馈(RLHF)，以使我们的指令调整模型与负责任的行为。为了理解和减少Gemma模型的风险，我们进行了稳健的评估，包括手动红队、自动对抗测试，以及危险活动的模型能力评估。这些评估都列在我们的样板卡上

我们还与Gemma一起发布了一个新的负责任的生成人工智能工具包，以帮助开发人员和研究人员优先构建安全和负责任的人工智能应用程序。该工具包包括:

安全分类:我们提供了一种新的方法，用最少的例子来构建健壮的安全分类器。

调试:模型调试工具可以帮助您调查Gemma的行为并解决潜在问题。

指导:您可以访问基于Google在开发和部署大型语言模型方面的经验的模型构建者的最佳实践。

优化跨框架，工具和硬件

您可以在自己的数据上对Gemma模型进行微调，以适应特定的应用程序需求，例如摘要或检索增强生成(RAG)。Gemma支持多种工具和系统:

多框架工具:带来你最喜欢的框架，以及用于跨多框架Keras 3.0、原生PyTorch、JAX和hugs Face Transformers进行推理和微调的参考实现。

跨设备兼容性:Gemma模型可以在流行的设备类型上运行，包括笔记本电脑、台式电脑、物联网、移动设备和云，从而实现广泛访问的人工智能功能。

先进的硬件平台:我们与NVIDIA合作，为NVIDIA gpu优化Gemma，从数据中心到云到本地RTX AI pc，确保业界领先的性能和与尖端技术的集成。

针对Google Cloud进行了优化:Vertex AI提供了广泛的MLOps工具集，其中包含一系列调优选项和使用内置推理优化的一键部署。高级定制可通过完全托管的Vertex AI工具或自我管理的GKE进行，包括从任一平台部署到跨GPU、TPU和CPU的经济高效基础设施。

研究和开发的免费学分

Gemma是为推动人工智能创新的开发人员和研究人员的开放社区而构建的。今天你就可以使用Kaggle免费访问Gemma，这是Colab笔记本电脑的免费服务，首次使用Google Cloud的用户可以获得300美元的积分。研究人员还可以申请高达50万美元的谷歌云积分来加速他们的项目。