谷歌Gemma 3开源AI模型：轻量级高性能之选
在大型语言模型（LLM）火热的当下，企业对更经济高效的AI解决方案需求日益增长。谷歌于3月12日正式推出Gemma 3开源AI模型，旨在满足这一需求。Gemma 3基于与Gemini 2.0相同的研究和技术构建，但更为轻量级，降低了能源消耗和成本。
谷歌表示，Gemma 3是一系列轻量级模型，开发者可以在各种设备上快速部署，包括手机、笔记本电脑和工作站。该模型支持超过35种语言，并能处理文本、图像和短视频等多模态数据。
Gemma 3：多种规格满足不同需求
Gemma 3提供多种模型规模，包括10亿参数（1B）、40亿参数（4B）、120亿参数（12B）和270亿参数（27B）。开发者可以根据硬件条件和性能需求灵活选择。
谷歌强调，Gemma 3“在其尺寸范围内提供了最先进的性能”，优于Llama-405B、DeepSeek-V3和o3-mini等其他LLM。其中，Gemma 3 27B在Chatbot Arena Elo评分中名列前茅，仅次于DeepSeek-R1。
Gemma 3的主要优势
谷歌在官方博客中详细介绍了Gemma 3的新功能：
- 单加速器最佳性能：Gemma 3在LMArena排行榜上的人类偏好评估中表现出色，优于Llama-405B、DeepSeek-V3和o3-mini，适合单GPU或TPU主机。
- 支持140种语言：Gemma 3提供超过35种语言的开箱即用支持，并对140多种语言提供预训练支持。
- 高级文本和视觉推理能力：Gemma 3可以分析图像、文本和短视频，为交互式应用开辟新的可能性。
- 扩展的上下文窗口：Gemma 3的上下文窗口达到128k tokens，远大于Gemma 2的80K，能够处理和理解大量信息。
- 函数调用功能：Gemma 3支持函数调用和结构化输出，便于用户自动化任务并构建智能代理。
- 量化模型加速：Gemma 3引入了官方量化版本，在保持高精度的同时降低模型大小和计算需求。
谷歌声称，Gemma 3是“世界上最好的单加速器模型”，在单GPU主机上的性能超越了Llama、DeepSeek和OpenAI等竞争对手。
Gemma 3与Hugging Face Transformers、Ollama、JAX、Keras、PyTorch等开发者工具集成。用户可以通过Google AI Studio、Hugging Face或Kaggle访问Gemma 3。企业和开发者可以通过AI Studio申请访问Gemma 3 API。
Gemma 3模型架构优化
Gemma 3在架构上进行了两项主要改进：扩展上下文长度和优化预训练。
为了解决长上下文推理过程中KV缓存内存增长的问题，谷歌采用了5:1的局部/全局层交错机制。Gemma 3通过增加局部注意力层比例并缩短局部注意力跨度，有效缓解了长上下文时的KV缓存问题。
Gemma 3支持最长128K tokens的上下文长度，但1B参数模型的上下文长度为32K tokens。为此，Gemma 3将全局自注意力层的RoPE基频从10K提升至1M，而局部层的基频保持在10K。
在预训练方面，Gemma 3采用与Gemini 2.0相同的SentencePiece分词器，词汇表规模为262K，并针对非英语语言进行了优化。Gemma 3还重新设计了数据混合策略，以提升模型的多语言能力，并融入图像理解能力。相较于Gemma 2，Gemma 3增加了训练token量，以容纳图像和文本的混合数据。此外，Gemma 3还大幅增加了多语言数据，包括单语数据和平行语料。
视觉模态方面，Gemma 3使用SigLIP作为图像编码器，将图像编码成可由语言模型处理的token。Gemma 3中的注意力机制对于文本和图像输入的处理方式不同。文本使用单向注意力，而图像则采用全局注意力，没有遮蔽，允许模型以双向方式查看图像的每个部分，从而对视觉输入进行完整且没有任何限制的理解。
社区反响
Gemma 3的发布引发了广泛关注。有网友认为27B模型就能击败Claude 3.7 Sonnet让人难以置信，也有开发者对谷歌的技术创新表示感谢。
谷歌Gemma团队成员alekandreev在Hacker News平台回复用户提问时表示，选择模型大小主要根据不同的设备类别，并且独立训练了不同规模的模型。InfoQ还注意到，alekandreev还发布了Gemma团队的招聘启事。
小型模型和蒸馏工艺的兴起
自谷歌发布Gemma以来，外界对小型语言模型的兴趣与日俱增。小型模型在特定任务中表现出色，尤其是在资源有限的环境中。蒸馏工艺作为一种将大型模型的知识转移到小型模型的技术，正逐渐成为企业优化AI部署的重要手段。但值得注意的是，Gemma并非Gemini 2.0的蒸馏版本，而是基于相同的数据集和架构独立训练的。
企业开始意识到，并非所有应用场景都需要大语言模型的全部功能。例如，在简单的代码编辑器或特定领域的任务中，较小的模型可以更高效地完成任务，而不会造成资源浪费或过度拟合。
