Gemma 3：谷歌低成本高性能开源多模态大模型

工具标签：

# AI大模型

直达网站

工具描述

Gemma-3是谷歌最新开源的多模态大模型，主打低成本高性能。该模型共有1B（10亿）、4B（40亿）、12B（120亿）和27B（270亿）四种参数规模，即便最大的27B参数模型，也只需要一张Nvidia H100显卡就能高效推理。相比同类模型，Gemma-3在达到相同效果时，算力需求降低了10倍

工具介绍

一、Gemma-3介绍

Gemma-3是谷歌最新开源的多模态大模型，主打低成本高性能。该模型共有1B（10亿）、4B（40亿）、12B（120亿）和27B（270亿）四种参数规模，即便最大的27B参数模型，也只需要一张Nvidia H100显卡就能高效推理。相比同类模型，Gemma-3在达到相同效果时，算力需求降低了10倍，是目前最强的小参数模型之一。

二、架构与技术亮点

通用解码器Transformer架构：Gemma-3采用了与前两代相同的通用解码器Transformer架构，但进行了众多创新和优化。
局部和全局自注意力层交错架构：为了应对长上下文带来的内存爆炸难题，Gemma-3采用了局部和全局自注意力层交错的架构。每5个局部层之间插入1个全局层，局部层的跨度仅为1024个token。这种设计降低了内存占用，提升了模型处理长上下文的能力。
扩展上下文长度：Gemma-3将上下文长度扩展到了128K token（10亿参数模型为32K），提高了模型处理复杂任务的能力。
提高全局自注意力层的RoPE基础频率：从10k提升到1M，而局部层频率保持在10k，使模型在长上下文场景下能够更好地捕捉信息，提升性能。
多模态能力：Gemma-3能够同时处理文本和图像，集成了定制版的SigLIP视觉编码器。这是一个基于VisionTransformer的编码器，通过CLIP损失的变体进行训练，提升了模型的多模态处理能力。
图像嵌入压缩技术：为了降低图像处理的推理成本，Gemma-3采用了创新的图像嵌入压缩技术。将视觉嵌入压缩为固定大小的256个向量，从而在不损失关键信息的前提下，显著减少了计算资源的消耗。
Pan&Scan方法：允许模型灵活处理不同分辨率和宽高比的图像。通过将图像分割成多个固定大小的区域，并将这些区域调整到统一的分辨率后输入编码器，避免了因图像尺寸不一致而导致的信息丢失或变形问题。

三、高效训练过程

增加token预算：为适应图像和文本混合数据的训练需求，Gemma-3使用了比Gemma 2更大的token预算。27B参数的模型训练使用14T token，12B参数模型使用12T，4B参数模型使用4T，1B参数模型使用2T。
提升语言覆盖范围：增加了多语言数据，包括单语和并行数据，并借鉴特定策略处理语言表示不平衡的问题，以此提升模型的语言覆盖范围和多语言处理能力。Gemma-3支持140种语言，其中35种语言开箱即用。
使用SentencePiece分词器：Gemma-3使用与Gemini 2.0相同的SentencePiece分词器，具备分割数字、保留空格和字节级编码的特性。生成的词汇表包含262k个条目，使模型在处理非英语语言时更加平衡。
知识蒸馏技术：在训练优化上，Gemma-3运用知识蒸馏技术。每个token采样256个logits，按照教师概率进行加权，学生模型通过交叉熵损失来学习教师模型在这些样本中的分布。从而提升学生模型的性能。
后训练阶段：聚焦于提升模型的特定能力并整合新特性。采用了改进版的知识蒸馏技术，从大型指令微调教师模型中获取知识，同时结合基于改进版BOND、WARM和WARP的强化学习微调阶段。通过多种奖励函数来优化模型，旨在提升模型的帮助性、数学能力、编码能力、推理能力、指令遵循能力和多语言能力，同时最小化模型产生有害输出的可能性。