家人们,最近科技圈可有一件大事儿!蚂蚁集团旗下的百灵大模型团队,在蚂蚁技术日上搞了个大动作——宣布全面开源统一多模态大模型Ming-lite-omni。这一决定可不简单,它不仅是蚂蚁集团在AI领域又一次敞开怀抱、拥抱开放的体现,更是在开源多模态模型界投下了一颗“重磅炸弹”,因为这可是首个在模态支持能力上能和GPT - 4o一较高下的开源模型!
220亿参数,技术实力杠杠滴
咱先来说说这Ming-lite-omni的技术亮点。它是在Ling - lite的基础上构建的,采用了先进的MoE(专家混合)架构。总参数高达220亿,激活参数也有30亿,这配置在开源多模态模型里那可是相当亮眼,直接把参数规模拉到了一个新的高度。从这就能看出,蚂蚁集团在大模型技术上那可是下了大功夫,有着深厚的技术积累。
而且啊,现在Ming-lite-omni的模型权重和推理代码已经对公众全面开放了,后续训练代码和训练数据也会陆续公布。这就相当于给全球开发者送了一份“技术大礼包”,让大家能更方便地使用和研究这个模型。
持续开源,成果丰硕
其实啊,今年以来,百灵大模型团队在开源这条路上就没停过脚。他们已经连续开源了好几个重要的模型产品,像Ling - lite、Ling - plus这些大语言模型,还有多模态大模型Ming - lite - uni,以及之前发布的Ming - lite - omni预览版。
就拿五月中旬开源的Ling - lite - 1.5版本来说,它的能力已经非常接近同水准的SOTA(当前最优)水平了,性能处于千问4B和8B之间。这个成果可不一般,它成功证明了300B尺寸的SOTA MoE大语言模型在非高端算力平台上也能进行训练,这可是给很多开发者带来了新的希望和思路。
性能对标国际顶尖,国产实力尽显
在各种理解和生成能力的评测中,Ming - lite - omni的表现那叫一个出色。它的性能和10B量级的领先多模态大模型相当,甚至还更胜一筹。蚂蚁集团也明确表示,这就是目前已知的首个在模态支持方面能和GPT - 4o相媲美的开源模型。这一下子,就给全球开发者提供了一个重要的技术选择和参考标准。
百灵大模型的负责人西亭还跟大家分享了团队的技术路线。他说,团队坚定地在语言大模型和多模态大模型上都使用MoE架构,而且大量采用非高端算力平台。这一做法成功证明了国产GPU在训练能和GPT - 4o媲美的模型方面完全没问题。
不得不说,蚂蚁集团这次开源Ming - lite - omni,真的是给开源社区和全球开发者带来了巨大的惊喜。未来,这个模型会在哪些领域大放异彩,又会给AI技术发展带来怎样的推动,咱们就拭目以待吧!