手机AI要起飞?Liquid AI的“Hyena Edge”来搞事情了!
最近AI圈儿又热闹了,Liquid AI这家公司放了个大招,在ICLR 2025会议前夕,推出了个新模型,叫“Hyena Edge”。这名字听着就挺霸气,关键是,它是专门给智能手机和其他边缘设备设计的!
话说这Liquid AI,可不是什么野鸡公司,人家可是从MIT出来的,目标也很远大,就是要超越现在主流的Transformer架构。要知道,现在的大部分大语言模型(LLM)都靠Transformer撑着,但Transformer太吃资源了,手机根本跑不动啊!
Hyena Edge:更轻、更快、更强!
“Hyena Edge”的出现,就是要打破这个局面。据说这玩意儿在计算效率和语言模型质量上都表现得相当出色。官方数据说,在三星Galaxy S24 Ultra手机上测试,Hyena Edge延迟更低,内存占用更少,而且在各种评测中,都比相同参数的Transformer++模型表现更好!这简直就是为边缘AI量身定做的。
和那些为了移动端牺牲性能的小模型不一样,Hyena Edge直接抛弃了传统的注意力机制,用上了Hyena-Y系列的门控卷积,还把三分之二的分组查询注意力(GQA)操作给替换掉了。这架构设计思路,相当大胆!
更厉害的是,Hyena Edge的架构,是Liquid AI的“定制架构合成”(STAR)框架搞出来的。这个框架通过进化算法,自动设计模型结构,专门优化延迟、内存使用和模型质量这些指标。简单来说,就是为了特定硬件,打造最合适的模型。
实测见真章:三星S24 Ultra跑起来飞快!
为了证明Hyena Edge不是吹牛,Liquid AI直接在三星Galaxy S24 Ultra上做了测试。结果显示,在处理长文本的时候,Hyena Edge的预填充和解码速度,比Transformer++快了30%!而且,在所有测试的文本长度下,Hyena Edge的内存使用量都更低。这对于资源紧张的手机来说,简直是福音!
基准测试:各项指标都很能打!
光说不练假把式,Hyena Edge还在1000亿个token上进行了训练,并在Wikitext、Lambada、PiQA、HellaSwag、Winogrande、ARC-easy和ARC-challenge等多个标准的小型语言模型测试中,表现相当亮眼。尤其是在Wikitext和Lambada的困惑度评分上,提升明显。PiQA、HellaSwag和Winogrande的准确率,也都有所提高。
未来可期:开源计划助力技术普及!
Liquid AI还计划在未来几个月内,开源一系列Liquid基础模型,包括Hyena Edge。他们的目标是构建能够从云数据中心扩展到个人边缘设备的高效通用人工智能系统。这意味着,以后你的手机,可能也会变得像云端服务器一样聪明!
Hyena Edge的成功,不仅仅在于它优秀的性能,更重要的是,它展示了自动化架构设计的巨大潜力,为未来的边缘优化人工智能,设定了新的标准。以后,AI模型可能会根据你的手机型号、使用习惯,自动进行优化,想想就觉得兴奋!
一句话总结:
Liquid AI的Hyena Edge,可能是边缘AI的一次重大突破。如果他们能成功开源,并得到广泛应用,那么未来手机上的AI应用,将会变得更加强大、流畅和智能!让我们拭目以待!