AI“吃碳”有多厉害?Meta坐不住了!
最近,Meta的FAIR团队和佐治亚理工学院联手,搞出了个叫CATransformers的玩意儿。这玩意儿可不是变形金刚,而是个框架,专门用来解决AI系统的碳排放问题。啥意思呢?就是说,他们想让AI在变聪明的同时,也变得更环保!、
现在AI技术火得不行,从你用的推荐系统,到未来的自动驾驶,哪哪都离不开它。但是,这玩意儿烧钱也烧电啊!背后需要海量的计算资源,尤其是一些定制的硬件加速器,训练和推理的时候,那电费蹭蹭往上涨,碳排放自然也跟着飙升。而且,硬件从生产到报废,整个生命周期都埋伏着不少“碳排放”,这地球可顶不住啊!
光省电还不够?CATransformers要“釜底抽薪”
以前大家想减排,主要都是从运营上下手,比如优化训练和推理的能耗,提高硬件利用率之类的。但这些方法忽略了一个大问题:硬件的设计和制造本身就产生了大量的碳排放啊!而且,模型设计和硬件效率之间是相互影响的,只顾一边肯定不行。
CATransformers的出现,就是为了填补这个空白!它用了一个叫“多目标贝叶斯优化引擎”的牛逼玩意儿,能同时评估模型架构和硬件加速器的性能,目标就是找到一个平衡点,既要快、又要省电、还要准,最重要的是,总的碳足迹要小!尤其是针对边缘推理设备,CATransformers会把那些大型CLIP模型“瘦身”,生成各种变体,再结合硬件估算工具,分析碳排放和性能之间的关系,找出最佳方案。
效果怎么样?数据说话!
研究结果显示,CATransformers搞出来的CarbonCLIP-S,在精度上和TinyCLIP-39M差不多,但是碳排放却减少了17%!而且延迟还控制在15毫秒以内。更厉害的是CarbonCLIP-XS,精度比TinyCLIP-8M提高了8%,碳排放还降低了3%,延迟也低于10毫秒!
这里面有个小窍门:单纯追求低延迟,反而可能导致隐含碳增加高达2.4倍!而综合考虑碳排放和延迟的策略,能实现19-20%的总排放削减,同时延迟几乎没啥损失。所以说,CATransformers相当于给AI系统装了个“环保计算器”,为可持续的机器学习系统设计打下了坚实的基础。随着AI技术越来越普及,这个框架能为整个行业提供一条靠谱的减排道路。