• 首页
  • AI工具集
  • AI资讯
  • AI活动
  • AI社区
  • AI短剧
  • AI创作大赛
  • AI小说
  • AI绘画
    AI视频
    AI对口型
    视频转动漫风格
    AI创意二维码
    AI艺术字
    AI智能抠图
  • AI短视频创作热门-AI社区
AI 对话

Meta搞了个大新闻!纯视觉AI模型WebSSL,不用说话也能看懂图?

Meta搞了个大新闻!纯视觉AI模型WebSSL,不用说话也能看懂图?
AI TOP100
2025-04-25 16:00:31

Meta放大招:WebSSL模型横空出世!

AI圈最近炸开了锅,Meta公司又搞了个大新闻!他们推出了一系列叫做WebSSL的模型,这玩意儿厉害了,不用听你说话,光看图就能get到你的意思!这系列模型规模可不小,参数从3亿到70亿不等,专门用图像数据来训练,目标就是探索无语言监督的视觉自监督学习(SSL)的潜力。

话说回来,之前OpenAI的CLIP模型就很火,在视觉问答(VQA)和文档理解上表现超好。但CLIP得靠语言来学习,数据集不好搞,规模也受限制。Meta这次就想试试,不用语言行不行?于是,他们拿出了自家的MetaCLIP数据集(MC-2B),里面有20亿张图片,完全不加语言指导,让AI自己琢磨。这样就能更纯粹地评估纯视觉自监督学习的效果,不受数据和模型大小的限制。

WebSSL模型

WebSSL怎么做到的?

WebSSL模型用了两种主流的视觉自监督学习方法:联合嵌入学习(DINOv2)和掩码建模(MAE)。所有模型都用224x224分辨率的图像训练,而且还把视觉编码器冻结了,保证结果的差异只来自于预训练策略。这系列模型在五个不同的容量层级上(ViT-1B 到 ViT-7B)进行训练,然后用Cambrian-1基准测试来评估,覆盖了通用视觉理解、知识推理、OCR(光学字符识别)和图表解读等16个VQA任务。

效果怎么样?超出想象!

实验结果显示,WebSSL模型参数越大,在VQA任务中的表现就越好,尤其是在OCR和图表任务中,甚至超过了CLIP!而且,通过高分辨率(518px)微调,WebSSL在文档任务中的表现也大幅提升,缩小了与一些高分辨率模型的差距。

WebSSL模型

更神奇的是...

更让人惊讶的是,WebSSL在没有语言监督的情况下,竟然能和一些预训练语言模型(比如LLaMA-3)对齐!这意味着大规模视觉模型能够自己学到与文本语义相关的特征,这对我们理解视觉和语言之间的关系提供了新的思路。

未来可期!

总之小编认为,Meta的WebSSL模型不仅在传统的基准测试中表现出色,还为未来的无语言学习研究开辟了新的方向。以后AI看图说话,可能真的不需要“说话”了!

更多AI行业最新资讯新闻信息(ai界最新新闻)请关注AI人工智能网站--AITOP100平台--AI资讯

0
0
文章来源:AI TOP100
免责声明:本文不代表本平台立场,且不构成投资建议,请谨慎对待。
全部评论
暂无评论
相关资讯
  • Luma AI Dream Machine“指令修改”来袭,视频创作要变天啦!

  • 通义万相国际版Wan2.2开源第2天:解锁场景布置新姿势

  • 告别繁琐!Genspark超级智能体与Outlook集成开启高效办公新姿势

  • 无需真机!如何用Google Maps和LTX Studio打造电影级无人机航拍大片

  • NotebookLM焕新登场:视频摘要功能震撼来袭!

热点资讯

豆包AI生图技术深度解析:引领中文图像生成新突破

5天前
豆包AI生图技术深度解析:引领中文图像生成新突破

阿里巴巴首款夸克AI眼镜惊艳亮相2025世界人工智能大会(WAIC)

4天前
阿里巴巴首款夸克AI眼镜惊艳亮相2025世界人工智能大会(WAIC)

YouTube Shorts大动作!AI特效来袭,照片秒变精彩视频

6天前
YouTube Shorts大动作!AI特效来袭,照片秒变精彩视频

Pika推出AI视频特效APP:自拍秒变创意大片,人人都是“导演”!

8天前
Pika推出AI视频特效APP:自拍秒变创意大片,人人都是“导演”!

创意加速!可灵AI"灵动画布"发布,多图参考功能迎来重大突破

2天前
创意加速!可灵AI"灵动画布"发布,多图参考功能迎来重大突破
分享
0
0

欢迎来到AI Top100!我们聚合全球500+款AI智能软件,提供最新资讯、热门课程和活动。我们致力于打造最专业的信息平台,让您轻松了解全球AI领域动态,并为您提供优质服务。

合作伙伴
联系我们
加入AITOP100社群
加入社群
AITOP100商务微信
商务微信
相关链接
服务及隐私政策
网站地图
关于我们
粤ICP备2022124843号-2粤公网安备44030002004505广播电视节目制作经营许可证:(粤)字第00712号Copyright © 华强方特(深圳)动漫有限公司 版权所有