• 首页
  • AI工具集
  • AI资讯
  • AI活动
  • AI社区
  • AI短剧
  • AI创作大赛
  • AI小说
  • AI绘画
    AI视频
    AI对口型
  • AI漫剧创作
AI 对话

AI拥有键鼠操控权!Gemini 3.5 Flash原生集成计算机操作能力,彻底淘汰旧版2.5智能体框架

AI拥有键鼠操控权!Gemini 3.5 Flash原生集成计算机操作能力,彻底淘汰旧版2.5智能体框架
AI TOP100
1小时前

2026年AI Agent赛道已经完成一轮分水岭式变革:单纯对话问答模型不再具备长期竞争力,‌能看懂屏幕、自主操作电脑、自动完成重复工作‌的可执行式智能体,成为各大科技厂商攻坚核心。

6月25日谷歌同步放出两大重磅产品更新:轻量化主力模型‌Gemini 3.5 Flash‌内置原生计算机使用工具,直接替换此前迭代许久的Gemini 2.5测试框架;配套上线‌Chrome 149稳定版‌,新增屏幕素材一键导入Gemini交互功能,打通浏览器与桌面AI自动化链路。

作为长期跟踪海外大模型智能体落地的博主,结合官方发布信息、开发者演示场景、配套安全防护方案,完整拆解本次更新的技术变革、落地场景、浏览器联动能力,以及行业释放的关键信号。

工具地址:谷歌Gemini官网(海外网站需要科学上网)

Gemini 3.5 Flash

一、核心变革:抛弃旧框架,Gemini 3.5 Flash原生搭载桌面操控能力

在此之前,谷歌想要实现AI操作桌面软件、网页表单,必须依赖Gemini 2.5外置测试框架,开发者需要额外编写大量适配代码,模型无法原生识别屏幕视觉信息,自动化流程稳定性差、开发门槛极高。

本次更新直接重构底层逻辑,把计算机视觉、键鼠模拟、界面识别能力‌原生嵌入Gemini 3.5 Flash模型本体‌,带来两大颠覆性变化:

1. 像人类一样看懂屏幕,自主完成全流程操作

模型可读取截图、识别窗口按钮、输入框、网页表单、表格数据等视觉元素,无需开发者标注界面坐标。借助Gemini API搭建智能体后,AI能自主完成整套连贯任务:

  • 批量浏览网页、抓取多页面数据自动汇总;
  • 自动填写超长表单、批量上传文件;
  • 切换软件窗口、点击功能按钮、导出表格数据;
  • 跨电脑、手机、浏览器多终端统一采集信息。

整套流程仅需一句自然语言指令,不用拆分多段代码分步执行,大幅降低企业自动化、软件测试的开发成本。

2. 开放开发者实时演示环境,快速落地商用项目

谷歌在Browserbase平台搭建专属演示空间,开发者无需本地部署环境,在线即可测试Gemini企业智能体的桌面自动化能力,快速验证办公自动化、爬虫数据采集、产品自动化测试等方案,缩短项目落地周期。

3. 轻量化模型适配高频自动化任务

Gemini 3.5 Flash本身主打高速响应、低成本调用,输出速度领先同级别轻量化模型,非常适合长时间、高频次循环执行的重复性桌面工作,不会出现推理卡顿、延迟过高的问题,适配企业7×24小时自动化作业需求。

二、配套Chrome 149重磅更新:屏幕内容一键转为Gemini提示词

模型桌面操控能力想要落地,离不开浏览器交互链路打通,谷歌同步推送Chrome 149稳定版,新增‌从屏幕中选择‌核心功能,补齐网页素材快速调用AI的短板:

  1. 功能启用路径:浏览器附件菜单一键开启,操作门槛极低;
  2. 核心使用逻辑:拖拽框选页面任意文字、图片、图表,选中内容自动填充至Gemini对话输入框,无需复制粘贴、截图导出;
  3. 落地场景:网页行业报告、商品参数、数据表、新闻素材,一键导入模型完成总结、对比、数据提取、文案改写,大幅降低网页内容二次处理的操作步骤。

这套浏览器+大模型的联动设计,让AI桌面智能体实现“网页素材获取—自动化处理—数据导出归档”完整闭环。

三、大众最关心:AI操控键鼠存在风险?谷歌双层企业安全防护方案

当AI获得电脑屏幕、鼠标、键盘的完整控制权,提示注入、恶意篡改文件、批量删除数据等安全隐患随之而来,谷歌同步配套两套企业级安全机制,从执行前、执行中双重管控风险:

1. 人工审批拦截机制

企业管理员可自定义权限规则:AI执行删除文件、修改系统配置、批量改写本地数据等‌永久性敏感操作‌时,必须发送人工确认指令,未通过审批则直接终止任务,杜绝无授权篡改风险。

2. 实时风险冻结系统

模型运行全程后台持续监测指令逻辑、操作行为,一旦识别疑似恶意注入、越权访问、批量高危操作,系统会立刻冻结当前全部自动化任务,同步推送风险告警给管理员。
除此之外,谷歌针对提示词注入漏洞完成专项对抗训练,提升模型自主识别恶意指令的能力,从底层减少安全攻击突破口。

四、三大核心落地场景,看懂Gemini桌面智能体实际价值

原生计算机操作能力并非概念化功能,在企业办公、技术研发、数据运营场景具备明确落地价值:

1. 企业办公自动化

财务、运营岗位高频重复工作可交给AI自动执行:跨网站导出报表、填写线上申报表单、批量整理发票截图、同步多平台客户数据,解放人工重复操作。

2. 软件自动化测试

测试人员编写自然语言指令,AI自动打开软件、切换功能页面、输入测试数据、截图留存异常界面,自动生成测试报告,缩减版本迭代测试人力成本。

3. 跨平台数据统一处理

电商、新媒体行业需要同步多平台后台数据,AI可自动登录多网站、抓取商品、流量、评论数据,汇总至统一表格,解决多平台切换、手动复制数据的低效问题。

五、行业视角:大模型竞争彻底告别“参数内卷”,Agent执行能力成核心壁垒

结合2026年全球AI产品迭代节奏,本次谷歌Gemini 3.5 Flash升级释放出清晰行业趋势:

1. 行业竞争重心从模型参数转向真实执行能力

前两年各大厂商比拼参数量、长文本、数学推理跑分,如今单纯的文字问答能力已经无法拉开差距;能否操控电脑、浏览器、本地软件完成真实业务任务,成为区分产品竞争力的关键。

2. 系统级AI生态融合成为大厂统一布局方向

谷歌打通Gemini大模型与Chrome浏览器、桌面系统;百度整合文心5.1与在线Office、云盘;腾讯Marvis布局全端系统级远控AI,所有厂商都在推进大模型与终端系统深度绑定,打造可落地的生产力闭环。

3. AI Agent从概念走向规模化商用

过去桌面智能体仅停留在实验室演示,如今谷歌开放标准化API、配套安全管控、浏览器联动工具,企业开发者可低成本搭建商用自动化流程,AI数字员工正式进入规模化落地阶段。

六、对比旧版Gemini 2.5框架,3.5 Flash原生方案核心优势总结

  1. ‌原生内置能力,无需额外适配框架‌:省去大量二次开发代码,降低企业接入成本;
  2. ‌视觉识别一体化‌:直接读取屏幕画面,不用人工标注界面元素,适配任意软件、网页;
  3. ‌配套完整安全体系‌:双重风险管控机制,解决企业数据安全顾虑;
  4. ‌浏览器深度联动‌:Chrome 149素材一键导入,打通网页与桌面自动化链路;
  5. ‌轻量化高并发‌:Flash模型低延迟、低成本,支持长时间循环自动化任务。

结语

谷歌将计算机操作能力原生集成至Gemini 3.5 Flash,并淘汰老旧2.5测试框架,本质是完成AI从“文字问答工具”到“可自主执行任务的数字助手”的关键转型。

搭配同步更新的Chrome浏览器素材快捷调用功能与多层安全防护方案,这套组合方案为企业自动化、软件测试、数据运营提供了成熟可行的AI落地路径。随着更多开发者基于Gemini API搭建行业专属智能体,桌面端AI自动化的普及速度会持续加快。


AITOP100-AI资讯频道将持续关注AI行业新闻资讯消息,带来最新AI内容讯息。

想了解AITOP100平台其它版块的内容,请点击下方超链接查看

AI创作大赛 | AI活动 | AI工具集 | AI资讯专区 | AI小说

AITOP100平台官方交流社群二维码:

AITOP100平台官方交流社群二维码二维码

0
0
文章来源:AI TOP100
免责声明:本文不代表本平台立场,且不构成投资建议,请谨慎对待。
全部评论
暂无评论
相关AI工具
  • 谷歌Gemini
相关资讯
  • 布局东南亚出海赛道!AITOP100携全栈AIGC能力亮相ADSX 2026,打通全球AI内容商业化闭环

  • 从“看懂文字”到“读懂需求”!GPT-5.5 Instant重磅迭代,购物场景意图理解能力全面升级

  • GPT-5.6发布窗口锁定:150万Token上下文重塑AI Agent竞争格局

  • 谷歌Gemini核心负责人沙泽尔跳槽OpenAI:底层架构巨头流动重塑全球大模型竞争格局

  • 连接AI产业,链动全球未来——2026 GAIC全球人工智能大会

热点资讯

每日AI资讯-2026年6月22日

3天前
每日AI资讯-2026年6月22日

每日AI资讯-2026年6月23日

2天前
每日AI资讯-2026年6月23日

一夜用了多少Token,谁能说清?

9天前
一夜用了多少Token,谁能说清?

字节火山引擎FORCE原动力大会开幕:豆包付费会员体系全面上线,字节AI商业化按下加速键

2天前
字节火山引擎FORCE原动力大会开幕:豆包付费会员体系全面上线,字节AI商业化按下加速键

AI内容共创计划5月奖励公示|12篇原创扎实上线,质量导向解锁更高积分福利!

7天前
AI内容共创计划5月奖励公示|12篇原创扎实上线,质量导向解锁更高积分福利!
分享
0
0

欢迎来到AI Top100!我们聚合全球500+款AI智能软件,提供最新资讯、热门课程和活动。我们致力于打造最专业的信息平台,让您轻松了解全球AI领域动态,并为您提供优质服务。

合作伙伴
联系我们
加入AITOP100社群
加入社群
AITOP100商务微信
商务微信
相关链接
服务及隐私政策
网站地图
关于我们
粤ICP备2022124843号-2粤公网安备44030002004505广播电视节目制作经营许可证:(粤)字第00712号Copyright © 华强方特(深圳)动漫有限公司 版权所有