Chrome团队近日宣布了一项创新举措,他们正在探索将AI模型直接集成到浏览器中的概念。这意味着,浏览器将内置AI模型,以便在设备上启用AI,支持各种浏览器功能和网络平台API。作为这一计划的一部分,Chrome将推出Gemini Nano,这是Gemini系列中体积最小的版本,它可以在大多数现代设备上本地运行。
最新的Chrome浏览器已经开始内测内置的Gemini Nano大语言模型,这个模型能够执行多种任务,并且能够完全在本地运行和离线免费使用。用户可以通过加入早期预览版计划来体验这些处于早期阶段的内置AI API。
内置AI为Web开发者带来了一系列优势,包括易于部署、能够使用硬件加速功能等。在设备上运行AI模型的好处包括能够本地处理敏感数据、提供流畅的用户体验、提高对AI的访问权限以及能够在离线状态下使用AI功能。这些创新将使Chrome浏览器成为一个更加强大和智能的工具,为用户和开发者带来更多的便利和可能性。
重要提示 :
使用 Gemini Nano 实现内置 AI 是一项实验性功能,具体情况将随着谷歌团队的测试和解决反馈而发生变化。
内置AI技术为Web开发者带来的优势主要体现在以下几个方面:
内置AI技术不仅降低了部署复杂度,还提升了应用的运行效率,为Web开发者提供了一个更加高效、便捷的开发环境
1. 简化部署流程:内置AI允许浏览器自行处理模型的分发和更新,考虑到了设备的性能特点。这极大地减轻了开发者的负担,无需担心大型模型的下载或更新问题,以及相关的存储空间、内存预算和传输成本等复杂问题。
2. 利用硬件加速:内置AI的浏览器运行时针对硬件加速进行了优化,能够充分利用GPU、NPU等硬件资源,或者在必要时代替使用CPU。这样的优化确保了应用能够在各种设备上以最佳性能运行。
使用设备上的内置AI,执行AI任务变得简单而高效,从而带来了多重好处:
- 增强隐私保护:设备端AI允许在本地处理敏感数据,通过端到端加密等技术增强用户隐私保护。这样,用户可以放心使用AI功能,而无需担心数据泄露风险。
- 优化用户体验:由于AI任务在设备上本地执行,减少了与服务器的往返通信,能够提供快速响应和流畅的交互体验。这对于需要即时反馈的应用来说至关重要。
- 提高AI功能的访问性:设备端AI使得用户即使在处理能力有限的设备上也能享受到高级AI功能。这为潜在客户提供了体验产品优势的机会,而无需承担额外成本。
- 管理推理成本:通过设备端AI,可以有效地管理推理成本,尤其是对于那些经常使用AI功能的用户群体。这种混合方法有助于平衡性能和成本。
- 离线AI功能的使用:内置AI使得网站和Web应用即使在离线状态或网络连接不稳定的情况下也能正常运行,确保用户能够在任何环境下使用AI功能。
浏览器架构和 API
为了在Chrome浏览器中实现内置AI功能,我们构建了一套基础设施,专门用于在设备端运行基础模型和专家模型。这套基础设施已经支持了Chrome中的创新浏览器功能,并且即将推出用于设备端AI的API。
开发者将主要通过任务API来使用内置AI功能,这些API能够根据任务的需求分配最适合的模型进行推理。在Chrome中,这些API被设计成通过微调或专家模型针对Gemini Nano运行推断。Gemini Nano是一个高度优化的模型,能够在大多数现代设备上本地运行,特别适合处理与语言相关的任务,如摘要、重新表述和分类。
通过这些API,开发者可以轻松地将AI功能集成到他们的网站和Web应用中,享受设备端AI带来的便利和性能优势。
使用内置AI带来的好处
内置AI技术将为用户带来一系列显著的益处,具体表现在以下两个方面:
- 提升内容消费体验:内置AI技术能够通过自动生成摘要、实时翻译、回答内容相关问题、智能分类和特征提取等功能,增强用户对内容的理解和消费体验。
- 促进内容创作效率:AI辅助的内容创作功能,如写作辅助、自动校对、语法纠正和内容重新表述,将大大提高创作者的工作效率,使得内容创作过程更加便捷和高效。
申请地址:
AITOP100平台资讯专区: https://www.aitop100.cn/infomation/index.html