文章提炼:
1.鹏城实验室:“鹏城·脑海”通用AI大模型
2.参数级别:该模型拥有 2000 亿参数,采用稠密型架构,并全程在“鹏城云脑 II”国产化 AI 算力平台上进行预训练。
3.“鹏城·脑海”通用AI大模型目前版本:基础版(未来还将陆续发布进阶版、专业版等各个阶段的版本)
4.“鹏城·脑海”开源地址:https://openi.pcl.ac.cn/extension/mind
华为全联接大会 2023 于 9 月 20 日至 22 日在上海成功举办。在这次大会上,鹏城实验室主任、中国工程院院士高文正式推出了“鹏城·脑海”(PengCheng Mind)通用 AI 大模型。这一新型 AI 大模型以国产化基座大模型为新一代 AI 大模型发展奠定了新的基础。
高文院士在会议上详细介绍了“鹏城·脑海”通用 AI 大模型。该模型拥有 2000 亿参数,采用稠密型架构,并全程在“鹏城云脑 II”国产化 AI 算力平台上进行预训练。此外,它还使用了 MindSpore 昇思国产化深度学习框架,优化了大规模并行训练策略、底层算子性能和容错机制,显著提升了国产算力平台的训练效率。
鹏城实验室官网信息显示,本次发布的是中文基础版的“鹏城·脑海”。该版本将向全社会开源,未来还将陆续发布进阶版、专业版等各个阶段的版本,以满足我国不断增长的数字化转型需求,推动我国人工智能产业的快速发展,并为全球人工智能变革提供来自东方古国的选择。
在广东省和深圳市的统一部署下,鹏城实验室联合国内外文局、华为、腾讯等战略合作伙伴,聚焦 AI 核心器件、算力设施、模型算法、训练系统等关键环节,持续推进“鹏城·脑海”大模型核心技术攻关。
高文院士还透露,鹏城实验室正在研制“中国算力网”(China Computing Network,C2Net)全国一体化算力协同计算调度平台。该平台以深圳为总调度中心,已汇聚全国协同算力达 3E 规模。通过“算力网算力调度 + 模型赋能”的方式,推动国产化 AI 大模型的持续演进与部署应用,最终打造一个基于“中国算力网”的各类领域 AI 大模型及应用生态的数字化基座。
鹏城实验室还将牵头成立“鹏城·脑海”开源联合体,与企业、高校和科研院所广泛合作,通过全新的开源群智合作模式,提供覆盖压缩、部署、微调与价值对齐等环节的模型工具,并加强大模型的开源管理与资源共享,助力千行百业插上人工智能的“翅膀”。