DeepSeek大模型热潮下的算力需求井喷
近期,“服务器繁忙,请稍后再试”成为DeepSeek用户的常态,反映出市场对DeepSeek模型需求的爆发式增长。 为了应对API调用的不稳定,越来越多的企业开始探索私有化部署方案。
DeepSeek大模型一体机:私有化部署的新选择
在数据安全和隐私日益重要的背景下,DeepSeek大模型一体机应运而生,成为企业私有化部署的新选择。市场上涌现出多种DeepSeek大模型一体机方案,包括中国电信推出的息壤智算一体机-DeepSeek版、京东云发布的DeepSeek大模型一体机以及华鲲振宇的解决方案。 这些一体机通常提供推理和训推两种类型,内置不同尺寸的DeepSeek-R1模型,价格从几十万到数百万不等。
根据《科创板日报》的报道,DeepSeek推理一体机主要面向对数据安全敏感的企业用户,内置DeepSeek-R1 32B、70B、满血版671B等模型,价格不菲。训推一体机则用于DeepSeek-R1 32B模型的预训练和微调,价格更高,达到数百万级别。
私有化部署:从4090显卡到专业一体机
一些企业已经开始尝试使用英伟达4090显卡部署DeepSeek-R1 32B到70B的模型。有企业信息化部门人士表示,最初尝试安装70B模型,但一张4090显卡无法运行,最终选择了32B模型。 另一位IT人士也表示,通过英伟达显卡部署DeepSeek模型可以运行业务,但并发用户达到100人左右时速度明显下降,适合内部知识库应用,更复杂的应用场景需要专业一体机。
云厂商积极响应,私有化部署需求激增
DeepSeek爆火后,众多云厂商接到了大量用户咨询。 企业用户通常先在公有云上测试模型的适配性,再考虑私有云部署或一体机等形式。 优刻得相关负责人表示,DeepSeek开源模型适配完成后,云上访问量和用量激增。他们还陆续收到基于DeepSeek开源模型的私有化部署需求,包括一体机化、专有云化、全面国产化等场景。
数百万投资成本:企业面临的挑战
尽管私有化部署能够满足企业对数据安全的需求,但大模型一体机的硬件投入高达百万级别,成为不少企业面临的难题。 中国电信的息壤智算一体机-DeepSeek版分为训推一体机和推理一体机,有入门型、通用型、增强型等不同配置,售价从几十万到数百万不等。满血版推理一体机优惠价近600万元,训推一体机价格更高。京东云的DeepSeek大模型一体机售价也在几十万到几百万不等。
有大型企业信息化负责人表示,他们倾向于私有化部署,但目前大模型一体机的投入产出性价比不高,因此暂缓了相关计划。
应用场景是关键:经济价值决定市场前景
IT业内人士普遍认为,DeepSeek大模型的优势在于开源和低成本,通过国产芯片算力可以加速AI大模型在中国的应用落地。但市场发展需要更大的应用突破。“决定AI在企业中应用深度和广度的不是模型价格,而是如何将内部知识加载进去在应用层面广泛接入的问题。” 大模型一体机主要解决数据隐私问题,关键在于其应用价值。
运营商云相关负责人认为,医疗、教育等领域的工程化项目,如智慧医疗、智慧教育、智慧农业,可能会将一体机部署在客户现场,接入相关行业场景的知识库,训练出与应用场景密切结合的AI模型,并集成到应用环境中,为B端企业提供服务。
国产算力:能否支撑DeepSeek满血版部署?
DeepSeek大模型一体化方案越来越多地采用国产算力芯片。中国电信的息壤智算一体机-DeepSeek版以华为昇腾芯片为基础,提供多种规格。联想集团与沐曦联合发布基于DeepSeek大模型的一体机解决方案。京东云的DeepSeek大模型一体机支持华为昇腾、海光、寒武纪、摩尔线程、天数智芯等国产AI加速芯片。
优刻得相关负责人表示,他们已同多家国产芯片厂商完成了对DeepSeek满血版和蒸馏版开源模型的适配工作。“从测试用户结果来看,现在可以用起来了。后续优刻得也会继续同国产芯片公司合作,在能用的基础上要进行优化达到好用,通过使用量的扩大降低成本,实现便宜用,提升全国产的体验。”
该负责人也指出,由于市场使用惯性,英伟达GPU卡仍为当前中大型AI公司的使用主流卡型。 AI基础设施业内人士表示,主流国产芯片已基本实现对DeepSeek蒸馏版小模型的兼容支持,但满血版V3和R1对硬件的要求大幅提升,需要在推理的解码部分部署320个GPU才能实现完全的专家并行。
“各家芯片企业都会开展DeepSeek满血版的适配,但是否真正能够在几百张卡上跑起来,并达到比较好的token速率和性价比,这是关键。后续各家芯片的比拼就要高下见分晓了。”
目前由于访问人数较多导致DeepSeek服务器超负荷,大家可以从另外2个渠道去使用,不会卡:
渠道一:硅基流动(SiliconFlow):AI人工智能云服务平台
DeepSeek官网下载: 【点击登录】