DeepSeek V3模型的横空出世
DeepSeek V3模型的问世在全球范围内引发热议。该模型仅用557.6万的训练成本,便实现了与OpenAI O1推理模型相近的性能,这无疑是一个巨大的突破。然而,这一成就也引发了市场对芯片需求的担忧。1月27日,英伟达股价一度下跌17%,市值蒸发6000亿美元。一部分投资人担心,DeepSeek的出现会减少市场对先进芯片的需求,但科技圈也普遍存在另一种观点:一个高性能、低成本和开源的大模型会带来整个应用生态的繁荣,反而会利好英伟达的长期发展。
这两种观点相互博弈,左右着市场情绪。Inference.ai创始人兼CEO John Yue认为,DeepSeek冲击了英伟达的两大壁垒——NVLink与CUDA,但这并未完全冲垮这些壁垒。
加州大学戴维斯分校电子计算机工程系助理教授、AIZip的联合创始人陈羽北,以及Inference.ai创始人兼CEO John Yue深入解读了DeepSeek的核心技术创新及其对芯片市场的影响。
DeepSeek的核心技术创新
陈羽北认为,DeepSeek的核心创新在于其基础模型DeepSeek V3本身的能力。在R1 Zero未经过强化学习时,其生成内容的成功率已达到约10%,这是一个非常显著的提升。
DeepSeek采用GRPO(分组相对策略优化)方法,但也有人提出使用PPO等其他强化学习方法也能达到类似效果。这表明,当基础模型的能力达到一定水平后,通过合适的奖励函数,便可以通过类似搜索的方法实现自我提升。
DeepSeek V3主要集中在模型架构效率的提升上。其中,混合专家网络(MoE)的负载均衡优化,以及Attention Layer上对键值缓存(KV Cache)的节省,是其核心创新。在DeepSeek R1 Zero中,首先设计了一个基于规则的奖励函数,确保数学题的答案和回答格式都完全正确。通过生成100条回答并筛选出正确答案,来增强正确回答的比重,从而绕过了强化学习中最难处理的稀疏奖励问题。
另一个创新是让大模型训练小模型。DeepSeek先训练一个600多B的大模型,通过自启发式回答问题,用自我引导(Bootstrap)方法逐渐提高能力。然后,用这个大模型来教导小模型,提升小模型在相关问题上的表现。
DeepSeek对英伟达的影响:机遇与挑战并存
John Yue认为,DeepSeek的出现对英伟达来说是一把双刃剑。从积极的方面来看,DeepSeek的出现激发了人们对AI的想象空间,给了更多初创企业探索应用层面的信心。如果有更多人开发AI应用,就需要购买更多的GPU。
但从消极的方面来看,DeepSeek确实冲击了英伟达的溢价。英伟达拥有两大壁垒:一是Infiniband芯片互联技术,二是CUDA图形计算统一架构。DeepSeek在一定程度上削弱了这两大壁垒的重要性。
MoE的优化削弱了对芯片互联的需求,而绕过CUDA,直接使用PTX进行优化,则降低了对英伟达显卡,尤其是最先进显卡的需求。然而,John Yue强调,DeepSeek并未完全绕过CUDA的生态,只是可以直接调用更底层的库,但这仍是一个巨大的工程。
尽管短期内AMD可能受益于DeepSeek的移植,但长期来看,英伟达仍占据优势。CUDA是一个通用的GPU调用系统,而DeepSeek的做法只支持自身模型。如果出现新的模型,还需要重新适配。因此,CUDA的通用性仍然是其核心竞争力。
John Yue认为,DeepSeek动摇了英伟达的两大核心壁垒,但并未完全撼动,目前英伟达的壁垒仍然坚挺。DeepSeek降低了训练成本,激发了AI从业者的热情,可能会导致溢价降低但销售量增加。至于最终市值的增减,取决于应用的发展情况。
John Yue还认为,推理芯片领域未来也将是英伟达的天下。ASIC公司面临软件支持不足和硬件缺乏壁垒的问题,而英伟达在CUDA生态系统上的优势难以撼动。
开源生态:降低AI应用的准入门槛
DeepSeek选择开源对整个AI行业是一件好事。开源可以降低进入行业的门槛,激发更多AI应用的诞生。DeepSeek开源后,开发者可以更有信心地进行应用开发,而不必担心被闭源模型所取代。
开源模型在性能上已经与OpenAI的o1不相上下。当开源模型性能足够好时,OpenAI等闭源模型的意义将在于其管理优势。闭源模型仍然会是领先的趋势,开源的意义在于像安卓一样,谁都可以用,非常便宜,从而推动整个行业蓬勃发展。
陈羽北认为,开源生态对于整个社区至关重要,因为它降低了AI应用的准入门槛。Meta的LlaMA也一直在坚持开源构建,为开发者提供了一个构建应用的Foundation。
API价格下降与小模型的想象空间
DeepSeek从上到下对整个系统进行了优化,从而降低了API接口的价格。其中最重要的一点是,它可以降低对芯片的要求,用稍微低端一些的芯片运行,降低了每个Token的成本。
John Yue认为,未来可能会更多地使用虚拟化GPU来降低成本。依靠老卡和游戏卡是不现实的,因为英伟达有黑名单机制,不允许用游戏卡正式部署这些模型,而且老卡存在停产和维护问题。
陈羽北则认为,小模型在过去一段时间内进展迅速,这可能会带来一场变革。未来,大量小语言模型、视觉语言模型等能力可能会越来越多地出现在曾经不会被用到的平台上,比如智能手表、智能眼镜等。这将降低成本、提高AI的可用性。未来AI的基础设施应该是分层的,形成端-边-云的完整体系。边缘端和终端设备上90%到99%的数据都“用掉就丢”,如果利用AI功能进行筛选,则有巨大的价值。初级AI模型可以作为大模型的一种数据压缩工具。
陈羽北认为,选模型关键在于效率和质量。模型必须运行快速,体积要小,同时还要胜任它要处理的任务。
提问DeepSeek:数据与持续创新能力
陈羽北希望DeepSeek能披露更多数据构成和训练细节,让其他人更容易复现其工作。John Yue则更关注DeepSeek是否能持续给大家惊喜,继续挑战OpenAI。只有不断创新,才能巩固其地位,并对芯片和基础设施领域的格局产生真正的影响。
DeepSeek AI工具地址:【点击登陆】