月之暗面 K1.5 模型研发思路揭秘
近日，月之暗面研究员 Flood Sung 发表长文，深度解析了 K1.5 模型的研发理念，并深入反思了 OpenAI o1 模型的技术启发。
Long-CoT 的早期验证
据 Flood Sung 透露，早在一年多前，月之暗面联合创始人 Tim 周昕宇 就验证了 Long-CoT (长链条思维) 的重要性。通过使用小型模型训练多位数运算，并将细致的运算步骤转化为长链条思维数据进行 SFT (有监督微调)，能取得显著的优化效果。
成本与技术方向的考量
此前，出于成本考虑，月之暗面将重心放在了 Long Context (长文本输入) 的优化上。 Flood Sung 解释说，Long Context 主要处理输入端，借助 Prefill 预填充和 Mooncake 技术，可以有效地控制成本和速度。相比之下，Long-CoT 侧重于输出端，需要更高的运算成本和更长的处理时间。
OpenAI o1 的启发与策略调整
OpenAI o1 模型的发布促使团队重新审视了技术方向的优先顺序。“性能至关重要，” Flood Sung 强调，“成本和速度会随着技术进步而持续优化，关键在于首先实现性能突破。” 基于这一新的认知，月之暗面已开始全面推进 Long-CoT 的研发，致力于让模型拥有更接近人类的自由思考能力。
系统性对标 OpenAI o1 模型
此次技术解析文章的发布，标志着月之暗面已开始系统性地对标 OpenAI o1 模型，并在相关技术领域展开实质性的探索和研究。
Kimi AI软件官网：【点击登录】
