Kimi-K3 现已在 Frontend Code Arena 中排名 #1，得分为 1679 分，超越了 Claude Fable 5。
这是从 Kimi-k2.6 (#18) 跳升至 #1，提升了 17 位。
在 Frontend 领域，Kimi-K3 在 7 个领域中排名前 1，包括品牌与营销、基于参考的设计、数据与分析、消费产品、模拟和内容创作工具，仅在游戏领域排名 #2，落后于 Fable 5。
完整模型权重将于 7 月 27 日发布。
Kimi K3：开放前沿智能
🔹 2.8 万亿参数，100 万上下文，原生多模态
🔹 Kimi Delta 注意力机制可在百万级 token 上下文中实现高达 6.3 倍的解码加速
🔹 注意力残差技术可在增加不到 2%成本的情况下，将训练效率提升 25%
🔹 为长时程智能编码和自进化工作流而设计
Kimi K3 现已在 http://Kimi.com 上线，包括 Kimi Work、Kimi Code 和 Kimi API。
K3 基于 Kimi Delta 注意力（KDA）和注意力残差（AttnRes）构建，这两种架构更新旨在改进信息在序列长度和模型深度中流动的方式。
我们还增加了专家混合（MoE）的稀疏性，在与稳定潜在 MoE 框架配合时，有效激活了其中的 16 个专家中的 896 个。
连同精细化的训练和数据配方，这些结构变化使得整体扩展效率比 K2 提高了大约 2.5 倍，使模型能够更有效地将计算转化为智能。
Kimi K3 使用 Three.js WebGPU 和 GPU 计算构建了一款完全程序化的基于浏览器的 3D 探索游戏。它通过程序生成环境，并使用 3D 资源生成工具创建骑手和马匹模型，最终呈现出一个包含森林、木屋村庄、雪山和动态天气的广阔开放世界。使用的外部资源包括：动画牛仔和马匹模型以及地形数据。
Kimi K3 设计了一款芯片，用于服务于基于其自身架构构建的纳米模型。在一次 48 小时的自主运行中，K3 使用基于 Nangate 45nm 库的开源 EDA 工具构建、优化并验证了该芯片。该芯片面积仅为 4 平方毫米，在 100MHz 频率下实现了闭环时序，并在仿真中保持了超过 8700 个令牌/秒的解码吞吐量，集成了 146 万个标准单元、0.277MB 的 SRAM 以及一个带有融合反量化功能的 INT4 MAC 阵列。这款由模型构建、服务于模型的芯片，体现了 K3 的长远智能体能力。
架构和基础设施
Kimi K3 基于 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 构建。KDA 为扩展注意力机制提供了高效的基础，而 AttnRes 则选择性地从不同深度提取表征，而非均匀地累积它们。它们共同构成了模型的架构骨架，该模型旨在扩展到远超万亿参数的规模。
Kimi K3 使用稳定潜在矩阵均衡器 (Stable LatentMoE)，有效激活了 896 位专家中的 16 位。在这种稀疏度下，路由和优化成为首要挑战。分位数平衡直接从路由得分分位数中分配专家，消除了启发式更新和对平衡超参数的敏感性；而 Per-Head Muon 通过独立优化注意力头来扩展 Muon，从而实现更大规模的自适应学习。Sigmoid Tanh Unit (SiTU) 和门控 MLA 分别改进了激活控制和注意力选择性。这些进步共同实现了在 2.8 万亿参数规模下稳定高效的训练。
Kimi K3 从 SFT 阶段开始应用量化感知训练，使用 MXFP4 权重和 MXFP8 激活函数以实现广泛的硬件兼容性。为了防止专家不平衡导致大规模专家并行训练的吞吐量下降，我们引入了一种完全平衡的专家并行训练方法，该方法采用静态形状，且关键路径上无需主机同步。由于推理效率同样受益于更大的高带宽通信域，我们建议将 Kimi K3 部署在配备 64 个或更多加速器的超级节点配置上。最后，由于 KDA 对传统的前缀缓存提出了新的挑战，我们已向 vLLM 社区贡献了相应的实现，该实现将与模型一同发布。KDA 配合预填充缓存，使我们能够以极具竞争力的代币价格提供 Kimi K3，即使其规模庞大且上下文时间较长。
