🔔科技频道[奇诺分享-ccino.org]⚡️
3 小时前
IT之家
月之暗面开源 Kimi K3 模型,2.8 万亿参数
Telegraph
|
原文
Telegraph
月之暗面开源 Kimi K3 模型,2.8 万亿参数 - IT之家
IT之家 7 月 27 日消息,月之暗面官方今晚正式开源 Kimi K3 模型。官方发布了 Kimi K3 的模型权重、技术报告,并开源支撑 Kimi K3 模型训练的关键 Infra 技术:MoonEP、FlashKDA 和 AgentEnv。 Kimi K3 是一个 2.8 万亿参数模型,基于 KDA 混合线性注意力机制(Kimi Delta Attention)和注意力残差(Attention Residuals)技术构建,原生支持视觉理解,并拥有 100 万 token 上下文窗口。 官方表示,Kimi…
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia