🔔科技频道[奇诺分享-ccino.org]⚡️
3 小时前
爱范儿
OpenAI 自研「辣椒芯片」首测超英伟达,会让 ChatGPT 更便宜吗?
Telegraph
|
原文
Telegraph
OpenAI 自研「辣椒芯片」首测超英伟达,会让 ChatGPT 更便宜吗? - 爱范儿
做芯片很难,第一代产品就做到有竞争力更难。OpenAI 这次交出的答案,至少在大模型推理这件事上,已经足够夸张。 今天,OpenAI 正式公布了其首款定制推理芯片 Jalapeño(墨西哥辣椒)的首批实测性能数据。 在基于自己开源模型 GPT-OSS 120B 的公开基准测试 InferenceX 上,Jalapeño 的每千瓦峰值吞吐量和 Token 延迟都比现有的硬件系统表现要好。 要知道,对大多数芯片来说,吞吐和延迟往往是一道只能二选一的难题。而除了针对 OpenAI 的大模型优化明显,芯片在 670B…
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia