🔔科技频道[奇诺分享-ccino.org]⚡️
1 小时前
IT之家
英特尔面向四至六代至强处理器推出推理微服务:自动检测硬件并配置 vLLM 参数
Telegraph
|
原文
Telegraph
英特尔面向四至六代至强处理器推出推理微服务:自动检测硬件并配置 vLLM 参数 - IT之家
IT之家 10 月 14 日消息,英特尔今日宣布推出 Intel Inference Microservices 服务,这是一套面向大语言模型推理的容器化微服务方案,目标是让企业在已有的至强处理器上直接获得经过调优的模型推理能力,无需再花费数天时间进行手动硬件优化。 在该模式下,每个微服务都是一个独立容器,通过 OpenAI 兼容 API 对外提供单个模型的服务,并在启动时自动检测所在的英特尔处理器型号,应用英特尔针对该模型和该硬件预先验证过的配置参数。 英特尔指出,让大语言模型给出回复并不困难,难的是…
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia