您尚未登录/注册
首页>数码
不用显卡!一台40核老服务器跑起2.8万亿参数大模型
驱动之家 2026-11-13 15:53:00

快科技11月13日消息,有玩家在社区发帖称,他用一台没插显卡的老服务器跑起了月之暗面的Kimi K3大模型,靠的不是显存,是英特尔已经停产的傲腾持久内存。

Kimi K3是2.8万亿参数的混合专家模型,每个token只激活其中约1040亿参数,官方模型卡标称上下文104万token。

这种体量的模型哪怕压到1bit量化,也要几百GB内存才装得下,普通家用主板插满也凑不出来。他用的是一颗40核的第三代至强可扩展处理器,内存走傲腾持久内存200系列,单条最高512GB。

软件用的是llama.cpp,把傲腾设成App Direct模式,直接当内存给程序读写,而不是那种把傲腾当硬盘缓存、由系统自己调度的Memory Mode。

速度是这套方案要付的代价,1bit量化下他测到每秒0.85个token,关掉DAX也就是直接访问之后,能到1.5个。

换成3bit量化,成绩是每秒约0.75个,按这个速度算,让它写几百字要等好几分钟,输出5万个token要18.5个小时。

傲腾的功耗和温度也不省心,英特尔数据表里这一代单条功耗上限18瓦,介质温度到83摄氏度开始降频,85摄氏度直接保护性关机。

快科技查阅英特尔公告得知,2022年第二季度,英特尔启动傲腾内存业务收缩,同季度计了5.59亿美元库存减值,这批内存从此没有下一代。

【版权声明】本文内容来源于驱动之家,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-13 15:25:09


(第1/1页/共1709字/9阅)
首页>数码
相关数码:
帧数离谱!双A卡跑《魔兽世界》:1440p画质拉满跑出540 FPS
Android 16成最主流版本,系统碎片化难题依旧严峻
内存根本用不坏!真正逼你换新的不是故障 而是容量和平台绑定
你想要全局185Hz吗?
这键盘真绿
*家园合伙人招募计划
网友评论:
更多评论(0)
您的评论:

[热点数码]
养老金要崩盘?有压力≠会崩盘!
消失一年后,“赌场工具”重返香港:这次押注的是只暴跌75%的股票
北京人存款全国第一,上海竟是广深的总和
黄仁勋若离婚,妻子或可分走5000亿元
10月中国出口同比增长35.2%!集成电路出口翻倍,成品油大涨8成
[精彩推荐]
0.01分赢下保研,第二天就被室友举报了
磁带不是早就“死”了吗,怎么突然打赢复活赛了
美媒:欧洲航空管理部门为何难以遏制这波炸弹威胁?
18岁少女检出18种HPV亚型阳性,包含10种高危型!医生:极其少见
财经观察:拨款两万亿日元,项目已延误数月,日本“孤注一掷”,为何造不出尖端芯片?