您尚未登录/注册
首页>数码
越狱PS4成功本地运行90亿参数大模型
IT时代网 2026-11-17 00:26:29

IT时代网11月16日消息,有开发者让2013年发售的PS4游戏主机在越狱后本地运行了一个90亿参数的大语言模型,文字对话速度达到每秒31至39个token,代码生成最高可达每秒43个token,全程无需PC也无需联网。

该项目名为Garlic LLM,名字取自PS4 GPU直接读取的Garlic内存,需要在运行GoldHEN自制系统的越狱主机上使用。模型包大小5.66GB,可在Hugging Face免费下载,通过主机的软件包安装器安装,开发者在固件11.52的标准版和Slim版PS4上完成了测试。

主模型为阿里巴巴开源的Qwen3.5-9B,配合Chatterbox语音模型可实现七种语言的语音对话,按住手柄按键还能借助0.6B参数的语音识别模型进行听写,支持25种欧洲语言。为了把90亿参数塞进主机8GB共享内存,项目对权重采用4比特与3比特混合量化,整体占用约4.5GiB,注意力缓存同样4比特量化,可容纳1.6万token上下文,全部组件合计5.62GB。

技术上,该项目没有使用llama.cpp或Vulkan驱动移植,模型矩阵运算内核以OpenCL C编写,面向AMD GCN架构编译,由CPU侧负责分词、界面与音频,再通过底层命令缓冲区直接驱动GPU。性能表现还得益于Qwen3.5自带的多token预测头,可一次向前推测最多两个token再由完整模型验证,这是其在2013年硬件上仍有可用速度的关键。

编辑:张智超

【版权声明】本文内容来源于IT时代网,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-16 23:19:19


(第1/1页/共1230字/5阅)
首页>数码
相关数码:
惠普推ZGX GB300 AI工作站配496GB内存
飞利浦发布Evnia 27M2D5901A显示器:2K/5K双模高刷,可联动智能照明设备
Mac 长截图总是一半就中断?这款截图「神器」更新后有惊喜
曝华为大折叠Mate X8折痕表现有提升,预计11月下旬发布
首款鸿蒙小折叠电脑!华为MateBook Fold S开启预售
*QQ家园G币、元宝获取通道
网友评论:
更多评论(0)
您的评论:

[热点数码]
养老金要崩盘?有压力≠会崩盘!
消失一年后,“赌场工具”重返香港:这次押注的是只暴跌75%的股票
北京人存款全国第一,上海竟是广深的总和
黄仁勋若离婚,妻子或可分走5000亿元
10月中国出口同比增长35.2%!集成电路出口翻倍,成品油大涨8成
[精彩推荐]
0.01分赢下保研,第二天就被室友举报了
磁带不是早就“死”了吗,怎么突然打赢复活赛了
美媒:欧洲航空管理部门为何难以遏制这波炸弹威胁?
18岁少女检出18种HPV亚型阳性,包含10种高危型!医生:极其少见
财经观察:拨款两万亿日元,项目已延误数月,日本“孤注一掷”,为何造不出尖端芯片?