等不及了！日本开发者手搓“Qwen4”，Prefill速度提升近3倍

前天，日本开发者Ryu在X平台宣布，自己基于阿里通义的Qwen3.8-27B模型，开发出了一个名为Qwen3.8-27B-QSA的改造版本。

他已经在GitHub上公开了配套的llama.cpp推理引擎，并在Hugging Face上提供了不同精度的模型文件。

他在帖子中写道：

由于Qwen4迟迟没有发布，我自己制作了Qwen3.8 27B-QSA！

这款模型大幅改善了长上下文场景下的Prefill速度和Decode速度。

它引入了Qwen3.8-Flash-Next采用的QSA技术。

这也是Qwen4将包含的一项重大改进！

在大多数情况下，它能够保持与原始模型相近的性能，同时改善速度下降的问题。

Qwen4可能再过几天就会发布，大家可以提前体验一下Qwen4的技术！

在长代码仓库、复杂文档分析以及长时间运行的Agent任务中，模型虽然能够容纳大量Token，但实际推理速度会随上下文的增加明显下降。

Qwen Sparse Attention（QSA）正尝试缓解这一问题。

QSA通过一个轻量级学习索引器，先将历史上下文压缩成细粒度信息块，再根据相关性筛选出重要的信息块，最终只对被选中信息块内的全部Token进行注意力计算，从而减少长上下文场景下的计算开销。  

Ryu开源的Qwen3.8-27B-QSA，在原始模型基础上，为16个全注意力层引入了QSA索引器，以每4个Token为一个选择单元，并采用2048 Token的固定选择预算。另外48个Gated DeltaNet层则保持原有结构。

原始Qwen3.8-27B（左）与采用16个学习索引器的QSA适配版本（右）。

根据项目公布的对照实验，在约26.1万Token的输入长度下，QSA版本的冷启动Prefill速度达到1071.53 tok/s，而原始全注意力版本为366.84 tok/s，提升约2.92倍。

在Decode阶段，QSA版本达到41.07 tok/s，相比原始版本的22.91 tok/s，提升约1.79倍。

在模型质量方面，开发者也进行了初步验证。

在32766 Token的文本困惑度测试中，原始模型为7.072960，QSA版本为7.071384，二者非常接近。

在DocVQA测试中，两个版本均取得50/50的成绩。

另有一位开发者PentaCoxian，基于Qwen3.8-27B-QSA开发了量化版本，并公布了测试成绩：在约25.5万Token上下文长度下，解码速度仍达到约115 tok/s，冷启动Prefill速度达到2375 tok/s，峰值显存占用仅22.8GiB。

从Ryu率先将QSA引入Qwen3.8-27B，到其他开发者继续制作量化版本、探索更高的推理速度，这项社区改造已经开始吸引更多开发者参与。