小清一号 2026-11-07 08:13:27
部分大语言模型采用线性注意力机制，它可以将历史信息累积在一个固定大小的记忆状态中。这一方法可将计算复杂度降为O(N)，缺点是关键信息容易被淹没。EMNLP 2026的一篇最佳论文提出一种方法：它首先计算K的协方差，再根据这一协方差调整查询向量Q的方向，使Q对K的查询更为可靠。在13亿参数模型的4K“海里捞针”测试中，模型的准确率从47.8%提升至96.8%。
参考文献：Le D, Nguyen T, Nguyen C D, et al. Don’t Read Everything: A Curvature-Conditioned Query for Linear Attention. EMNLP 2026.
【版权声明】本文内容来源于小清一号，版权归原作者及原媒体所有。本站仅作信息分享，不构成任何商业用途；如涉版权问题，请联系本站删除。
发布时间：2026-11-06 10:36:28
(第1/1页/共975字/2阅)