AI Stack

TAGS / TERM

注意力机制

共 66 篇

  1. Transformer QKV投影变体对比研究 2026-06-05 · HACKER_NEWS
  2. DashAttention：可微分自适应稀疏分层注意力 2026-05-20 · ARXIV
  3. Transformer架构：注意力机制如何支撑BERT与GPT模型 2026-05-04 · JUEJIN
  4. 大模型In-context Learning：看例子而非真正学习 2026-04-20 · JUEJIN
  5. Mixture-of-Depths 动态分配计算资源的注意力机制 2026-03-18 · ARXIV
  6. Mixture-of-Depths 动态分配计算资源的注意力机制 2026-03-17 · ARXIV
  7. LLM 架构画廊：主流大语言模型结构概览 2026-03-16 · HACKER_NEWS
  8. BiGain：面向生成与分类任务的统一令牌压缩 2026-03-16 · ARXIV
  9. BiGain：面向生成与分类任务的统一令牌压缩方法 2026-03-15 · ARXIV
  10. Ulysses序列并行技术支持百万级Token上下文训练 2026-03-10 · BLOGS_PODCASTS
  11. Ulysses序列并行：支持百万Token上下文训练 2026-03-09 · BLOGS_PODCASTS
  12. 基于全节点注意力机制的可扩展机器学习势函数构建方法 2026-03-09 · ARXIV
  13. 大规模激活与注意力槽的机制解析 2026-03-09 · ARXIV
  14. 大模型激活与注意力下沉机制解析 2026-03-08 · ARXIV
  15. 大模型激活机制研究：尖峰、稀疏性与注意力汇 2026-03-07 · ARXIV
  16. 大模型激活与注意力下沉机制解析 2026-03-06 · ARXIV
  17. 多头低秩注意力机制 2026-03-04 · ARXIV
  18. 多头低秩注意力机制 2026-03-03 · ARXIV
  19. DySCO：面向长上下文大模型的动态注意力缩放解码方法 2026-02-27 · ARXIV
  20. DySCO：面向长上下文大模型的动态注意力缩放解码 2026-02-26 · ARXIV
  21. 大模型非线性变换解析：从MLP到MoE的架构演进 2026-02-26 · JUEJIN
  22. Untied Ulysses：基于分头切分的高效上下文并行方案 2026-02-26 · ARXIV
  23. Headwise Chunking：面向上下文并行的内存高效方案 2026-02-25 · ARXIV
  24. 面向扩散语言模型的感知汇点剪枝方法 2026-02-22 · ARXIV
  25. 面向扩散语言模型的Sink感知剪枝方法 2026-02-20 · ARXIV
  26. 基于注意力匹配机制实现快速KV压缩 2026-02-20 · HACKER_NEWS
  27. 利用注意力匹配加速 KV 键值对压缩 2026-02-20 · HACKER_NEWS
  28. 利用注意力匹配加速 KV 缓存压缩 2026-02-20 · HACKER_NEWS
  29. Avey-B：基于注意力机制的高效视觉Transformer模型 2026-02-18 · ARXIV
  30. 长上下文LLM缩放缺陷：隐私与个性化任务揭示注意力分散 2026-02-18 · ARXIV
  31. LCM：无损上下文管理技术论文 2026-02-16 · HACKER_NEWS
  32. MonarchRT：面向实时视频生成的高效注意力机制 2026-02-16 · ARXIV
  33. AttentionRetriever：注意力层即长文档检索器 2026-02-16 · ARXIV
  34. MonarchRT：面向实时视频生成的高效注意力机制 2026-02-15 · ARXIV
  35. AttentionRetriever：注意力层隐式实现长文档检索 2026-02-15 · ARXIV
  36. MonarchRT：面向实时视频生成的高效注意力机制 2026-02-14 · ARXIV
  37. AttentionRetriever：注意力层可作为长文档检索器 2026-02-14 · ARXIV
  38. MonarchRT：面向实时视频生成的高效注意力机制 2026-02-13 · ARXIV
  39. AttentionRetriever：注意力层即长文档检索器 2026-02-13 · ARXIV
  40. 权重衰减提升语言模型可塑性 2026-02-13 · ARXIV
  41. 权重衰减提升语言模型可塑性 2026-02-12 · ARXIV
  42. AP-OOD：基于注意力池化的分布外检测方法 2026-02-09 · ARXIV
  43. AP-OOD：基于注意力池化的分布外检测方法 2026-02-08 · ARXIV
  44. AP-OOD：基于注意力池化的分布外检测方法 2026-02-07 · ARXIV
  45. AP-OOD：基于注意力池化的分布外检测方法 2026-02-06 · ARXIV
  46. RRAttention：基于轮询移位的动态块稀疏注意力机制 2026-02-06 · ARXIV
  47. 研究揭示推理大模型生成虚假新闻的内在机制 2026-02-06 · ARXIV
  48. 强化注意力学习：通过奖励机制优化视觉注意力模型 2026-02-06 · ARXIV
  49. 多层交叉注意力机制在多模态上下文学习中具有可证明的最优性 2026-02-06 · ARXIV
  50. 强化注意力学习：基于奖励反馈的注意力机制优化方法 2026-02-05 · ARXIV