AI Stack 探索 AI 技术前沿，分享深度思考与实践
条目
1923
延迟
—
最新内容
2026-07-15 23:49
非站点部署时间
当前时间
安全连接

TAGS / TERM

推理加速

共 32 篇

  1. DSpark推测解码方法加速大语言模型推理 2026-06-27 · HACKER_NEWS
  2. OpenAI首款定制芯片亮相，Broadcom代工 2026-06-24 · HACKER_NEWS
  3. GLM-5.2：开源模型强化前端编程推理 2026-06-17 · BLOGS_PODCASTS
  4. DiffusionGemma文本生成速度提升4倍 2026-06-10 · BLOGS_PODCASTS
  5. NVIDIA Nemotron 3 Ultra登陆SageMaker JumpStart，推理速度提升5倍成本降低30% 2026-06-04 · BLOGS_PODCASTS
  6. 近光速文本生成：Nemotron-Labs扩散语言模型解析 2026-05-23 · BLOGS_PODCASTS
  7. CODA：将Transformer块重写为GEMM-Epilogue程序 2026-05-22 · HACKER_NEWS
  8. Gemma 4推理加速：多token预测drafters技术 2026-05-05 · HACKER_NEWS
  9. 跨架构蒸馏技术助力扩散大语言模型 2026-04-30 · ARXIV
  10. SageMaker G7e 实例加速生成式 AI 推理 2026-04-20 · BLOGS_PODCASTS
  11. NanoGPT慢速运行实现10倍数据效率方案 2026-03-20 · HACKER_NEWS
  12. SPEED-Bench：推测解码的统一多样化基准 2026-03-19 · BLOGS_PODCASTS
  13. Context Gateway：在LLM处理前压缩Agent上下文 2026-03-13 · HACKER_NEWS
  14. 在Transformer内部执行程序以实现指数级推理加速 2026-03-13 · HACKER_NEWS
  15. Speculative Decoding：推测解码加速大模型推理 2026-03-04 · ARXIV
  16. 推测性推测解码：SSD加速大模型推理 2026-03-04 · HACKER_NEWS
  17. 多头低秩注意力机制 2026-03-03 · ARXIV
  18. KV Cache与位置编码：大模型推理加速原理 2026-03-02 · JUEJIN
  19. Mercury 2：基于扩散模型的快速推理大语言模型 2026-02-25 · HACKER_NEWS
  20. ArcFlow实现FLUX与Qwen推理40倍加速 2026-02-24 · JUEJIN
  21. Taalas技术解析：如何将大语言模型直接印制于芯片 2026-02-22 · HACKER_NEWS
  22. Taalas 定制芯片实现 Llama 3.1 8B 每秒 16960 tok/s 2026-02-21 · BLOGS_PODCASTS
  23. 面向扩散语言模型的感知汇点剪枝方法 2026-02-20 · ARXIV
  24. 通往普及AI之路：实现每秒1.7万Token推理 2026-02-20 · HACKER_NEWS
  25. 利用注意力匹配加速 KV 键值对压缩 2026-02-20 · HACKER_NEWS
  26. 一致性扩散语言模型提速14倍且无损质量 2026-02-20 · HACKER_NEWS
  27. 使用 Unsloth 与 Hugging Face Jobs 免费训练 AI 模型 2026-02-19 · BLOGS_PODCASTS
  28. 两种提升大模型推理速度的技术方法 2026-02-15 · HACKER_NEWS
  29. DAWN：面向扩散大模型的依赖感知快速推理 2026-02-09 · ARXIV
  30. 基于对称性泰勒近似实现恒定每Token成本注意力机制 2026-02-04 · HACKER_NEWS
  31. FOCUS：DLLMs如何突破算力瓶颈 2026-02-02 · ARXIV
  32. Agent Skills：压缩智能体技能以提升模型效率 2026-01-29 · HACKER_NEWS