AI Stack

TAGS / TERM

推理优化

共 126 篇

  1. 27B参数模型实现手机端运行 2026-07-14 · HACKER_NEWS
  2. 低配电脑运行GLM 5.2实战 2026-07-09 · HACKER_NEWS
  3. Qwen 3.6 27B本地开发的最佳选择 2026-06-29 · HACKER_NEWS
  4. DeepSeek开源推理优化 生成速度提升60-85% 2026-06-27 · HACKER_NEWS
  5. SageMaker异步推理可直接发送推理负载无需S3 2026-06-18 · BLOGS_PODCASTS
  6. Mac大模型本地部署：Ollama与MLX混合架构指南 2026-05-28 · JUEJIN
  7. 语言模型自我改进：代理发现与测试时扩展 2026-05-11 · ARXIV
  8. Gemma 4推理加速：多token预测drafters技术 2026-05-05 · HACKER_NEWS
  9. OpenAI如何实现大规模低延迟语音AI 2026-05-04 · HACKER_NEWS
  10. Amazon SageMaker AI生成式AI推理推荐功能优化 2026-04-22 · BLOGS_PODCASTS
  11. Claude Opus 4.7发布 相比4.6全面提升 2026-04-17 · BLOGS_PODCASTS
  12. Amazon Bedrock环境部署Nemotron 3 Super模型指南 2026-03-20 · BLOGS_PODCASTS
  13. OpenAI发布GPT-4o mini与nano：更小更快，优化编码与多模态推理 2026-03-18 · BLOGS_PODCASTS
  14. Nemotron 3 Nano 4B：面向高效本地 AI 的紧凑混合模型 2026-03-18 · BLOGS_PODCASTS
  15. Introducing Disaggregated Inference on AWS powered by l 2026-03-18 · BLOGS_PODCASTS
  16. Mistral AI 发布 Forge：微调与推理优化工具 2026-03-18 · HACKER_NEWS
  17. OpenAI发布GPT-4o mini与nano：更小更快，优化代码与多模态 2026-03-17 · BLOGS_PODCASTS
  18. AWS 解耦式推理技术解析：基于 SageMaker HyperPod 的性能优化实践 2026-03-17 · BLOGS_PODCASTS
  19. OpenAI发布GPT‑5.4 Mini与Nano模型 2026-03-17 · HACKER_NEWS
  20. AWS 基于 LLM-d 的解耦推理技术及 SageMaker HyperPod EKS 实践 2026-03-17 · BLOGS_PODCASTS
  21. AWS 基于llm-d推出分离式推理：解耦服务与智能调度 2026-03-17 · BLOGS_PODCASTS
  22. AWS 解耦式推理技术解析：解耦服务、智能调度与专家并行 2026-03-17 · BLOGS_PODCASTS
  23. 合成监督学习优化视频问答关键帧选择 2026-03-17 · ARXIV
  24. AWS 推出基于 llm-d 的分离式推理技术 2026-03-17 · BLOGS_PODCASTS
  25. Improve operational visibility for inference workloads 2026-03-16 · BLOGS_PODCASTS
  26. AWS 推出基于 LLM-d 的分离式推理技术及 SageMaker HyperPod 实践 2026-03-16 · BLOGS_PODCASTS
  27. AWS 解耦式推理技术解析：服务解耦、智能调度与专家并行 2026-03-16 · BLOGS_PODCASTS
  28. Amazon Bedrock 新增 CloudWatch 指标：TTFT 与配额监控 2026-03-16 · BLOGS_PODCASTS
  29. Amazon Bedrock 新增 CloudWatch 指标，支持监控 TTFT 和配额消耗 2026-03-16 · BLOGS_PODCASTS
  30. Amazon Bedrock新增CloudWatch指标：监控TTFT与配额消耗 2026-03-16 · BLOGS_PODCASTS
  31. LLM Architecture Gallery 2026-03-16 · HACKER_NEWS
  32. LLM Architecture Gallery 2026-03-16 · HACKER_NEWS
  33. BiGain：面向生成与分类任务的统一Token压缩方法 2026-03-14 · ARXIV
  34. Improve operational visibility for inference workloads 2026-03-14 · BLOGS_PODCASTS
  35. 在本地设备运行 AI 模型的硬件与软件指南 2026-03-14 · HACKER_NEWS
  36. Amazon Bedrock 新增 CloudWatch 指标：TTFT 与配额监控 2026-03-14 · BLOGS_PODCASTS
  37. Context Gateway：在LLM前压缩Agent上下文 2026-03-14 · HACKER_NEWS
  38. BiGain：面向生成与分类任务的统一Token压缩 2026-03-13 · ARXIV
  39. Context Gateway：压缩Agent上下文以降低LLM调用成本 2026-03-13 · HACKER_NEWS
  40. Amazon Bedrock新增CloudWatch指标：TTFT与配额消耗监控 2026-03-13 · BLOGS_PODCASTS
  41. 本地运行AI的可行性评估与硬件配置指南 2026-03-13 · HACKER_NEWS
  42. Amazon Bedrock 新增 CloudWatch 指标：TTFT 与估算配额使用率 2026-03-12 · BLOGS_PODCASTS
  43. NVIDIA AI-Q登顶DeepResearch Bench I与II榜单 2026-03-12 · BLOGS_PODCASTS
  44. BitNet：面向本地CPU的1000亿参数1比特模型 2026-03-12 · HACKER_NEWS
  45. BitNet: 100B Param 1-Bit model for local CPUs 2026-03-12 · HACKER_NEWS
  46. BitNet：支持本地CPU运行的1000亿参数1比特模型 2026-03-11 · HACKER_NEWS
  47. 微软BitNet：可在本地CPU运行的1000亿参数1比特模型 2026-03-11 · HACKER_NEWS
  48. 超越vLLM性能的自研推理栈技术解析 2026-03-11 · HACKER_NEWS
  49. 英伟达工程师对话：行星级Agent推理与光速计算 2026-03-11 · BLOGS_PODCASTS
  50. 英伟达工程师探讨行星级智能体推理与光速计算 2026-03-10 · BLOGS_PODCASTS