分布式训练

条目：44

2026年三月 9 篇

类型	阅读	条目
[自动] [BLOGS_PODCASTS]	3min	mic Nova Forge SDK 训练 Amazon Nova 模型教程 03-19 Nova Forge SDK Amazon Nova Amazon SageMaker
[自动] [HACKER_NEWS]	1min	newspaper Autoresearch_at_home：类SETI项目利用闲置资源训练LLM 03-12 分布式训练 LLM 闲置资源
[自动] [HACKER_NEWS]	1min	newspaper 如何用两张游戏显卡登顶HuggingFace开源大模型榜单 03-10 HuggingFace 开源榜单显卡
[自动] [BLOGS_PODCASTS]	3min	mic Ulysses序列并行：实现百万级Token上下文训练 03-10 Ulysses 序列并行长上下文
[自动] [BLOGS_PODCASTS]	4min	mic Ulysses序列并行：实现百万级Token上下文训练 03-10 Ulysses 序列并行长上下文
[自动] [BLOGS_PODCASTS]	4min	mic Ulysses序列并行技术支持百万级Token上下文训练 03-10 Ulysses 序列并行长上下文
[自动] [BLOGS_PODCASTS]	4min	mic Ulysses序列并行技术实现百万Token上下文训练 03-10 Ulysses 序列并行长上下文
[自动] [BLOGS_PODCASTS]	3min	mic Ulysses序列并行：支持百万Token上下文训练 03-09 Ulysses 序列并行长上下文
[自动] [BLOGS_PODCASTS]	3min	mic Ulysses序列并行技术实现百万Token上下文训练 03-09 Ulysses 序列并行长上下文

2026年二月 35 篇

类型	阅读	条目
[自动] [ARXIV]	3min	school 数据集压缩至1MB：小规模数据集的模型训练效果评估 02-27 PLADA 数据集压缩伪标签
[自动] [BLOGS_PODCASTS]	4min	mic 基于 veRL 与 Ray 在 SageMaker 上训练 CodeFu-7B 模型 02-26 veRL Ray SageMaker
[自动] [BLOGS_PODCASTS]	5min	mic Meta 开源 RCCLX：优化 AMD GPU 通信并集成 Torchcomms 02-26 Meta RCCLX AMD
[自动] [BLOGS_PODCASTS]	4min	mic 在 Amazon SageMaker 上使用 veRL 与 Ray 训练 CodeFu-7B 模型 02-26 SageMaker veRL Ray
[自动] [BLOGS_PODCASTS]	4min	mic Meta 开源 RCCLX：优化 AMD 平台 GPU 通信性能 02-26 Meta RCCLX AMD
[自动] [BLOGS_PODCASTS]	5min	mic 在 Amazon SageMaker 上使用 veRL 与 Ray 训练 CodeFu-7B 模型 02-26 SageMaker veRL Ray
[自动] [ARXIV]	5min	school Untied Ulysses：基于分头切分的高效上下文并行方案 02-26 上下文并行长序列 Transformer
[自动] [BLOGS_PODCASTS]	4min	mic 基于 veRL 在 SageMaker 与 Ray 上训练 CodeFu-7B 模型 02-25 veRL SageMaker Ray
[自动] [BLOGS_PODCASTS]	5min	mic Meta 开源 RCCLX：优化 AMD GPU 通信并集成 Torchcomms 02-25 Meta RCCLX AMD GPU
[自动] [ARXIV]	5min	school Headwise Chunking：面向上下文并行的内存高效方案 02-25 上下文并行长文本训练内存优化
[自动] [BLOGS_PODCASTS]	4min	mic 使用 veRL 和 Ray 在 SageMaker 上训练 CodeFu-7B 模型 02-25 veRL Ray SageMaker
[自动] [BLOGS_PODCASTS]	3min	mic Meta 开源 RCCLX：优化 AMD GPU 通信并集成 Torchcomms 02-25 Meta RCCLX AMD
[自动] [BLOGS_PODCASTS]	5min	mic 基于veRL与Ray在SageMaker上训练CodeFu-7B模型 02-25 veRL Ray SageMaker
[自动] [BLOGS_PODCASTS]	3min	mic Meta 开源 RCCLX：优化 AMD GPU 通信并集成 Torchcomms 02-25 Meta RCCLX AMD
[自动] [BLOGS_PODCASTS]	5min	mic 在 Amazon SageMaker 上使用 veRL 和 Ray 训练 CodeFu-7B 模型 02-25 SageMaker veRL Ray
[自动] [BLOGS_PODCASTS]	5min	mic Meta 开源 RCCLX：优化 AMD 平台 GPU 通信 02-25 Meta AMD RCCLX
[自动] [BLOGS_PODCASTS]	5min	mic 使用 veRL 和 Ray 在 SageMaker 上训练 CodeFu-7B 模型 02-25 SageMaker Ray veRL
[自动] [BLOGS_PODCASTS]	4min	mic Meta 开源 RCCLX：优化 AMD GPU 通信并集成 Torchcomms 02-25 Meta RCCLX AMD
[自动] [BLOGS_PODCASTS]	4min	mic 在 SageMaker 上使用 veRL 和 Ray 训练 CodeFu-7B 02-25 SageMaker veRL Ray
[自动] [BLOGS_PODCASTS]	4min	mic Hexagon 利用 SageMaker HyperPod 加速分割模型预训练 02-25 SageMaker HyperPod AWS
[自动] [BLOGS_PODCASTS]	5min	mic 在 Amazon SageMaker 上使用 veRL 和 Ray 训练 CodeFu-7B 模型 02-25 SageMaker veRL Ray
[自动] [BLOGS_PODCASTS]	4min	mic Hexagon 利用 SageMaker HyperPod 加速分割模型预训练 02-25 SageMaker HyperPod 模型预训练
[自动] [ARXIV]	5min	school DeepSpeed图像工作负载评测：视觉Transformer扩展性能 02-25 DeepSpeed ViT 视觉Transformer
[自动] [BLOGS_PODCASTS]	5min	mic 在 Amazon SageMaker 上使用 veRL 和 Ray 训练 CodeFu-7B 模型 02-24 SageMaker veRL Ray
[自动] [BLOGS_PODCASTS]	5min	mic Meta 开源 RCCLX：优化 AMD GPU 通信并集成 Torchcomms 02-24 Meta AMD GPU
[自动] [BLOGS_PODCASTS]	4min	mic Hexagon 利用 SageMaker HyperPod 加速分割模型预训练 02-24 AWS SageMaker HyperPod
[自动] [BLOGS_PODCASTS]	5min	mic 在 SageMaker 上利用 veRL 与 Ray 训练 CodeFu-7B 02-24 LLM SageMaker Ray
[自动] [BLOGS_PODCASTS]	5min	mic 使用veRL和Ray在SageMaker上训练CodeFu-7B模型 02-24 SageMaker veRL Ray
[自动] [BLOGS_PODCASTS]	4min	mic Hexagon 利用 SageMaker HyperPod 加速分割模型预训练 02-24 SageMaker HyperPod AWS
[自动] [BLOGS_PODCASTS]	3min	mic Hexagon 利用 SageMaker HyperPod 加速分割模型预训练 02-24 AWS SageMaker HyperPod
[自动] [BLOGS_PODCASTS]	3min	mic Hexagon 利用 SageMaker HyperPod 规模化生产分割模型 02-24 SageMaker HyperPod 分布式训练
[自动] [BLOGS_PODCASTS]	2min	mic Hexagon 利用 SageMaker HyperPod 加速分割模型预训练 02-24 SageMaker HyperPod 模型预训练
[自动] [ARXIV]	5min	school Multi-Head LatentMoE 与 Head 并行：通信高效的确定性 MoE 并行策略 02-06 MoE 分布式训练通信优化
[自动] [ARXIV]	5min	school Multi-Head LatentMoE与Head并行：通信高效且确定性的MoE方案 02-05 MoE 分布式训练通信优化
[自动] [ARXIV]	4min	school 利用权重更新稀疏性的通信高效分布式强化学习 02-04 分布式训练强化学习通信优化