I read, I decode, I share.
- CCCL CUDA 算子学习路线:CCCL 里的 CUDA 算子不是单个 kernel,而是 public API、dispatch、policy/tuning、kernel、agent、block/warp primitive、测试与 benchmark 组成的分层系统;先纵向读通 CUB
reduce,再横向迁移到scan、select、sort等算子。
- Denoising Diffusion Probabilistic Models:DDPM 把生成建模转化为在不同噪声强度下训练一个去噪网络,采样时从纯噪声开始反复预测噪声并去噪。
- Elucidating the Design Space of Diffusion-Based Generative Models:EDM 将扩散模型拆成 denoiser、采样 ODE/SDE、数值积分、预条件化和训练噪声分布等可调设计,强调工程化分解与经验验证。
- High-Resolution Image Synthesis with Latent Diffusion Models:LDM 先把图像压缩到保留空间结构的 latent map,再在 latent 空间运行扩散模型,用更低计算成本实现高分辨率条件生成。
- Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models:Video LDM 的关键不是从零训练视频生成器,而是在强图像 LDM 的 latent 空间中加入 temporal layers、decoder、预测、插帧和超分模块来对齐时间维度。
- Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets:SVD 以 Stable Diffusion 的图像先验为基础,通过大规模高质量视频预训练和 finetuning 学到可迁移的 motion prior。
- DFlash: Block Diffusion for Flash Speculative Decoding:DFlash 把 diffusion model 限定为 speculative decoding 的并行 drafter,并用目标自回归模型的 hidden features 与验证步骤同时提高接受长度和保证 lossless 输出。
- SwiftFusion: Scalable Sequence Parallelism for Distributed Inference of Diffusion Transformers on GPUs:SwiftFusion 针对高分辨率图像和长视频 DiT 推理,把低通信量的 Ulysses 用在跨机器路径、把 Ring 留给机器内互联,并用 Torus Attention 与 one-sided communication 隐藏通信和同步开销。
- Orca: The World is in Your Mind:Orca 把 world model 的中心目标从 next-token / next-frame / next-action 改写为 next-state prediction,通过无意识学习和有意识学习预训练统一 world latent,再用冻结 backbone 的语言、图像和动作 readout 验证状态转移表征是否可迁移。
- AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation:AnyFlow 把视频扩散蒸馏从固定端点一致性重构为任意时间区间的 flow map 转移学习,并用 on-policy flow map distillation 让同一个模型在少步采样和更多 NFE 下都能稳定提升。
- Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification:Sol-Attn 把训练无关的 block sparse attention 从离线 routing 重构为 online softmax 内部的流式阈值选择,并用 proxy-score reuse 近似未选中 blocks,在减少 routing / memory 开销的同时保持视频生成质量。
- MiniMax-H3 部署训练与迁移手册:先从 Diffusers 的模型定义和推理 pipeline 讲清 MiniMax-H3 的 packed joint-AV 结构、多模态交互、attention 与 AdaLN modulation;再从 Diffusers、LightX2V、SGLang 抽出跨仓库数值契约,并给出部署、4-step 蒸馏和迁框架方案。