附录C 学习资源

附录C 学习资源

这是一份经过筛选的资源清单。每个条目都附有简短推荐理由，帮助你判断是否值得投入时间。

C.1 推荐论文列表

C.1.1 基础架构

论文 年份 推荐理由
“Attention Is All You Need” 2017 Transformer 的开山之作，必读
“BERT: Pre-training of Deep Bidirectional Transformers” 2018 预训练范式的奠基
“Language Models are Few-Shot Learners” (GPT-3) 2020 Scaling Law 的实证
“Training Compute-Optimal Large Language Models” (Chinchilla) 2022 推翻了 GPT-3 的 scaling 配比
“Mixtral of Experts” 2024 MoE 的开源标杆

C.1.2 训练系统

论文 年份 推荐理由
“Megatron-LM: Training Multi-Billion Parameter Language Models” 2019 3D 并行的奠基论文
“ZeRO: Memory Optimizations Toward Training Trillion Parameter Models” 2020 DeepSpeed 核心论文
“Efficient Large-Scale Language Model Training on GPU Clusters” 2021 Megatron + ZeRO 结合实践
“Reducing Activation Recomputation in Large Transformer Models” 2022 选择性重计算
“FlashAttention: Fast and Memory-Efficient Exact Attention” 2022 IO-aware attention
“FlashAttention-2: Faster Attention with Better Parallelism” 2023 FlashAttention 的改进
“PyTorch FSDP” (Engineering Blog) 2023 FSDP 设计原理

C.1.3 推理系统

论文 年份 推荐理由
“Efficient Memory Management for Large Language Model Serving with PagedAttention” 2023 vLLM 核心论文
“Orca: A Distributed Serving System for Transformer-Based Generative Models” 2022 连续批处理
“FlashAttention for Inference” 2023 推理场景的 Flash Attention
“GPTQ: Accurate Post-Training Quantization” 2022 4-bit 量化
“AWQ: Activation-aware Weight Quantization” 2023 更优的量化方案
“SmoothQuant: Accurate and Efficient Post-Training Quantization” 2023 激活感知量化
“Fast Inference from Transformers via Speculative Decoding” 2023 推测解码

C.1.4 分布式系统与基础设施

论文 年份 推荐理由
“In-Datacenter Performance Analysis of a Tensor Processing Unit” 2017 TPU v1 经典论文
“TPU v4: Serving ML Hardware” 2023 TPU Pod 架构
“The Google File System” 2003 分布式存储基础（虽然古老但思想常新）
“Pathways: Asynchronous Distributed Dataflow for ML” 2022 Google 的训练编排系统
“MLPerf Training Benchmark” 2023 理解业界最佳实践

C.1.5 MoE 与新架构

论文 年份 推荐理由
“Outrageously Large Neural Networks: The Sparsely-Gated MoE Layer” 2017 MoE 的起源
“GShard: Scaling Giant Models with Conditional Computation” 2020 MoE + 数据并行的工程实践
“Switch Transformers” 2021 简化 MoE 路由
“DeepSeek-V3 Technical Report” 2024 MoE 训练的最新工程实践
“Mamba: Linear-Time Sequence Modeling with Selective State Spaces” 2023 SSM 的突破
“RWKV: Reinventing RNNs for the Transformer Era” 2023 线性 RNN 复兴

C.2 推荐书籍

核心必读

书名 作者 推荐理由
AI Engineering Chip Huyen AI 工程化的最佳入门书，务实且有观点
Designing Data-Intensive Applications Martin Kleppmann 分布式系统的圣经，底层原理不过时
Deep Learning Ian Goodfellow et al. 理论基础
The Illustrated Transformer Jay Alammar 在线图文，最好的 Transformer 可视化教程

进阶阅读

书名 作者 推荐理由
Machine Learning Systems Chip Huyen ML 系统设计（ predecessor of AI Engineering）
Distributed Systems Maarten van Steen 分布式系统教科书
Computer Organization and Design (RISC-V) Patterson & Hennessy 理解硬件基础
CUDA by Example Jason Sanders GPU 编程入门
Programming Massively Parallel Processors Kirk & Hwu GPU 并行编程教材（第 4 版）

中文资源

书名/资源 推荐理由
《大语言模型》 赵鑫 等 中文 LLM 教材，系统性较强
李宏毅机器学习课程 中文最好的 ML 入门课程
Awesome-LLM-Inference (GitHub) LLM 推理技术的中文资源汇总
宝玉的分享 (baoyu.io) 高质量 AI 工程化中文翻译和分析

C.3 开源项目与代码库

C.3.1 训练框架

training_projects = {
    "Megatron-LM": {
        "url": "https://github.com/NVIDIA/Megatron-LM",
        "语言": "Python",
        "推荐理由": "大模型 3D 并行的标准实现，工业级代码",
        "阅读建议": "重点看 parallel 目录下的通信逻辑",
    },
    "DeepSpeed": {
        "url": "https://github.com/microsoft/DeepSpeed",
        "语言": "Python/C++",
        "推荐理由": "ZeRO 优化的实现，API 设计优秀",
        "阅读建议": "从 deepspeed/runtime/engine.py 开始",
    },
    "PyTorch FSDP": {
        "url": "https://github.com/pytorch/pytorch/tree/main/torch/distributed/fsdp",
        "语言": "Python/C++",
        "推荐理由": "理解原生 PyTorch 的分布式分片",
        "阅读建议": "源码在 PyTorch 主仓库内",
    },
    "ColossalAI": {
        "url": "https://github.com/hpcaitech/ColossalAI",
        "语言": "Python",
        "推荐理由": "国人主导的分布式训练框架，文档中英文齐全",
    },
    "Unsloth": {
        "url": "https://github.com/unslothai/unsloth",
        "语言": "Python",
        "推荐理由": "微调速度优化，单卡场景极佳",
    },
}

C.3.2 推理引擎

inference_projects = {
    "vLLM": {
        "url": "https://github.com/vllm-project/vllm",
        "推荐理由": "PagedAttention 的实现，推理引擎的事实标准",
        "阅读建议": "核心逻辑在 vllm/core/scheduler.py",
    },
    "TensorRT-LLM": {
        "url": "https://github.com/NVIDIA/TensorRT-LLM",
        "推荐理由": "NVIDIA 官方推理优化，极致性能",
    },
    "SGLang": {
        "url": "https://github.com/sgl-project/sglang",
        "推荐理由": "RadixAttention 的实现，多轮对话优化",
    },
    "llama.cpp": {
        "url": "https://github.com/ggerganov/llama.cpp",
        "推荐理由": "纯 C/C++ 实现，CPU 推理之王，代码极简",
        "阅读建议": "从 llama.cpp 主文件开始，代码可读性极高",
    },
    "Ollama": {
        "url": "https://github.com/ollama/ollama",
        "推荐理由": "本地推理的最佳用户体验",
    },
    "MLC-LLM": {
        "url": "https://github.com/mlc-ai/mlc-llm",
        "推荐理由": "通用编译方案，支持各类硬件",
    },
}

C.3.3 模型与数据

model_projects = {
    "Transformers (HuggingFace)": {
        "url": "https://github.com/huggingface/transformers",
        "推荐理由": "模型仓库的标准实现",
    },
    "LLaMA": {
        "url": "https://github.com/meta-llama/llama3",
        "推荐理由": "开放权重的标杆，理解模型架构",
    },
    "DeepSeek-V3": {
        "url": "https://github.com/deepseek-ai/DeepSeek-V3",
        "推荐理由": "MoE 架构的工程典范",
    },
    "Qwen": {
        "url": "https://github.com/QwenLM/Qwen2",
        "推荐理由": "中文场景表现优秀的开源模型",
    },
    "Datasets": {
        "url": "https://github.com/huggingface/datasets",
        "推荐理由": "数据加载工具库",
    },
}

C.3.4 基础设施工具

infra_projects = {
    "NVIDIA NCCL": {
        "url": "https://github.com/NVIDIA/nccl",
        "推荐理由": "GPU 通信库源码",
    },
    "Triton (OpenAI)": {
        "url": "https://github.com/triton-lang/triton",
        "推荐理由": "GPU kernel 编程的新范式",
        "阅读建议": "tutorial/ 目录下的示例是最佳入门",
    },
    "Ray": {
        "url": "https://github.com/ray-project/ray",
        "推荐理由": "分布式计算框架，AI 场景应用广泛",
    },
    "KubeRay": {
        "url": "https://github.com/ray-project/kuberay",
        "推荐理由": "K8s 上运行 Ray",
    },
    "SkyPilot": {
        "url": "https://github.com/skypilot-org/skypilot",
        "推荐理由": "多云 GPU 资源管理",
    },
}

C.4 社区与会议

C.4.1 顶级会议

会议 领域 推荐关注
MLSys ML 系统 最相关的会议，训练/推理系统论文首选投稿地
OSDI / SOSP 系统设计 顶级系统会议，偶有 AI Infra 论文
NSDI 网络系统 分布式训练网络相关
ISCA / MICRO 计算机架构 芯片/加速器相关
NeurIPS / ICML / ICLR 机器学习 算法为主，但也有系统方向 workshop
ASPLOS 软硬件接口 跨层优化论文
ATC (USENIX) 通用系统 存储调度相关

C.4.2 在线社区

communities = {
    "技术深度讨论": {
        "Hacker News": "https://news.ycombinator.com/ - AI 系统讨论质量极高",
        "Reddit r/MachineLearning": "学术论文讨论",
        "Reddit r/LocalLLaMA": "本地推理实践（非常活跃）",
        "LessWrong": "AI 安全和对齐讨论",
    },
    "中文社区": {
        "知乎 AI 话题": "中文 AI 技术讨论",
        "机器之心": "中文 AI 资讯和深度文章",
        "PaperWeekly": "论文解读社区",
    },
    "工程实践": {
        "NVIDIA Developer Forums": "GPU 编程和 CUDA 问题",
        "PyTorch Discussions": "PyTorch 官方论坛",
        "vLLM Discord/Slack": "推理引擎实践讨论",
        "Hugging Face Forums": "模型和数据集讨论",
    },
    "行业分析": {
        "SemiAnalysis": "深度半导体和 AI 行业分析（付费）",
        "The Information": "AI 公司独家报道（付费）",
        "a16z AI 报告": "投资视角的 AI 行业分析",
        "Latent Space 播客": "AI 工程领域的优质播客",
    },
}

C.4.3 技术博客（公司）

来源 URL 特点
Anthropic Engineering anthropic.com/engineering 安全工程深度文章
OpenAI Research openai.com/research 前沿研究
Google AI Blog ai.googleblog.com TPU 和大规模训练
Meta AI Blog ai.meta.com/blog LLaMA 和开源生态
NVIDIA Technical Blog developer.nvidia.com/blog GPU 优化最佳实践
AWS Machine Learning Blog aws.amazon.com/blogs/machine-learning 云端 ML 实践
Microsoft Research microsoft.com/research DeepSpeed 相关
Stability AI stability.ai/news 生成式 AI

C.4.4 个人博客

博客 特点
Chip Huyen (huyenchip.com) ML 系统设计，务实有观点
Eugene Yan (eugeneyan.com) ML 系统和评估方法论
Lilian Weng (lilianweng.github.io) AI 研究综述，极其全面
Jay Alammar (jalammar.github.io) 可视化技术解释
Karpathy (karpathy.ai) 深度学习实践和教学
Boris Power (Anthropic) 推理系统优化
Tri Dao (tridao.me) FlashAttention 作者
宝玉 (baoyu.io) 中文高质量 AI 技术翻译和分析

C.5 在线课程

C.5.1 系统设计

课程 来源 推荐理由
CS329S: Machine Learning Systems Design Stanford (Chip Huyen) 最直接的 AI Infra 课程，讲义免费
Full Stack Deep Learning FSDL 端到端 ML 工程实践
MLOps Zoomcamp DataTalksClub 动手实践 ML 管道
MIT 6.5940: TinyML and Efficient Deep Learning MIT 模型压缩和高效推理

C.5.2 深度学习基础

课程 来源 推荐理由
CS231n: CNN for Visual Recognition Stanford 计算机视觉经典
CS224n: NLP with Deep Learning Stanford NLP 和 Transformer
Neural Networks: Zero to Hero Karpathy (YouTube) 从零构建 GPT，最佳实战课
Practical Deep Learning for Coders fast.ai 代码优先的教学方式
Dive into Deep Learning (D2L) d2l.ai 交互式教材，多框架实现

C.5.3 分布式系统

课程 来源 推荐理由
MIT 6.824: Distributed Systems MIT 分布式系统经典课程（Raft、MapReduce）
CMU 15-440: Distributed Systems CMU 另一门优质分布式课程
Designing Data-Intensive Applications Martin Kleppmann (书+配套) 理论与实践兼顾

C.5.4 GPU 编程

课程/资源 来源 推荐理由
Programming Massively Parallel Processors UIUC (课程+书) CUDA 编程系统教学
CUDA C++ Programming Guide NVIDIA 官方 权威参考
CUDA MODE (Discord/YouTube) 社区 CUDA kernel 编程实战，从入门到高级
Triton Tutorials OpenAI Triton GPU 编程入门
GPU Mode Lectures YouTube 社区驱动的 GPU 编程讲座系列

C.5.5 中文课程

课程 来源 推荐理由
李宏毅机器学习 YouTube/Bilibili 中文最好的 ML 课程
动手学深度学习 d2l.ai/zh 中文交互式教材
陈天奇 MLSys CMU/TVM 编译器和系统优化

小结

学习资源的选择比数量更重要。几点建议：

  1. 少而精胜过多而杂——与其收藏 100 篇论文，不如精读 10 篇并动手复现。
  2. 代码 > 论文——对于 Infra 工程师，读源码和写代码的 ROI 远高于读论文。
  3. 建立学习闭环——学一个概念 → 实现一个 demo → 用到工作中 → 教给别人。
  4. 关注一手信息源——公司官方博客和论文比二手解读更有价值。
  5. 加入社区——独行快，众行远。参与开源项目和社区讨论是最好的成长方式。

延伸阅读