=>点此阅读<=

注意：如果当前页面网址是github.com而不是github.io的话，那就不要继续往下看，请点击上面一行的=>点此阅读<=，因为此时是源码模式，里面的数学公式没有渲染，不适合人类阅读。

目录

机器学习算法地图

前言

• 个人前言
• 机器学习前言
• 机器学习的学习路径
• 机器学习面试
• 机器学习发展史

数学基础

• 机器学习需要的数学
• 数学系课程地图
• 微积分
  • 泰勒展开
  • e的直观认识
  • 傅里叶变换
  • 希尔伯特空间
  • 卷积
• 线性代数
  • 范数
  • 矩阵求导
  • 特征值
  • SVD奇异值分解
• 概率统计
  • 概率统计基础
  • 方差和协方差
    • 协方差矩阵
    • 样本方差的无偏估计
    • Welfor算法：迭代更新方差
  • 贝叶斯分析方法
    • 概率论与贝叶斯先验
    • 贝叶斯概率
    • 共轭先验
  • 概率分布
    • Normal正态分布
    • Gamma伽马函数
    • Gamma伽马分布
    • Beta贝塔分布
    • Dirichlet狄利克雷分布
• 复变函数
• 信息论
  • 信息论基础
• 数值计算与优化
  • 最小二乘法
  • 等式约束的拉格朗日乘子法
  • 凸优化
    • 凸集和凸函数
    • 凸优化问题
• 梯度更新算法
  • 离线学习
    • 梯度下降算法的演化
    • 梯度下降算法
      • 随机梯度下降SGD
      • 动量法Momentum
      • 牛顿动量Nesterov
      • AdaGrad
      • RMSprop
      • Adadelta
      • Adam
      • Nadam
      • AdamW
      • AMSGrad
      • AdasMax
  • 增量学习
    • LwF: Learning-without-Forgetting
  • 在线学习
    • FTRL

编程基础

• 计算机科目
  • 计算机科目概述
  • 计算机组成原理
    • I/O与总线
    • DMA控制器
    • 嵌入式系统
  • 数据结构与算法
    • 数据结构与算法概述
    • 数据结构
    • 算法思想
      • 排序
        • 堆排序
        • 归并排序
        • 快速排序
      • 递归
    • 剑指offer
      • 链表
      • 二叉树
      • 数组
      • 字符串
      • 栈和队列
      • 递归和回溯法
      • 动态规划
      • 其他
    • Leetcode
      • 动态规划
  • 编译原理
    • 编译过程、静态库和动态库
    • 关于extern "C"
    • GCC编译器介绍
    • Make
    • CMake
    • QMake生成Makefile
  • 操作系统
    • Linux
      • Linux常用命令
      • Shell
        • 输入输出重定向
      • Vim编辑器
      • WSL虚拟机
    • Docker
    • 实时操作系统
      • freeRTOS
  • 计算机网络
    • TCP/IP协议族
      • TCP
      • ZeroMQ
    • 数据格式
      • JSON
• 编程语言
  • C/C++
    • STL容器
    • algorithm算法库
    • 多线程编程
    • 知识点
      • string字符串类
      • volatile关键字
      • float的精度和取值范围
      • Class(std::nullptr_t) noexcept
  • Python
    • Python简介
    • Python语法
      • 基础语法
      • 数据结构
      • 过程控制
      • 函数
      • 类和对象
      • 文件操作
      • 正则表达式
    • Python知识点
    • Python库
      • numpy
      • pandas
      • scipy
      • matplotlib
      • scikit-learn
    • Python应用
      • 排序算法
    • Cython
• 大数据
  • Hadoop
    • Hadoop简介
    • MapReduce
  • Hive
  • Spark
• Git

机器学习

• 机器学习概论
  • 机器学习的哲学思想
  • 机器学习模型组成与分类
  • 模型评估方法与性能度量
  • 过拟合与模型复杂度
  • 正则化
• 特征工程
• 感知机
• k近邻
• 朴素贝叶斯
• 线性模型
  • 最大熵模型
  • 指数族分布与广义线性模型
  • 线性回归
  • Logistic回归
• 决策树
• 支持向量机
  • 线性可分支持向量机与硬间隔最大化
  • 线性支持向量机与软间隔最大化
  • 非线性支持向量机与核函数
  • 序列最小最优化算法SMO
  • SVM总结
• liblinear
• 集成学习
  • 集成学习概述
  • Bagging
    • 随机森林
  • Boosting
    • AdaBoost
    • GradientBoosting
      • GBDT
      • XGBoost
        • XGBoost理论
        • XGBoost实践
      • LightGBM
  • Stacking
• 降维
  • 降维概述
  • PCA主成分分析
  • LDA线性判别分析
  • t-SNE
  • ICA独立分量分析
  • 多维缩放（可能不重要）
  • 自编码器
  • 流形学习
• EM算法
• 概率图模型
  • 概率图模型简介
  • 概率图简介
• HMM隐马尔科夫模型
• CRF条件随机场
• 聚类
  • k均值聚类
  • 高斯混合模型
  • DPMM狄利克雷过程混合模型
• 主题模型
  • LDA隐狄利克雷分布
• 知识点
  • 损失函数
  • 负采样
• 机器学习算法总结

深度学习

• 深度学习概论
• ANN人工神经网络
• Hopfield神经网络
• 知识点
  • 深度学习的高阶特征交叉原理
  • 激活函数
  • 深度学习中的正则化
    • Batch Normalization
    • Layer Normalization
  • 反向传播
    • 神经网络的反向传播原理
    • 梯度爆炸与梯度消失
    • 自定义梯度裁剪
    • RNN的反向传播原理
    • LSTM的反向传播原理
    • TBPTT截断的基于时间的反向传播算法Truncated Backpropagation Through Time（LSTM使用的反向传播方式）
  • 学习率
    • 学习率和BatchSize的关系
    • 余弦退火和余弦重启
    • 自定义LearningRateScheduler
• CNN卷积神经网络
  • CNN卷积神经网络
  • TextCNN: Convolutional Neural Networks for Sentence Classification EMNLP2014
  • 时域卷积网络TCN
• RNN循环神经网络
  • RNN循环神经网络
    • RNN循环神经网络
    • Pytorch的RNN源码分析
  • LSTM长短期记忆网络
    • LSTM长短期记忆网络
    • TensorFlow的LSTM源码分析
    • Pytorch的LSTM源码分析
  • GRU门控循环单元
  • 深入理解RNN
• LNN液态神经网络Liquid Neural Network
• BNN贝叶斯神经网络
  • 贝叶斯神经网络
  • Weight Uncertainty in Neural Networks ICML2015
• 多任务学习
  • 共享base带来的梯度冲突
  • PCGrad: Gradient Surgery for Multi-Task Learning arXiv2020
• GNN图神经网络
  • GNN图神经网络综述
  • GCN图卷积网络
    • GCN图卷积网络初步理解
    • GCN图卷积网络的numpy简单实现
    • GCN图卷积网络本质理解
    • GCN图卷积网络全面理解
    • Semi-Supervised-Classification-With-Graph-Convolutional-Networks ICLR2017
• 深度生成模型
  • 深度生成模型概述
  • GAN生成对抗网络
  • VAE变分自编码器
  • Flow-based Models流模型
  • Diffusion Models扩散模型
• Few-shot Learning小样本学习

强化学习

• 强化学习路线图
• 强化学习学习路径
• 强化学习基础概念
  • 强化学习概论
  • 马尔可夫决策过程（MDP）
    • 马尔科夫决策过程
    • 状态
    • 奖励
      • 奖励公式的理解
      • 奖励设计
    • 动作
  • 探索与利用
    • 多臂赌博机
• 强化学习算法
  • 动态规划
  • 蒙特卡洛
  • 时间差分TD(0)
  • 多步自举TD(λ)
• 深度强化学习 可以将强化学习算法分为基于策略（Policy-Based）的方法和基于价值（Value-Based）的方法，基于价值的方法通过值函数间接获取最优策略，包括策略迭代、价值迭代、Sarsa、Q-learning、Deep Q-network等。基于策略的方法包括Vanilla PG、TRPO、PPO、SAC等。介于二者之间的算法是DDPG和TD3。
  • 函数近似和深度网络
  • 深度强化学习概述
  • 基于纯价值的深度强化学习 局限性：离散动作空间、策略间接优化
    • Q-learning与贝尔曼方程
    • 深度Q网络（DQN）及其变体（Double DQN, Dueling DQN）
    • Sarsa
  • 基于纯策略的深度强化学习 局限性：高方差、低样本效率
    • 策略梯度基础
      • 策略梯度算法
      • 随机策略梯度（Stochastic Policy Gradient）REINFORCE（蒙特卡洛策略梯度）
      • 确定性策略梯度（Deterministic Policy Gradient, DPG）
      • 自然策略梯度（Natural Policy Gradient）
  • Actor-Critic策略与价值结合
    • Actor-Critic架构理解
    • A3C
    • A2C
    • 确定性策略梯度DDPG: Continuous Control With Deep Reinforcement Learning ICLR2016
  • 高级策略优化技术
    • 基于信赖域的深度强化学习 信赖域方法（Trust Region Methods）策略更新约束技术（与策略类型解耦）
      • TRPO（二阶优化与KL散度约束）
      • PPO近端策略优化: Proximal Policy Optimization （Clipping/Penalty简化实现）
        • Proximal Policy Optimization Algorithms arXiv2017 OpenAI
        • PPO实现细节
        • Recurrent Proximal Policy Optimization using Truncated BPTT
        • γ 与 λ 的选择：折扣因子与 GAE 参数实践指南
        • Value Norm
          • Value Norm
          • PopArt: Learning values across many orders of magnitude arXiv20216 DeepMind
        • Value Clip
          • Value Clip
        • 深入理解 PPO 中的指标监控 Approx KL 计算公式
        • Huber Loss：Critic的结构性必然选择
      • GAE广义优势估计Generalized Advantage Estimation
    • 随机策略+熵正则化（Entropy Regularization）策略探索增强技术 （与随机策略强耦合）
      • SAC: Soft Actor-Critic SAC（Soft Actor-Critic）的熵最大化目标
      • Entropy Loss
• 工程技巧
  • 分布式训练与加速
    • A3C（异步多线程）
    • A2C（同步多线程）
    • 参数服务器与数据并行
  • 经验回放与目标网络
    • DQN、DDPG中的经验回放设计
    • 目标网络软更新技巧
  • 探索与稳定性增强
    • 动作噪声（OU噪声、高斯噪声）
    • 优势函数估计（GAE，Generalized Advantage Estimation）GAE则是Advantage的一种估计方法，结合了多步的TD误差，减少方差。
• 高级主题
  • 强化学习前景
  • 基于模型的强化学习
  • 奖励塑型Reward Shaping
  • 稀疏奖励Sparse Reward
    • 对抗智能体奖励设计
  • 混合动作空间Hybrid Action Space
  • SelfPlay自我博弈
  • 课程式训练
  • MCTS+RL
    • MCTS蒙特卡洛树搜索
    • MCTS+RL通用框架
    • 适用于离散连续动作空间的MCTS+RL框架
  • 策略蒸馏Policy Distillation
  • 模仿学习
    • 模仿学习介绍
    • BC行为克隆Behavior Cloning
      • 论文
        • Visual Backtracking Teleoperation: A Data Collection Protocol for Offline Image-Based Reinforcement Learning arXir2022 Google
        • GoalsEye: Learning High Speed Precision Table Tennis on a Physical Robot Google2022
    • IRL逆强化学习Inverse Reinforcement Learning
      • 论文
        • XIRL: Cross-embodiment Inverse Reinforcement Learning arXir2022 Google
    • GAIL生成式对抗模仿学习: Generative Adversarial Imitation Learning NeurIPS2016
    • 论文
      • Augmenting GAIL with BC for sample efficient imitation learning
      • Robotic Table Wiping via Reinforcement Learning and Whole-body Trajectory Optimization arXiv2022 Google
      • On the Sample Complexity of Stability Constrained Imitation Learning PMLR2022 Google
  • Sim2Real从仿真器到现实环境的迁移
    • 论文
      • i-Sim2Real: Reinforcement Learning of Robotic Policies in Tight Human-Robot Interaction Loops arXiv2022 Google
      • Legged Robots that Keep on Learning: Fine-Tuning Locomotion Policies in the Real World arXiv2022 Google
  • MARL多智能体强化学习
    • MAPPO: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games arXiv2021 清华大学
    • 多智能体强化学习论文
      • mean-field: Mean Field Multi-Agent Reinforcement Learning ICML2018
  • HARL异质多智能体强化学习(Heterogeneous-Agent Reinforcement Learning)
  • Offline RL离线强化学习
  • Transformer+RL
  • 决策大模型
  • MMRL多模态强化学习
  • LLM+RL
  • DiffusionModel+RL
• 仿真环境
  • OpenAI: Gym
  • OpenAI: Mujoco
  • SMAC星际争霸 PySC2 —— 星际争霸II学习环境
  • OpenDILab: GoBigger多智能体仿真平台
  • Unity3D: ml-agents 简言之：行为树是适合解决复杂AI的解决方案。 对于Unity用户，Unity商店现在已经有一个比较完善的行为树设计(Behavior Designer)插件可供购买使用。
  • [多智能体仿真环境Simple Tag] https://pettingzoo.farama.org/environments/mpe/simple_tag/
  • AirCombat
• 场景应用
  • 游戏AI
    • 星际争霸StarCraft
• 业界应用
  • DeepMind
    • AlphaGo
    • AlphaGo-Zero: Mastering the Game of Go without Human Knowledge Nature2017
    • AlphaStar: Grandmaster level in StarCraft II using multi-agent reinforcement learning Nature2019
    • AlphaZero
    • MuZero
    • AlphaFold
    • AlphaCode
    • AlphaTensor: Discovering faster matrix multiplication algorithms with reinforcement learning Nature2022
    • Agent57 2020
    • DeepNash
    • Grandmaster-Level Chess Without Search Arxiv202402
  • OpenAI
    • Emergence of grounded compositional language in multi agent populations 2017 在模拟游戏环境里从无到有进化出一种语言 OpenAI在2017年先完成了具身智能演化出语言的原理模型之后才立项GPT，Emergence of grounded compositional language in multi agent populations.现在多模态模型的关键要素在文章里都有了，而之前OpenAI还在打游戏。而且这还只是对外公开的部分，谁知道内部发生了啥，马斯克骂骂咧咧的退出了。
    • 机械手玩魔方: Solving Rubik’s Cube with a robot hand 201910
    • OpenAI Five: Dota 2 with Large Scale Deep Reinforcement Learning 201904
    • 捉迷藏Multi-Agent Hide and Seek: Emergent tool use from multi-agent interaction Arxiv2020
  • 腾讯
    • 王者荣耀Honor of Kings
    • 玩魔方，腾讯与港中大相关研究：https://arxiv.org/pdf/1907.11388.pdf
  • InspirAI启元世界
    • InspirAI启元世界
    • TimeChamber大规模并行的大规模自对弈框架
      • TimeChamber大规模并行的大规模自对弈框架
      • Humanoid Strike人类击剑

机器学习训练框架

• Anaconda
• 模型训练云服务器平台
  • AutoDL
  • MistGPU
• 本地IDE远程连接服务器
  • Pycharm远程连接服务器
  • Cursor远程连接服务器
  • 远程共享文件夹
• 训练工具
  • TensorBoard
• TensorFlow
  • TensorFlow1.0
    • TensorFlow基础
    • TensorFlow基础概念解析
    • TensorFlow机器学习基础
  • TensorFlow2.0
    • TensorFlow2.0安装
    • 理解Eager模式及tf.function
    • keras
  • Tensorflow分布式架构
  • TensorFlow Serving
  • 工具
    • TensorFlow中使用GPU
    • TensorFlow中ckpt转pb文件（模型持久化）
    • 得到模型参数值
• PyTorch
  • 测试是否支持pytorch
  • PyTorch基础
  • 计算图与动态图机制 https://blog.csdn.net/qq_37388085/article/details/102559532 来自目录https://blog.csdn.net/qq_37388085/category_9417143.html
  • 保存加载模型文件
  • 推理inference
  • 模型参数与状态管理
• 强化学习训练框架
  • 强化学习开源框架整理
  • 天授 清华
  • PARL 百度 用PaddlePaddle实现了所有算法，用Pytorch实现了部分算法
  • Ray分布式计算框架
    • Ray介绍
    • 基于Ray的强化学习并行训练框架
    • Ray远程集群
  • RLlib分布式强化学习系统
  • IMPALA分布式强化学习系统 OpenAI 2018
• 大模型训练框架
• 超算集群
  • 华为MindCluster集群调度
  • 微软: 用于训练ChatGPT的超算

计算机视觉

• ResNet 有捷径的(resnet的跳跃连接)
• InceptionNet 多岔路的(inception的多分支)
• DenseNet 通往多个地点的捷径的(densenet的密集连接)
• YOLO
  • YOLO原理
  • DarkNet深度学习框架
  • YOLO-v5
• 图像标注工具
  • YOLO_Mark
  • Labelme
• Vision Transformer
• Swin Transformer

自然语言处理

• 自然语言处理概论
• 自然语言
• 语言模型和中文分词
• TF-IDF词频-逆文档频率
• word2vec
• AttentionMechanism注意力机制
  • Self Attention机制
  • Multi Head Self Attention机制
  • Cross Attention机制
• Seq2Seq模型和Attention机制
• Transformer
  • Transformer前传
  • Transformer: Attention Is All You Need NIPS2017
  • Transformer深入理解
    • Transformer架构
    • Transformer中的LayerNorm
    • Transformer中的位置编码
  • Transformer源码
    • TensorFlow源码解读
  • Transformer模型tensorflow2.0官网demo代码解读
  • Transformer直觉理解
  • Transformer的细节问题
• BERT
• Decoder-only架构

多模态大模型

• 预训练

  • Scaling Law

    • 涌现

  • 大模型架构优化

    • Attention

      • Flash Attention
      • GQA
      • MLA

    • MoE

      • auxiliary-loss-free by DeepSeek-V3

    • Residual Connect

      • Attention Residuals by Kimi 20260316

• 微调

  • LoRA

• 对齐与强化学习

  • RLHF
  • SFT
  • Reward Modeling
  • Multi-Agent LLM Training
  • RL

• Foundation Models基础模型

  • On the Opportunities and Risks of Foundation Models Stanford2021李飞飞
  • Can Foundation Models Perform Zero Shot For Robot PMLR2022

• Scaling Law

• RLHF基于人工反馈的强化学习方法

• LoRA大语言模型的低秩适应

• Prompt Learning

• Emergence涌现现象

• AI聊天客户端

  • Chatbox

• 自己运行大语言模型

• 自己训练大语言模型

• LLM based Multi Agent

  • Stanford Generative Agents斯坦福小镇技术全景解读：LLM驱动的认知体与社会行为涌现

• 业界应用

  • OpenAI
    • 可能大家对于绘画了解的比较多的是midjourney与stable diffusion，实际上这两个产品的基本技术都来源于DALL-E系列，那里的OpenAI还是Open的，它的论文还有足够的内容让我们理解，它里边有什么。于是大家根据它的2021年的DALL-E及CLIP这两个论文，搞出来midjourney，而stable diffusion也是在这个基础上的一个开源方案。
    • [DALL·E1 2021]
    • [CLIP 2021]
    • [DALL-E2 2022]
    • [DALL-E3 2023] 已融合进GPT4中
    • Point-E 202212 文本生成3D点云模型
    • GTP系列介绍
    • GPT前身Unsupervised Sentiment Neuron
      • Unsupervised Sentiment Neuron
      • Learning to Generate Reviews and Discovering Sentiment ArXiv2017
    • GPT1
    • GPT2
    • GPT3 语言生成模型 根据Lambda官网数据，微软为OpenAI设计了一个包含10000块Nvidia V100 GPU的分布式集群进行GPT-3的模型训练，由于模型参数量较大（共1750亿参数），训练完成共耗费30天，消耗总算力为 3640PF-days。以Nvidia Tesla V100的Lambda GPU实例定价为1.50 美元/小时测算，GPT-3的完整训练成本将达到466万美元/次。
    • Codex
    • GPT-3.5
    • instructGPT
    • ChatGPT 聊天机器人
    • GPT-4 202303 输入图/文，输出文
  • Meta
    • OPT 复现开源了GPT3
    • 202302 LLaMa 对标OpenAI的ChatGPT，开源
  • Stability.ai
    • Stable Diffusion开源
  • Google
    • LaMDA I/O大会202105
    • PaLM 202204 5400亿参数
    • LaMDA-2 I/O大会202205
    • T5
    • Bard聊天机器人 202302 对标OpenAI的ChatGPT
    • Agents Thinking Fast and Slow: A Talker-Reasoner Architecture ArXiv202410
    • Large Language Models can Learn Rules Arxiv202412 消除幻觉，让 LLMs 学会规则库和多步推理，代码开源
    • Gemma系列开源模型
  • MiscroSoft
    • Copilot MiscroSoft和OpenAI联合打造的AI编程工具，基于OpenAI的大模型Codex，基于GPT-3框架进行训练
    • Kosmos-1 20230227发布，第二种才是真正的多模态LLM，才是GPT-4的魅力，他的原理目前OpenAI没有公布细节，但是大家可以参考微软在2月27日发布的Kosmos-1的论文（想一想，为什么偏偏是OpenAI的深度合作伙伴发了这篇论文）。
  • DeepSeek幻方量化对冲基金
    • DeepSeek V3 202412 一家中国量化基金公司年底发布了最强开源LLM：DeepSeek V3
  • 智谱AI
    • ChatGLM 近日，由清华技术成果转化的公司智谱AI开源了GLM系列模型的新成员——中英双语对话模型ChatGLM-6B，支持在单张消费级显卡上进行推理使用。这是继此前开源GLM-130B千亿基座模型之后，智谱AI再次推出大模型方向的研究成果。与此同时，基于千亿基座模型的ChatGLM也同期推出，初具问答和对话功能 ChatGLM：千亿基座的对话模型启动内测，单卡版模型已全面开源
  • Together
    • OpenChatKit ChatGPT的开源平替来了，源代码、模型权重和训练数据集全部公开。由前OpenAI研究员共同打造。如何看待 Together 推出的开源聊天大模型 OpenChatKit？能否替代 ChatGPT？，ChatGPT开源平替来了，开箱即用！前OpenAI团队打造
  • 阿里
    • 中文GPT3 对标GPT-3的开源项目
    • Qwen系列开源模型
  • 元语智能
    • [PromptCLUE1.0 202210]
    • [PromptCLUE1.5 202211]
    • [ChatYuan 202212]
  • 百度
    • ERNIE-Bot文心一言 202302
  • BlinkDL
    • ChatRWKV 202208 对标ChatGPT的开源项目，基于RNN架构
  • Alpaca 斯坦福大学
    • Alpaca 近日，斯坦福基于 Meta 的 LLaMA 7B 模型微调出一个新模型 Alpaca。该研究让 OpenAI 的 text-davinci-003 模型以 self-instruct 方式生成 52K 指令遵循（instruction-following）样本，以此作为Alpaca的训练数据。研究团队已将训练数据、生成训练数据的代码和超参数开源，后续还将发布模型权重和训练代码。 斯坦福70亿参数开源模型媲美GPT-3.5，100美元即可复现
  • HPC-AI Tech潞晨科技
    • ColossalChat 202302 对标ChatGPT的开源项目。ColossalChat开源了第一个完整的RLHF pipeline，斯坦福Alpaca没有做RLHF
    • [Open-Sora 202406]
  • 复旦大学自然语言处理实验室邱锡鹏团队
    • MOSS 202302 对标ChatGPT，已开源
  • 百川智能
    • baichuan-7B 202306 开源
  • Salesforce Research
    • [BLIP-2图生文] 能力堪比ChatGPT

AI Agent

• Agent范式：认知/推理结构--定义“智能体如何思考”，聚焦认知和推理结构

  • ReAct
    • ReAct: Synergizing Reasoning and Acting in Language Models arXiv202212 Google
    • ReAct代码实现
  • Plan-and-Execute 计划 + 执行的推理链
  • Reflexion 自我反思/修正机制
  • Tool Use
    • 工具选择策略（API / 模型 / DB）
    • 调用顺序与条件判断
    • 失败处理 / fallback
    • 示例：ReAct + Calculator / Browser / SQL / RAG

• Agent运行时（Runtime）---- 定义“怎么把Agent跑起来”（执行引擎）

  • Agent Loop Executor 执行循环

  • Tool Scheduler 工具调度

  • Memory Manager 记忆管理

    • RAG

  • 常用 Runtime 框架

    • LangChain：单 Agent + pipeline 强

    • AutoGen：多 Agent + 对话驱动 loop

    • LlamaIndex：Memory / RAG 特化 runtime

    • OpenAI Assistants API：官方托管 runtime

• Agent系统：完整运行系统--已经是“一个完整智能体”（end-to-end）,即直接可运行的系统

  • OpenClaw
  • AutoGPT
  • Devin

• Agent工程：基础设施-- 让系统可用 / 可测 / 可扩展

  • Harness Engineering
  • Evaluation / Benchmark
  • Logging / Tracing
  • Deployment / Serving

• Multi Agent 系统

  • 概念与原理
  • 协作与竞争模式
  • 通信与协调机制
  • 系统示例
    • 斯坦福小镇（Stanford Town）

目录编排：https://chatgpt.com/c/69d7cdf2-9c44-8321-8d66-b6e5de783b49

世界模型

• 业界应用
  • OpenAI
    • SORA文字生成视频 202402
  • DeepMind
    • Genie2 202412
  • Meta
    • CWM: Code World Models 20250924
  • World Labs李飞飞创立
    • [Large World Model大世界模型 202412]

AutoML

• AutoML介绍
• 自动数据清理AutoClean
• 自动特征工程AutoFE
• 超参数优化HPO
• 元学习MetaLearning
• 神经网络架构搜索NAS
  • Weight-Agnostic-Neural-Networks Google2019

知识图谱

推荐系统

• 推荐系统概述
• 基础知识
  • 协同过滤
  • 用户画像
• 进阶知识
  • 排序模型概述
  • 召回模型概述
  • 机器学习
    • FM: Factorization Machines ICDM2010
  • Graph Embedding
    • 图表征概述
    • LINE: Large-scale Information Network Embedding ACM2015
  • 深度学习
    • NeuralFM
    • DeepFM: A Factorization-Machine based Neural Network for CTR Prediction 2017
    • xDeepFM
    • DSSM: Learning Deep Structured Semantic Models for Web Search using Clickthrough Data CIKM2013
  • DNN深化
  • 特征交叉
  • 多任务学习
    • MMoE: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts KDD2018（见业界应用）
    • [ESMM: Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate SIGIR2018（见业界应用）
  • 用户行为序列建模
    • 用户行为序列建模
    • 短序列
      • pooling
        • YouTubeDNN: Deep Neural Networks for YouTube Recommendations RecSys2016（见业界应用）
      • 共享权重神经网络+池化
      • RNN
      • 基于Attention机制的用户行为序列建模
        • 基于Target-Attention机制的用户行为序列建模
          • DIN: Deep Interest Network for Click-Through Rate Prediction KDD2018（见业界应用）
          • DIEN: Deep Interest Evolution Network for Click-Through Rate Prediction（见业界应用）
          • DSIN: Deep Session Interest Network for Click-Through Rate Prediction IJCAI2019（见业界应用）
        • 基于Self-Attention机制的用户行为序列建模
          • 基于Transformer中的Self-Attention的行为序列建模
    • 长序列
      • MIMN: Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction
      • SIM: Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction
    • 用户多兴趣建模
      • MIND: Multi-Interest Network with Dynamic Routing for Recommendation at Tmall
      • DMIN: Deep Multi-Interest Network for Click-through Rate Prediction
  • 图卷积网络
    • Graph Convolutional Neural Networks for Web-Scale Recommender Systems KDD2018
  • 强化学习
    • DRN: A Deep Reinforcement Learning Framework for News Recommendation WWW2018
• 业界应用
  • YouTube
    • YouTubeDNN: Deep Neural Networks for YouTube Recommendations RecSys2016
  • Facebook
    • XGB+LR: Practical Lessons from Predicting Clicks on Ads at Facebook KDD2014
  • Alibaba
    • TDM: Learning Tree-based Deep Model for Recommender Systems KDD2018
    • DIN: Deep Interest Network for Click-Through Rate Prediction KDD2018
    • DIEN: Deep Interest Evolution Network for Click-Through Rate Prediction 也评Deep Interest Evolution Network 石塔西
    • DSIN: Deep Session Interest Network for Click-Through Rate Prediction IJCAI2019
    • ESMM: Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate SIGIR2018
  • Google
    • MMoE: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts KDD2018

模型推理优化与部署

• 模型推理
  • 矩阵加速算法
    • im2col: 将卷积转为矩阵乘法来加速计算
    • winograd: Fast Algorithms for Convolutional Neural Networks CVPR2016
  • 并行计算
    • OpenCL
    • CUDA
    • OpenBlas
    • OpenMP
  • 推理引擎开发
    • GPGPU算子开发
      • GPGPU算子开发快速入门
      • CUDA ReLU 全面示例：从 CUDA 内核到 PyTorch 与 ONNX Runtime
• 模型优化
  • 模型压缩
    • 模型压缩概述
    • 剪枝
    • 量化
    • 混合精度推理
    • 知识蒸馏
• 模型部署
  • AI编译器
  • 具体模型部署实践
    • TensorRT
    • 基于C/C++部署TensorFlow模型
    • ONNX
    • JIT
    • netron模型可视化工具
    • 大模型API-Key调用
    • Ollama本地大模型部署与调用指南
    • vLLM
  • 单机多卡与多机多卡：从 PCIe 到 RDMA 的大模型训练与推理全景解析
• 硬件平台支持
  • Nvidia Jetson平台
    • 基于NanoLLM开发平台运行大模型
    • TensorRT-LLM大语言模型推理
  • 华为昇腾NPU

自动驾驶

• 传感器
  • 加速度计
    • 加速度计的六面校准法
  • 陀螺仪
    • 陀螺仪校准
  • 磁力计
    • 磁力计校准
  • 电流计
    • 使用电流计测量电池电动势用于pwm电压补偿
  • 空速计
• 感知
• 导航
  • 欧拉旋转定理
  • 坐标变换与欧拉运动学方程
  • 导航常用坐标系及变换
  • 哥氏定理/科里奥利定理
  • 四元数
  • 罗德里格斯公式
  • 李群李代数
  • 基于互补滤波的组合导航
• 轨迹预测
• 决策
  • 行为树
• 规划
  • 路径规划
  • 轨迹规划
  • 基于LLM大语言模型的规划
    • Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language arXiv2022 Google
    • Towards Helpful Robots: Grounding Language in Robotic Affordances Google2022
    • Value Function Spaces: Skill-Centric State Abstractions for Long-Horizon Reasoning arXiv2022 Google
    • Inner Monologue: Embodied Reasoning through Planning with Language Models arXiv2022 Google
    • Interactive Language: Talking to Robots in Real Time arXiv2022 Google
    • ChatGPT for Robotics: Design Principles and Model Abilities Microsoft2023
• 制导
• 控制
  • 传统控制
    • 对自动控制的直觉理解
      • 常微分方程与拉普拉斯变换
      • 自动控制的本质理解
    • PID控制
      • Sqrt Controller开方控制器
    • MPC控制
  • 基于强化学习的控制
  • 基于LLM大语言模型的控制
    • Code as Policies: Language Model Programs for Embodied Control arXiv2022 Google
    • RT-1: Robotics Transformer for Real-World Control at Scale arXiv2022 Google
    • Performer MPC: Learning Model Predictive Controllers with Real-Time Attention for Real-World Navigation Google2022
    • ChatGPT for Robotics: Design Principles and Model Abilities MicroSoft2023 ***
    • PaLM-E: An Embodied Multimodal Language Model arXiv2023 Google ***
    • Towards a Robotics Foundation Model ML-Collective协会2023
• 动力系统
  • 多旋翼组装选型
  • 电调
    • 螺旋桨推力与电调pwm的曲线映射关系
  • 电机
    • 电机的原理
• 仿真
  • 动力学模型
    • 三自由度动力学与运动学模型
    • 六自由度动力学与运动学模型
    • 空气动力学
      • 熵
      • 高等空气动力学
  • 传感器与武器
    • 雷达
    • 空空导弹
  • 仿真环境
    • gym-jsbsim:使用JSBSim飞行动力学模型的飞机控制强化学习环境
    • GymFC是一个OpenAI环境
    • Tacview
• 端到端自动驾驶
• Multi-Agent System多智能体系统
  • 集群
• 自动驾驶系统
  • ArduPilot
  • PX4
  • FMT国产开源自驾仪 基于模型的设计Model Based Design

通用人工智能

• 业界应用
  • DeepMind
    • DeepMind介绍
    • PathNet: Evolution Channels Gradient Descent in Super Neural Networks arXiv2017
    • Reward is enough AI2021
    • Gato: A Generalist Agent arXiv2022
  • OpenAI
    • OpenAI介绍
    • Emergence of Grounded Compositional Language in Multi-Agent Populations arXiv2017
  • Google
• 论文
  • The Bitter Lesson惨痛的教训 Rich Sutton 201903

任务清单

• 收集的各种资料
• 有用的工具