哈喽，大家好～
最近这段时间，我一直在整理和完善强化学习相关的学习内容，前前后后其实已经4个多月了~
内容的打磨，代码的调整以及分析图的样式、实验的展示等等，为了大家更好的理解其中的原理。
其实，强化学习这个方向，我相信不少同学都听说过：
DQN、PPO、SAC、Actor-Critic、Q-learning……
尤其是这两年，随着大模型、Agent、机器人和具身智能的发展，强化学习又重新成为了大家关注的重点。
但我发现一个挺有意思的现象，
很多同学知道 PPO，知道 DQN，也能通过 Python 跑通一些强化学习代码，可如果真的让他自己设计一个环境、定义奖励函数、选择算法，再分析训练结果，就不知道该从哪里下手了。
还有一些同学，刚开始学强化学习就直接冲着 PPO、SAC 去，公式看了一大堆，代码也跟着敲了不少，但知识点之间始终没有串起来。
说实话，这种学习方式，如果久了挺容易让人产生挫败感。
强化学习难的地方，往往不是某一个算法，而是如何把问题、数学、算法、代码和实验串成一条完整的路线。
因为以上的种种，这次我前前后后和另外两个大厂的同时，整理出了一套强化学习课程，希望可以帮助到大家~
同时希望能陪着大家从最基础的概念开始，一步一步把这套知识体系建立起来。
01应该怎么学强化学习？
先说一个我的建议~
如果你之前没有系统学过强化学习，不要一开始就盯着 PPO、SAC 这些算法。
先把最基础的问题搞明白：
智能体是什么？环境是什么？状态、动作和奖励分别代表什么？
为什么强化学习需要探索与利用？
为什么一个动作的好坏，不能只看眼前的奖励，还要考虑未来的长期回报？
这些问题听起来简单，但它们几乎贯穿了整个强化学习体系。
接下来，我们需要逐步理解 MDP、Bellman 方程、价值函数、蒙特卡洛方法、时序差分学习，再从传统的 Q-learning 过渡到深度强化学习。
等这些基础真正建立起来，再去理解 DQN、Actor-Critic、PPO 和 SAC，就会顺畅很多。
我一直觉得，学习算法最怕的就是只记住了名称，却不知道它解决了什么问题。
这也是我设计这套课程时特别重视的一点：每学一个算法，都要知道它为什么出现、解决了什么问题，以及它有什么局限。
02这次的强化学习课程，具体安排了什么？
这套课程的名字叫：《决策智能：强化学习与深度强化学习实战》
整体按照从基础理论到主流算法，再到独立建模、实验设计和真实应用的路线组织。
目前包含：
-
7 个学习模块 -
24 章系统内容 -
约 66 小时学习材料 -
14 个交互式可视化实验 -
逐章代码、练习与答案
交互实验：
我把整个学习过程拆成了七个阶段。
第一阶段：先理解强化学习到底在做什么
从智能体、环境、状态、动作、奖励开始，理解强化学习的基本交互过程，再通过多臂老虎机学习探索与利用的平衡。
第二阶段：建立强化学习的数学基础
重点学习 MDP、价值函数、Bellman 方程、动态规划、蒙特卡洛、TD、SARSA 和 Q-learning。
这一阶段非常重要，后面很多深度强化学习算法都建立在这些概念之上。
第三阶段：进入深度强化学习
从函数逼近开始，逐步理解 DQN、经验回放、目标网络和 Double DQN。
重点搞清楚神经网络是如何参与价值估计的，以及深度强化学习为什么会出现训练不稳定的问题。
第四阶段：真正理解 PPO
学习 REINFORCE、Actor-Critic、优势函数、GAE、重要性采样、信赖域和 PPO。
这部分会重点拆解 PPO 的概率比、裁剪目标和策略更新机制。
第五阶段：连续动作与 SAC
理解高斯策略、连续动作空间、tanh 变换、最大熵强化学习、双 Critic 和 SAC。
从离散动作过渡到连续动作，建立更加完整的算法认知。
第六阶段：从算法学习走向独立实践
这部分我特别重视~
我们会学习如何把真实问题转换成强化学习环境，如何设计状态、动作和奖励，如何建立基线、控制变量、使用多个随机种子，以及如何形成一份可信的实验报告。
第七阶段：拓展到更前沿的应用
包括离线强化学习、Dyna-Q、模型学习、大模型后训练，以及强化学习在推荐、广告和资源分配中的应用。
学到这里，你就能把前面学过的算法与实际研究和业务问题联系起来了。
03真正获得什么？
我不太希望大家学完一门课程，最后只留下几个运行成功的 Python 文件。
如果只是把代码跑通，实际上很难证明自己真正掌握了强化学习。
所以，这套课程更关注大家能不能形成下面这些能力：
-
给定一个问题，能判断它是否适合使用强化学习。 -
能够独立设计状态、动作、奖励和终止条件。 -
能够解释 Q-learning、DQN、PPO、SAC 的核心机制。 -
能够根据任务特点选择合适的强化学习算法。 -
能够独立运行实验、调整参数、分析训练曲线。 -
能够通过多随机种子、对照实验和消融实验验证结果。 -
能够整理代码、配置和实验记录，形成可复现的研究成果。
特别是对于准备做科研、写论文或者从事算法工作的同学，这些能力其实非常重要。
我们最终想学会的是如何解决决策问题，而不只是如何调用一个强化学习算法。
关于价格
我们在学习空间定的价格是99.
在这里，给大家直接减50，到手49，永久可看，永久使用实验室可视化演示~
答疑
在学习过程中，最重要的一个方面痛点：答疑 ！！
答疑，大家可以随时提问，我会在平台给大家整理好，让你清晰、快速搞懂。
针对各个方面，都为大家提供了详细的回复，总有能够帮助到大家的方面！~
知识空间
除了《agent harness》，目前已经更新的课程还有：
未来，会有更多超级干货课程带给大家，欢迎大家加入学习空间！
加入会员，可以学习所有的课程，包括现在和未来所有的课程~
目前有：年度会员、五年大会员和终身会员，限时优惠~
年度大会员 👉
五年大会员👉
课程学习 & 随时提问，我都会给大家详细的整理，解决你的问题，欢迎随时加入，一起学习~