Our biggest-ever sale. 60% off AI & data skills
Buy Now
Gymnasium 需要特定版本(非最新)的多种依赖程序,例如 NumPy 和 PyTorch。因此,我们建议创建全新的 Conda 或 venv 环境,或使用全新的笔记本来安装、使用 Gymnasium,并运行 RL 程序。
您可以使用此 DataLab 工作簿来配合教程动手实践。
在服务器或本地机器上安装 Gymnasium,运行:
$ pip install gymnasium
在 Google Colab 或 DataLab 等 Notebook 中安装,使用:
!pip install gymnasium
上述命令会安装 Gymnasium 及其正确版本的依赖。
截至 2024 年 11 月,Gymnasium 内置了 60 多个环境。要浏览可用的内置环境,可使用 gym.envs.registry.all() 函数,如下例所示:
import gymnasium as gym
for i in gym.envs.registry.keys():
print(i)
您也可以访问 Gymnasium 主页。左侧栏列出了所有环境的链接。每个环境的页面都包含其详细信息,如动作、状态等。
环境被组织为 Classic Control、Box2D 等类别。下面我列出每组中的一些常见环境:
除了内置环境外,Gymnasium 还可使用相同 API 与许多外部环境配合。
在本教程中,我们将使用一个经典控制的典型环境。要导入特定环境,使用 .make() 命令,并将环境名称作为参数传入。例如,要基于 CartPole(版本 1)创建一个新环境,使用下方命令:
import gymnasium as gym
env = gym.make("CartPole-v1")
简而言之,强化学习由一个与环境交互的智能体(如机器人)组成。策略决定智能体的动作。根据智能体的动作,环境在每个时间步给出回报(或惩罚)。智能体通过 RL 找到能最大化累计回报的最优策略。
RL 环境的关键组成部分如下:
观测是智能体获取的关于环境的信息。例如,机器人可以通过传感器收集环境信息。理想情况下,智能体应能观察到完整状态,涵盖环境的全部方面。在实践中,智能体以观测作为状态的替代。因此,观测决定了智能体的动作。
一个空间类似于数学集合。类型为 X 的空间包含 X 的所有可能实例。该空间也定义了所有 X 项的结构(语法与格式)。每个 Gymnasium 环境都有两个空间:动作空间 action_space 与观测空间 observation_space。二者均派生自父类 gymnasium.spaces.Space。
观测空间包含所有可能的观测,也定义了观测的存储格式。观测空间通常表示为数据类型 Box 的对象。这是一个 ndarray,用于描述观测的参数。Box 指定了每个维度的取值范围。可以使用 observation_space 方法查看某个环境的观测空间:
print("observation space: ", env.observation_space)
对于 CartPole-v1 环境,输出类似如下示例:
observation space: Box([-4.8 -inf -0.41887903 -inf], [4.8 inf 0.41887903 inf], (4,), float32)
在此示例中,CartPole-v1 的观测空间为 4 维。观测数组的 4 个元素为:
要查看单个观测数组的示例,使用 .reset() 命令。
observation, info = env.reset()
print("observation: ", observation)
对于 CartPole-v1 环境,输出类似如下示例:
[ 0.03481963 -0.0277232 0.01703267 -0.04870504]
该数组的四个元素分别对应前述四个观测量(小车位置、小车速度、杆角度、杆角速度)。
动作空间包含智能体可采取的所有可能动作,同时也定义了动作的表示格式。可以使用 action_space 方法查看环境的动作空间:
print("action space: ", env.action_space)
对于 CartPole-v1 环境,输出类似如下示例:
action space: Discrete(2)
对于 CartPole-v1 环境,动作空间是离散的。智能体共有两种可选动作:
前文我们已经了解了 RL 与 Gymnasium 的基本概念。本节将展示如何使用 Gymnasium 构建一个 RL 智能体。
第一步是创建环境实例。创建新环境请使用 .make() 方法。
env = gym.make('CartPole-v1')
智能体的交互会改变环境状态。.reset() 方法将环境重置为初始状态。默认情况下,环境会初始化到一个随机状态。您可以在 .reset() 方法中使用 SEED 参数,使每次运行时环境均初始化为相同状态。如下所示:
SEED = 1111
env.reset(seed=SEED)
动作采样也包含随机性。为控制这种随机性并获得完全可复现的训练路径,我们可以为 NumPy 与 PyTorch 的随机数生成器设定种子:
np.random.seed(SEED)
torch.manual_seed(SEED)
在马尔可夫过程的每一步,智能体可以随机选择一个动作并探索环境,直到达到终止状态。若随机选择动作:
更高效的做法是训练智能体基于过去(与环境交互)的经验来优化动作选择,以最大化长期回报。
未经训练的智能体从随机初始化的策略出发,采取随机动作。该策略通常用神经网络表示。训练过程中,智能体会学习到能最大化回报的最优策略。在 RL 中,训练过程也称为策略优化。
常见的策略优化方法有多种。贝尔曼方程描述了如何计算 RL 策略的价值并确定最优策略。在本教程中,我们将使用一种简单技术——策略梯度。此外还存在其他方法,如近端策略优化(PPO)。
要构建使用策略梯度的 RL 智能体,我们创建一个实现策略的神经网络,编写函数从逐步回报与动作概率计算回报与损失,并使用标准反向传播方法迭代更新策略。
我们使用神经网络来实现策略。由于 CartPole-v1 是一个简单环境,我们使用如下结构的神经网络:
因此,策略网络的功能是将观测到的状态映射为动作。给定输入观测,它预测合适的动作。下面的代码实现了策略网络:
class PolicyNetwork(nn.Module):
def __init__(self, input_dim, hidden_dim, output_dim, dropout):
super().__init__()
self.layer1 = nn.Linear(input_dim, hidden_dim)
self.layer2 = nn.Linear(hidden_dim, output_dim)
self.dropout = nn.Dropout(dropout)
def forward(self, x):
x = self.layer1(x)
x = self.dropout(x)
x = F.relu(x)
x = self.layer2(x)
return x
如前所述,在马尔可夫过程的每一步,环境会基于智能体的动作与状态给出回报。RL 的目标是最大化总回报。
在实践中,累计回报时通常会:
如下代码演示了如何实现:
def calculate_stepwise_returns(rewards, discount_factor):
returns = []
R = 0
for r in reversed(rewards):
R = r + R * discount_factor
returns.insert(0, R)
returns = torch.tensor(returns)
normalized_returns = (returns - returns.mean()) / returns.std()
return normalized_returns
前向传递包括在当前策略下运行智能体直至达到终止状态,并收集逐步回报与动作概率。实现步骤如下:
.step() 函数迭代地在环境中运行智能体,直到结束:Softmax 估计所预测动作的概率。def forward_pass(env, policy, discount_factor):
log_prob_actions = []
rewards = []
done = False
episode_return = 0
policy.train()
observation, info = env.reset()
while not done:
observation = torch.FloatTensor(observation).unsqueeze(0)
action_pred = policy(observation)
action_prob = F.softmax(action_pred, dim = -1)
dist = distributions.Categorical(action_prob)
action = dist.sample()
log_prob_action = dist.log_prob(action)
observation, reward, terminated, truncated, info = env.step(action.item())
done = terminated or truncated
log_prob_actions.append(log_prob_action)
rewards.append(reward)
episode_return += reward
log_prob_actions = torch.cat(log_prob_actions)
stepwise_returns = calculate_stepwise_returns(rewards, discount_factor)
return episode_return, stepwise_returns, log_prob_actions
损失表示我们要进行梯度下降的量。RL 的目标是最大化回报。因此,我们使用期望回报作为损失的代理。期望回报计算为逐步期望回报与逐步动作对数概率的乘积。如下代码计算损失:
def calculate_loss(stepwise_returns, log_prob_actions):
loss = -(stepwise_returns * log_prob_actions).sum()
return loss
要更新策略,您需要针对损失函数运行反向传播。下面的 update_policy() 方法会调用 calculate_loss(),随后对该损失执行反向传播来更新策略参数,即策略网络的模型权重。
def update_policy(stepwise_returns, log_prob_actions, optimizer):
stepwise_returns = stepwise_returns.detach()
loss = calculate_loss(stepwise_returns, log_prob_actions)
optimizer.zero_grad()
loss.backward()
optimizer.step()
return loss.item()
基于回报梯度更新策略被称为策略梯度方法。
现在我们已经具备训练与评估策略所需的全部组件。训练循环的实现如下:
开始前,声明超参数、实例化策略并创建优化器:
MAX_EPOCHS 是我们用于训练策略的最大迭代回合数。DISCOUNT_FACTOR 决定未来时间步回报的相对重要性。为 1 表示所有回报同等重要,为 0 表示仅当前时间步的回报重要。N_TRIALS 是用于评估智能体性能的平均回报所跨越的回合数。若 N_TRIALS 个回合的平均回报超过阈值,则认为训练成功。REWARD_THRESHOLD:若策略取得的回报高于阈值,则视为成功。DROPOUT 决定应随机置零的权重比例。Dropout 会随机将部分模型权重置零,从而降低对特定神经元的依赖,防止过拟合,使网络更健壮。LEARNING_RATE 决定每步可对策略参数进行的修改幅度。每次迭代的参数更新量等于梯度与学习率的乘积。PolicyNetwork 类的实例。训练策略时,我们反复执行训练步骤,直到平均回报(跨 N_TRIALS)超过回报阈值:
N_TRIALS 个回合的平均回报是否超过回报阈值。以下代码实现了上述步骤:
def main():
MAX_EPOCHS = 500
DISCOUNT_FACTOR = 0.99
N_TRIALS = 25
REWARD_THRESHOLD = 475
PRINT_INTERVAL = 10
INPUT_DIM = env.observation_space.shape[0]
HIDDEN_DIM = 128
OUTPUT_DIM = env.action_space.n
DROPOUT = 0.5
episode_returns = []
policy = PolicyNetwork(INPUT_DIM, HIDDEN_DIM, OUTPUT_DIM, DROPOUT)
LEARNING_RATE = 0.01
optimizer = optim.Adam(policy.parameters(), lr = LEARNING_RATE)
for episode in range(1, MAX_EPOCHS+1):
episode_return, stepwise_returns, log_prob_actions = forward_pass(env, policy, DISCOUNT_FACTOR)
_ = update_policy(stepwise_returns, log_prob_actions, optimizer)
episode_returns.append(episode_return)
mean_episode_return = np.mean(episode_returns[-N_TRIALS:])
if episode % PRINT_INTERVAL == 0:
print(f'| Episode: {episode:3} | Mean Rewards: {mean_episode_return:5.1f} |')
if mean_episode_return >= REWARD_THRESHOLD:
print(f'Reached reward threshold in {episode} episodes')
break
最后,调用 main() 函数来训练策略:
main()
请使用此 DataLab 工作簿直接运行上述算法,并通过 RL 解决 CartPole 环境。
在演示如何实现一个 RL 算法之后,我们再讨论一些实践中常用的高级技巧。
从零实现 RL 算法既耗时又困难,尤其是在复杂环境和前沿策略上。
更务实的替代方案是使用软件如 Stable Baselines3。它提供经过验证的 RL 算法实现,包含预训练智能体、训练脚本、评估工具,以及用于绘图和录制视频的模块。
Ray RLib 是另一个流行的 RL 工具。RLib 旨在具备可扩展性,便于在多 GPU 系统上实现 RL 算法。它还支持多智能体 RL,从而实现如下新可能:
在 RLib 与 Stable Baselines3 中,您都可以导入并使用 OpenAI Gymnasium 的环境。
Gymnasium 打包的环境非常适合测试新 RL 策略与训练策略。然而,在多数实际应用中,您需要创建并使用能够准确反映待解决问题的环境。您可以使用 Gymnasium 创建自定义环境。使用 Gymnasium 自定义环境的优势在于,许多外部工具如 RLib 与 Stable Baselines3 已配置为适配 Gymnasium 的 API 结构。
在 Gymnasium 中创建自定义环境,您需要定义:
reset() 函数时)。step() 函数时)。想了解更多,请参阅 Gymnasium 的自定义环境创建指南。
本教程的代码展示了如何在 CartPole 环境中实现策略梯度算法。这是一个具有离散动作空间的简单环境。为更深入理解 RL,我们建议您将同一策略梯度算法(以及其他算法,如 PPO)应用到其他环境中。
例如,Pendulum 环境具有连续动作空间。它只有一个输入,为连续变量——在任一给定状态下施加在摆上的力矩(大小与方向)。该力矩的取值可在 -2 到 +2 之间的任意值。
在不同环境中尝试不同算法,有助于您更好地理解各种 RL 方案及其挑战。
RL 环境常包含机器人、摆、小车爬山、电子游戏等。可视化智能体在环境中的动作有助于直观理解策略的表现。
在 Gymnasium 中,env.render() 方法可视化智能体与环境的交互。它以图形方式显示环境的当前状态——游戏画面、摆或倒立摆的位置等。对智能体动作及环境响应进行可视化,有助于监控智能体在训练过程中的表现与进展。
渲染模式有四种:“human”、“rgb_array”、“ansi” 与 “rgb_array_list”。要可视化智能体表现,请使用 “human” 渲染模式。在初始化环境时指定渲染模式。例如:
env = gym.make(‘CartPole-v1’, render_mode=’human’)
执行渲染时,请在智能体每次执行动作(通过调用 .step() 方法)之后调用 .render() 方法。下面的伪代码说明了如何实现:
while not done:
…
step, reward, terminated, truncated, info = env.step(action.item())
env.render()
…
Gymnasium 让与复杂 RL 环境的交互变得简单。然而,它是一款持续更新且依赖众多组件的软件。因此,留意一些常见错误类型很有必要。
CartPole-v1 与 CartPole-v0 两个版本。尽管环境行为大体一致,但某些参数(如回合长度、回报阈值等)可能不同。在一个版本上训练的策略,换到另一个版本可能表现不佳。您需要更新训练参数并针对每个环境版本重新训练策略。numpy 2.1.3 与 torch 2.5.1。但 Gymnasium 与 torch 1.13.0 与 numpy 1.23.3 的配合最佳。若您在已预装这些依赖的环境中安装 Gymnasium,可能会遇到问题。我们建议在全新的 Conda 环境中安装并使用 Gymnasium。在本教程中,我们回顾了 RL 的基本原理,介绍了作为软件包的 Gymnasium 及其用于对接各类 RL 环境的简洁 API,并展示了如何编写 Python 程序来实现一个简单的 RL 算法并将其应用于 Gymnasium 环境。
在理解本教程的基础知识后,我建议使用 Gymnasium 环境,将 RL 概念应用于实际问题,如出租车路径优化与股票交易仿真。
Gymnasium 自带诸多预构建环境,用于测试和开发 RL 算法。它为这些环境以及新的自定义环境提供了统一的接口,这使实现与评估 RL 算法更为容易。
不止于此。除了 60 多个预构建环境,Gymnasium 还允许您通过声明状态与动作空间,并定义环境对各种动作的响应来创建新环境。
简而言之,由 Farama Foundation 维护的 Gymnasium 是 OpenAI 已不再维护的 Gym 的全新升级版本。Gymnasium 预计可作为 Gym 0.26.2 的无缝替代。
在基于策略的方法(如策略梯度)中,智能体直接修改策略参数,以寻找能带来最大期望回报的策略。
在基于价值的方法中,智能体学习价值函数。学得最优价值函数有助于推导出最优策略。
从零写代码是理解不同 RL 算法的最佳方式。但在生产中,可使用 Stable Baselines3、RLib、CleanRL 等工具。它们提供常见 RL 算法的预构建实现,您需根据环境进行配置与微调。

通过这些课程深入学习强化学习!
Reinforcement Learning(强化学习,RL)是三大机器学习范式之一,另外两种是监督学习和无监督学习。在 RL 中,智能体通过与环境交互,学习如何最大化累计回报。它通过试错在不同环境条件下学习最优动作。基于人类反馈的强化学习(RLHF)允许智能体在每一步根据人类输入调整行为。
RL 可用于解决自动驾驶、自动化交易、电子游戏中的电脑玩家、机器人训练等问题。当用深度神经网络来实现 RL 算法时,称为深度强化学习。
在本教程中,我将带您上手 Gymnasium——一个用于开发和对比强化学习算法的开源 Python 库。我会演示如何进行安装配置、探索各种 RL 环境,并使用 Python 构建一个简单的智能体来实现 RL 算法。
什么是 Gymnasium?
Gymnasium 是一个支持 RL 算法开发的开源 Python 库。为促进 RL 的研究与开发,Gymnasium 提供:
开发者可以构建 RL 算法,并通过 API 调用执行如下任务:
OpenAI 的 Gym 与 Farama 的 Gymnasium
OpenAI 并未在 Gym 的开发上投入大量资源,因为这并非其业务优先事项。由此成立了 Farama Foundation,以在长期内对 RL 库进行标准化与维护。Gymnasium 是 Farama Foundation 对 OpenAI Gym 的分支。Gymnasium 0.26.2 可与 Gym 0.26.2 无缝替换。通过该分支,Farama 计划为所有 API 调用增添函数式(除类式外)方法、支持向量化环境,并改进包装器。总体目标是让框架更简洁高效。