🧠 强化学习

基于 Isaac Gym 仿真平台的强化学习训练流程示例

包括环境配置、依赖安装、训练与测试方法等步骤，使用户能够在 GPU 加速的物理仿真环境中构建并验证适用于 PND 机器人的运动控制策略。

🖥️ 硬件与系统要求

Isaac Gym 使用 GPU 加速仿真，建议配置如下：

项目	推荐配置
操作系统	≥ Ubuntu 20.04 x86_64（暂不支持 Mac/Windows）
显卡	NVIDIA RTX 系列（推荐显存 ≥ 8GB）
驱动版本	≥ 525
Python版本	Python 3.8
支持型号	Adam Lite

🌍 环境与依赖

本章节介绍如何创建运行强化学习示例所需的虚拟环境，并安装 PyTorch、Isaac Gym、rsl_rl等依赖组件。

1. 创建虚拟环境（使用 Conda）

建议使用 Conda 创建独立虚拟环境，以避免依赖冲突。如果系统已安装Conda，可直接进入1.2 创建新环境。

1.1 安装 MiniConda（如尚未安装）

MiniConda 是 Conda 的轻量版，用于快速创建和管理 Python 环境。

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh

初始化 Conda：

~/miniconda3/bin/conda init --all
source ~/.bashrc

1.2 创建新环境

conda create -n pnd_rl_gym python=3.8 -y

1.3 激活环境

conda activate pnd_rl_gym

2. 安装 PyTorch

PyTorch 用于神经网络训练与推理。

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia -y

3. 安装 Isaac Gym

Isaac Gym 是 NVIDIA 提供的 GPU 加速物理仿真平台，是本项目训练过程的核心。

3.1 下载并安装

下载Isaac Gym Preview 4仿真平台，解压后进入 python 目录安装：

cd isaacgym/python
pip install -e .

3.2 验证

运行示例：

cd examples
python 1080_balls_of_solitude.py

若弹出模拟窗口并正常显示 1080 颗球下落，则安装成功。

isaacgym

如遇问题，可参考 isaacgym/docs/index.html。

4. 安装 rsl_rl

rsl_rl 是 leggedrobotics 提供的强化学习算法库（如 PPO）。

git clone https://github.com/leggedrobotics/rsl_rl.git
cd rsl_rl
git checkout v1.0.2
pip install -e .

🏋️ 模型训练使用

1. 下载PND官方示例代码

pnd_rl_gym 是 PND 的 RL 训练工程，包含环境、配置和训练脚本。

1.1 下载

git clone https://github.com/pndbotics/pnd_rl_gym.git

1.2 安装

cd pnd_rl_gym
pip install -e .

2. 激活环境

cd pnd_rl_gym
conda activate pnd_rl_gym

3. 开始训练

python legged_gym/scripts/train.py --task=adam_lite_12dof --headless

终端返回如上命表示启动成功

4. 执行测试

python play.py --task=adam_lite_12dof

issac

📚 致谢与引用

最后更新：2025-11-26