强化学习之Win10下安装mujuco(超详细)

1.背景

我之前玩的环境都是些简单的、易处理的环境,就是下面这种:(第一张图是移动下面的方块保持杆子立起来环境。第二张图是小车爬山环境,第三张图是给杆子施加力使得杆子保持立起来环境)从图也可以看出,是比较简单的环境。而mujuco提供了半猎豹奔跑环境、人学习走路环境、学习游泳环境等等非常有意思的环境。接下来就介绍一下如何安装mujuco环境。。
强化学习之Win10下安装mujuco(超详细)强化学习之Win10下安装mujuco(超详细)强化学习之Win10下安装mujuco(超详细)

2.介绍

“麻烦给我的电脑来一杯Mujuco”嘻嘻”“
MuJoCo是目前机器人强化学习中最流行的仿真器。它提供了很多有趣复杂的环境,通常以连续动作环境为主。所以,但我们想在这样的环境中测试自己模型的性能的时候,就必须下载Mujoco并且需要有**才可以使用它。 因此我们需要下载Mujuco并获取**,我会在后面”3.下载mujuco“、”4.获取**“讲解如何下载mujuco以及获取**。最后在”5.mujuco的使用“中介绍如何把**加入到下载的mujuco中,并利用python使用mujuco。下面就开始吧!!

3.下载mujuco

打开网址”http://www.mujoco.org/index.html“如下图,按下图的按钮操作,即可下载mojuco压缩包
强化学习之Win10下安装mujuco(超详细)
下载完成后,在下面路径里新建一个”.mujuco“的空文件夹。这个路径最后的zhu是给电脑取的用户名,你的用户名可能是别的。
强化学习之Win10下安装mujuco(超详细)
建完这个空文件夹后,把刚才下载的mujuco压缩文件解压并放到这个空文件夹当中。如下图所示(我放进去了)
强化学习之Win10下安装mujuco(超详细)
再去配置环境变量,把这个bin路径放放到path里面。(不知道下图的界面怎么打开的话,自己去查怎么配置环境变量)
强化学习之Win10下安装mujuco(超详细)
ok,配置完环境变量,记得关机重启!!!完事了,但是没有**是无法使用的。接下来进入”4.获取**“

4.获取**

输入“mujuco”进入官网,或者直接输入网址“http://www.mujoco.org/”

强化学习之Win10下安装mujuco(超详细)
进去之后是全英文的网页,不用怕。我们直接简单粗暴地用浏览器翻译成中文,点击“许可”

强化学习之Win10下安装mujuco(超详细)--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

许可证一共有三种,具体的可以自己看一下。学生的话,可以使用第二种许可,即“Mujoco个人许可证:1年”
下边是按年收费标准,个人非商业需要1年需要大约3300rmb。还是挺贵的,学生的话可以免费使用
下面我介绍的是学生获取个人许可证的方式
先是步骤1:我们填写下面这个表。如下图所示(注意:如果是学生的话,输入电子邮件地址请输入学校给你的邮箱地址,否则我也不清楚能不能成功哈)

强化学习之Win10下安装mujuco(超详细)
填完上面的表,点击“请求许可证”后跳转到下图对应的页面,我这显示注册失败了,原因是我实验室已经有小伙伴用台式电脑注册过了。解决办法就是:使用自己的笔记本电脑按上面步骤进行注册。也就是不要用实验室里的电脑。

强化学习之Win10下安装mujuco(超详细)
注册后,3天内会收到一份邮件。说是说三天,其实我感觉就是第三天会收到一份邮件。
下图是我收到的邮件图。这个附件不重要,重要的是下图箭头指向的账号。

强化学习之Win10下安装mujuco(超详细)

上面步骤1已经获得了账号了。接下来是步骤2
注意,步骤2我们使用实验室的电脑进行(你也可以用笔记本电脑。关键在于这一步你使用的电脑就决定你能在这台电脑上运行mujuco)。输入账号,这个账号就是步骤1邮件给你的账号。输入计算机ID,如果你不知道自己电脑的ID是多少,后边有4个蓝色英文按钮,我的电脑是win64,所以点击蓝色的“win64”,就会自动下载一个可执行文件,然后你双击运行它,就会弹出计算机ID了,复制过来就行了。填写完后点击“注册计算机”按钮。

强化学习之Win10下安装mujuco(超详细)
就跳转到下面这个页面,然后只需要再等待一封电子邮件,这个电子邮件是你的****(很重要,有这个**,才能使用Mujuco)。

强化学习之Win10下安装mujuco(超详细)
然后你马上就会收到一封电子邮件,如下图所示,我们需要下载这个附件,这个附件就是**了。
强化学习之Win10下安装mujuco(超详细)
这下**就有了。

5.mujuco的使用

咋们把**放到”3.下载mujuco“中的文件夹里,一共有两个地方要放**,先是”.mujuco“文件夹下放一个**。如下图所示
强化学习之Win10下安装mujuco(超详细)

然后是下面这个路径下,再放一份**。如下图所示
强化学习之Win10下安装mujuco(超详细)
然后,就完成了。接下来就是使用python去运行它了
先在自己的python里面安装mujuco,使用命令”pip install mujoco-py==1.50.1.56“
强化学习之Win10下安装mujuco(超详细)
安装完成后,输入以下代码
import gym
env = gym.make(‘Ant-v2’)
env.reset()
for _ in range(5000):
env.render()
# take a random action
env.step(env.action_space.sample())
运行就能看到下图界面。(下图是一只蚂蚁,需要学习如何爬行的环境。是不是很好完的样子哈哈)
强化学习之Win10下安装mujuco(超详细)
还有其他很多好玩的环境,这些环境是一些热门强化学习算法研究的对象。目前,但凡涉及到连续动作环境的论文中,实验部分一定会用到mujuco里提供的这些环境的!!