Connecting OpenAI Gym and ROS

Contents

0. Introduction
1. Backgrounds 1.1 RL algo 1.2 Robotics
2. Open Manipulator
   2.1 Dependencies
   2.2 Installation
3. Create the open manipulator environment
4. References

0. Introduction

Openai Gym은 Environments를 제공함으로써 강화학습 알고리즘을 비교하는것을 가능하게 한다. 하지만 Openai Gym에서의 로봇 학습 환경은 Gazebo를 이용하는 ROS 기반의 로봇들을 학습하게는 못하는 단점이 있다. 본 페이지는 이러한 Openai Gym과 ROS를 연결하여 Gazebo상에서의 Robot과 Gym 환경을 통해 강화학습을 수행하는 것을 목적으로 한다.

1. Openai_ros package

먼저 openai_ros package를 설치하여야한다. package는 위의 그림과 같은 class를 포함한다.

Training Environments:

• GazeboEnvironment: Gazebo와 Openai 환경을 연결한다. openai_ros package에서 robot_gazebo_env.py에 class code를 확인 할 수 있다. 수정이 필요한 경우 이곳에서 확인 하면 된다.
• RobotEnvironment: ROS 기반의 주요 로봇들을 지원한다. 센서 정보를 받아오거나 actions를 보낼 때 사용된다.
• TaskEnvironment: GazeboEnvirionment와 RobotEnvironment에 함께 로봇을 학습 시킬때 수행될 task에 대한 정의가 있는 class이다.

Training Script:

1.1 Dependencies

1.2 Installation

2. Open Manipulator

2.1 Dependencies

2.2 Installation

3. Create the open manipulator environment

4. References

• openai_ros wiki: http://wiki.ros.org/openai_ros
• open manipulator manuel: http://emanual.robotis.com/docs/en/platform/openmanipulator/ https://github.com/ROBOTIS-GIT/open_manipulator
• gazebo and ros: http://gazebosim.org/tutorials/?tut=ros_control
• reinforcement learning codes: https://github.com/medipixel/rl_algorithms