Isaac Lab 강화 학습 환경 구조 가이드

목차

1. 개요
2. 전체 구조
3. 핵심 컴포넌트 상세 설명
4. 실행 흐름
5. 커스텀 환경 구축 가이드

개요

Isaac Lab은 NVIDIA Isaac Sim 위에서 작동하는 강화 학습 환경 프레임워크입니다. reach_env_cfg.py는 로봇 팔이 목표 위치(end-effector pose)를 추적하는 강화 학습 태스크를 정의하는 메인 설정 파일입니다.

주요 특징

• Manager 기반 구조: 관찰(Observation), 행동(Action), 보상(Reward), 종료 조건(Termination) 등을 독립적인 Manager로 분리
• 벡터화 된 환경: 수천 개의 병렬 환경을 GPU에서 동시 실행
• 모듈화: 각 컴포넌트를 독립적으로 수정 및 확장 가능

전체 구조

Isaac Lab RL Environment
│
├── Scene Configuration (장면 설정)
│   ├── Robot (로봇 아티큘레이션)
│   ├── Objects (테이블, 바닥 등)
│   └── Lights (조명)
│
├── MDP (Markov Decision Process) Components
│   ├── Observations (관찰)
│   ├── Actions (행동)
│   ├── Commands (명령/목표)
│   ├── Rewards (보상)
│   ├── Terminations (종료 조건)
│   ├── Events (이벤트/리셋)
│   └── Curriculum (커리큘럼 학습)
│
└── Environment Configuration
    ├── Simulation Settings (시뮬레이션 설정)
    └── Episode Settings (에피소드 설정)

핵심 컴포넌트 상세 설명

1. Scene Configuration (ReachSceneCfg)