Thuruthel, T. ; Falotico, E. ; Renda, F. ; Laschi, C. (2019). Model-Based Reinforcement Learning for Closed-Loop Dynamic Control of Soft Robotic Manipulators. IEEE Transactions on Robotics. https://doi.org/10.1109/tro.2018.2878318
@article{Thuruthel_2019, title={Model-Based Reinforcement Learning for Closed-Loop Dynamic Control of Soft Robotic Manipulators}, volume={35}, ISSN={1941-0468}, url={http://dx.doi.org/10.1109/tro.2018.2878318}, DOI={10.1109/tro.2018.2878318}, number={1}, journal={IEEE Transactions on Robotics}, publisher={Institute of Electrical and Electronics Engineers (IEEE)}, author={Thuruthel, Thomas George and Falotico, Egidio and Renda, Federico and Laschi, Cecilia}, year={2019}, month=feb, pages={124–134} }
소프트 로봇 매니퓰레이터의 동적 제어는 아직 충분히 탐구되고 분석되지 않은 열린 문제이다. 현재 소프트 로봇 매니퓰레이터의 대부분의 응용은 운동학 모델 또는 관절 공간의 선형성에 기반한 정적 또는 준동적 제어기를 사용한다. 그러나 이러한 접근은 소프트 바디 시스템의 풍부한 동역학을 진정으로 활용하지 못한다. 이 논문에서 우리는 소프트 로봇 매니퓰레이터의 폐루프 예측 제어를 위한 모델 기반 정책 학습 알고리즘을 제시한다. 순방향 동역학 모델은 순환 신경망을 사용해 표현한다. 폐루프 정책은 궤적 최적화와 지도학습을 사용해 도출된다. 이 접근은 먼저 케이블 구동 언더액추에이티드 소프트 매니퓰레이터의 시뮬레이션된 조각별 상수 변형률 모델에서 검증된다. 더 나아가 우리는 가변 주파수 제어와 모델링되지 않은 외부 하중을 수용할 수 있는 폐루프 제어 정책을 소프트 공압 구동 매니퓰레이터에서 실험적으로 입증한다.
저자들은 소프트 매니퓰레이터의 폐루프 동적 제어를 위해, 순환신경망(RNN) 기반 순방향 동역학 모델과 궤적 최적화, 그리고 지도학습을 결합한 모델 기반 강화학습 파이프라인을 제안합니다. 핵심은 예측 가능한 모델 위에서 제어 시퀀스를 먼저 계산하고, 이를 정책으로 증류해 실시간 폐루프 제어기로 사용하는 것입니다.