Wu, Q. ; Gu, Y. ; Li, Y. ; Zhang, B. ; Chepinskiy, S. ; Wang, J. ; Zhilenkov, A. ; Krasnov, A. ; Chernyi, S. (2020). Position Control of Cable-Driven Robotic Soft Arm Based on Deep Reinforcement Learning. Information. https://doi.org/10.3390/info11060310
@article{Wu_2020, title={Position Control of Cable-Driven Robotic Soft Arm Based on Deep Reinforcement Learning}, volume={11}, ISSN={2078-2489}, url={http://dx.doi.org/10.3390/info11060310}, DOI={10.3390/info11060310}, number={6}, journal={Information}, publisher={MDPI AG}, author={Wu, Qiuxuan and Gu, Yueqin and Li, Yancheng and Zhang, Botao and Chepinskiy, Sergey A. and Wang, Jian and Zhilenkov, Anton A. and Krasnov, Aleksandr Y. and Chernyi, Sergei}, year={2020}, month=jun, pages={310} }
케이블 구동 소프트 암은 대부분 연성 재료로 이루어져 있어 재료 특성 때문에 제어가 어렵고, 따라서 전통적인 로봇 팔 모델링 및 제어 방법을 소프트 로봇 팔에 직접 적용하기 어렵다. 본 논문에서는 데이터 기반 모델링 방법과 강화학습 제어 방법을 결합하여 로봇 소프트 암의 위치 제어 과제를 수행하며, 제어 전략은 딥 Q 러닝 기반 방법을 따른다. 딥 강화학습을 실제 로봇 제어 과제에 적용할 때 시뮬레이션 및 마이그레이션 과정에서 발생하는 느린 수렴과 불안정한 효과를 해결하기 위해, 실험 데이터를 기반으로 한 제어 전략 학습 방법을 설계하여 제어 전략 학습용 시뮬레이션 환경을 구축한 뒤 실제 환경에 적용한다. 마지막으로 실험을 통해 제안 방법이 소프트 로봇 암 제어를 효과적으로 수행할 수 있으며, 전통적 방법보다 더 나은 강인성을 가진다는 것을 입증한다.
본 논문은 실험 데이터로 학습한 MLP 동역학 모델 위에서 DQN 기반 제어 정책을 사전학습(pre-training)하고, 이를 실제 케이블 구동 소프트 암에 이식하는 데이터 기반 sim-to-real 제어 흐름을 제안합니다. 핵심은 실제 장비 의존 학습을 줄이면서도 위치 제어 성능과 강인성을 확보하는 것입니다.