Chen, J. ; Lau, H. ; Xu, W. ; Ren, H. (2016). Towards transferring skills to flexible surgical robots with programming by demonstration and reinforcement learning. 2016 Eighth International Conference on Advanced Computational Intelligence (ICACI). https://doi.org/10.1109/icaci.2016.7449855
@inproceedings{Chen_2016, title={Towards transferring skills to flexible surgical robots with programming by demonstration and reinforcement learning}, url={http://dx.doi.org/10.1109/icaci.2016.7449855}, DOI={10.1109/icaci.2016.7449855}, booktitle={2016 Eighth International Conference on Advanced Computational Intelligence (ICACI)}, publisher={IEEE}, author={Chen, Jie and Lau, Henry Y K and Xu, Wenjun and Ren, Hongliang}, year={2016}, month=feb, pages={378–384} }
텐던 구동 유연 뱀형 매니퓰레이터와 같은 유연 매니퓰레이터는 키홀 절개를 통한 협소 공간 내 내비게이션을 포함한 최소침습 수술 과제에서 전통적 강체 매니퓰레이터보다 우수한 성능을 보인다. 그러나 고유한 비선형성과 모델 불확실성으로 인해 이러한 매니퓰레이터의 운동 제어는 매우 어렵다. 본 연구는 이 문제를 해결하기 위해 Programming by Demonstration(PbD)와 강화학습을 결합한 하이브리드 프레임워크를 제안한다. GMM, GMR, 선형회귀를 사용해 인간 시연으로부터 매니퓰레이터의 역기구학 모델을 학습하고, 이를 명목 모델로 사용해 말단 궤적을 계산한다. 튜브 삽입과 원 추종 두 수술 과제를 통해 강화학습의 효과를 검증한다. 표준 모델에 가우시안 노이즈를 주입한 교란 모델을 이용해 과제별 말단 궤적에 대한 구동 입력을 계산하고, 롤아웃 반환을 사용한 EM 기반 강화학습 알고리즘으로 교란 모델을 갱신한다. 시뮬레이션 결과 교란 모델이 표준 모델로 수렴할 수 있고 추적 정확도가 향상됨을 확인했다.
저자들은 PbD로 역기구학 명목모델을 먼저 학습하고, RL로 교란 모델을 반복 보정하는 하이브리드 프레임워크를 제안합니다.