커리큘럼 러닝을 이용한 항공기 강화학습

배정호, 강윤성, 윤석민, 김용덕, 김성호

http://doi.org/10.5626/JOK.2021.48.6.707

전 세계적으로 무인 항공기 제어를 위한 다양한 알고리즘이 제안되었지만 탐색시간, 불명확한 규칙 등의 제한사항이 있었다. 이를 극복하기 위하여 본 연구에서는 심층 강화학습을 이용한 제어 기법을 적용하고 효과적인 학습을 위하여 조준각도(ATA) 기반의 커리큘럼 러닝을 제안한다. 제안한 기법의 효용성을 확인하기 위하여 항공기 질점 6-자유도 모델을 적용한 3차원 시뮬레이션 환경을 구축하고 두 항공기가 서로 뒤돌아 보고 있는 상황에서 격추하는 시나리오를 학습하였다. 그 결과 커리큘럼 러닝을 적용하지 않았을 경우 ATA 60° 이상은 제한된 시간에 학습이 완료되지 않은 것이 반해 ATA 기반 커리큘럼 러닝을 적용한 경우에는 별도의 보상함수 추가 없이 180°까지 학습이 완료되는 것을 확인하였다.