GAN에서의 점진학습을 위한 잠재벡터 저장 기반 리허설 방법

정혜민, 최동완

http://doi.org/10.5626/JOK.2023.50.4.351

인간과 달리 딥러닝 모델에게 다수의 태스크에 대한 순차적 학습은 어려운 문제이다. 이는 비 단 분류모델뿐만 아니라 GAN과 같은 생성모델도 해당한다. GAN 지속학습 연구에서 주로 사용하는 Generative Replay 방식은 직전 태스크까지 학습된 GAN이 생성한 이미지를 새로운 태스크 학습 시 함께 사용하는데, 비교적 어려운 태스크에 속하는 CIFAR10에 대해서 좋은 품질의 이미지를 생성하지 못한다. 따라서 실제 이미지의 일부를 저장하는 리허설 기반 방법을 고려해볼 수 있는데, 실제 이미지는 큰 차원을 가지기 때문에 제한된 메모리에 많은 양을 저장할 수 없다. 본 논문에서는 기존 리허설 기반 방식에서 이미지를 저장하는 대신에 GAN의 입력이 되는 잠재벡터를 저장하는 지속학습 방법 LactoGAN과 LactoGAN+를 제안한다. 그 결과 같은 메모리에 더 많은 이미지 정보의 저장이 가능하게 되어 기존 GAN 지속학습 방법들에 비해 더 우수한 결과를 보임을 확인하였다.