모델 전문화를 위한 조건부 지식 증류 기법

김학빈, 최동완

http://doi.org/10.5626/JOK.2021.48.4.369

최근 지식 증류기반의 신경망 압축 기법에 관한 연구가 활발히 진행되고 있다. 하지만, 사용자가 교사모델의 전체 클래스 중 일부만을 분류하기 원하는 경우 기존의 지식 증류기법은 불필요한 정보까지 전달하게 되어 비효율성이 발생한다. 또한, 기존의 지식 증류기법은 교사모델의 학습에 사용된 데이터를 필요로 하지만, 개인 정보 문제 등으로 큰 제약이 될 수 있다. 이에 본 논문에서는 교사모델의 전체 클래스 중 특정 클래스들의 분류만을 위한 전문화된 학생모델을 학습하는 조건부 지식 증류기법과 데이터가 없는 상황으로 확장된 조건부 지식 증류기법을 함께 제안한다. 아울러 사용자가 소량의 데이터만 수집한 경우, 위의 두 증류기법이 결합된 방식도 함께 제안한다. 제안하는 기법을 통해 학습된 전문화된 학생모델은 기존의 지식 증류를 통해 학습된 학생모델보다 높은 정확도를 달성하였으며 데이터가 없는 상황에서도 데이터를 사용한 지식 증류기법에 비해 대부분의 실험에서 높은 정확도를 달성하였다.