언어-영상 사전 학습 모델 기반 샘플 선택을 활용한 노이즈 레이블 학습

차봉건, 최민진, 이종욱

http://doi.org/10.5626/JOK.2023.50.6.511

심층신경망은 부정확한 레이블을 가진 데이터를 학습하는 경우 일반화 성능이 크게 저하되는 문제가 있다. 기존 연구는 모델이 학습 초기 단계에 정답 레이블을 가진 깨끗한 데이터를 주로 학습하는 경향을 관찰하였고, 이를 기반으로 손실 값이 작은 샘플을 깨끗한 데이터로 간주하여 데이터를 선별적으로 학습하는 샘플 선택 방법을 통해 성능을 개선하였다. 그러나 노이즈 레이블이 정답 레이블과 유사한 경우(예: 물개 vs 수달) 모델이 초기 학습 과정에서 노이즈 데이터를 빠르게 학습하여 샘플 선택 방법이 효과적이지 못한 한계가 있다. 본 논문에서는 사전 학습된 언어-영상 모델의 제로 샷 예측을 기반으로 모델의 초기 학습 과정 없이 깨끗한 데이터를 효과적으로 구분하여 학습하는 SLIP을 제안한다. 본 연구의 제안모델은 CIFAR-10, CIFAR-100, WebVision 데이터셋에서 학습 결과 기존 제안 방법들 대비 최대 18.45%p 개선된 성능을 보인다.