Fair Feature Distillation Using Teacher Models of Larger Architecture

Sangwon Jung, Taesup Moon

http://doi.org/10.5626/JOK.2021.48.11.1176

다양한 비전 어플리케이션에서 알고리즘의 공정성을 달성하는 것은 중요해지고 있다. MMD 기반 공정한 특징 증류(MFD)라는 최신 공정성 기법은 Maximum Mean Discrepancy (MMD) 를 사용한 특징 증류 방법을 통해 기존 방법들과 비교했을 때 정확도와 공정성을 상당히 개선시켰지만, 그들은 교사 모델의 구조가 학생 모델과 같을 때만 적용될 수 있었다. 본 논문에서는, MFD를 기반으로, 더 큰 구조를 가진 교사 모델에서의 특징 증류를 통해 불공정한 편향성을 완화하는 체계적 접근법인 MFD-R을 제안한다. 광범위한 실험을 통해 우리는 MFD-R이 다른 기준 방법이나 MFD와 비교했을 때, 더 큰 교사 모델을 사용하는 이점이 있다는 것을 보인다.