디지털 라이브러리[ 검색결과 ]
모델 전문화를 위한 조건부 지식 증류 기법
http://doi.org/10.5626/JOK.2021.48.4.369
최근 지식 증류기반의 신경망 압축 기법에 관한 연구가 활발히 진행되고 있다. 하지만, 사용자가 교사모델의 전체 클래스 중 일부만을 분류하기 원하는 경우 기존의 지식 증류기법은 불필요한 정보까지 전달하게 되어 비효율성이 발생한다. 또한, 기존의 지식 증류기법은 교사모델의 학습에 사용된 데이터를 필요로 하지만, 개인 정보 문제 등으로 큰 제약이 될 수 있다. 이에 본 논문에서는 교사모델의 전체 클래스 중 특정 클래스들의 분류만을 위한 전문화된 학생모델을 학습하는 조건부 지식 증류기법과 데이터가 없는 상황으로 확장된 조건부 지식 증류기법을 함께 제안한다. 아울러 사용자가 소량의 데이터만 수집한 경우, 위의 두 증류기법이 결합된 방식도 함께 제안한다. 제안하는 기법을 통해 학습된 전문화된 학생모델은 기존의 지식 증류를 통해 학습된 학생모델보다 높은 정확도를 달성하였으며 데이터가 없는 상황에서도 데이터를 사용한 지식 증류기법에 비해 대부분의 실험에서 높은 정확도를 달성하였다.
지식의 증류기법(Knowledge Distillation)을 이용한 한국어 구구조 구문 분석 모델의 압축
http://doi.org/10.5626/JOK.2018.45.5.451
Sequence-to-sequence 모델은 입력열을 길이가 다른 출력열로 변환하는 end-to-end 방식의 모델로, 높은 성능을 내기 위해 attention mechanism, input-feeding 등의 기술들을 사용하여 속도가 느려 실제 서비스에 적용되기 어렵다는 단점이 있다. 본 논문에서는 학습된 인공신경망을 실제 서비스에 적용하기 위해 효과적으로 모델을 압축하여 속도를 향상시키는 방법인 지식의 증류기법(Knowledge distillation)의 기술 중에서 자연어처리를 위한 sequence-level knowledge distillation을 한국어 구구조 구문 분석에 적용하여 성능저하를 최소화하여 모델 압축을 시도하였다. 실험 결과 hidden layer의 크기를 500에서 50까지 줄였을 때 baseline 모델보다 F1 0.56%의 성능향상을 보였고 속도는 60.71배 빨라지는 효과를 보였다.
