디지털 라이브러리[ 검색결과 ]
Dialog Response Selection을 위한 BERT의 Vertical & Horizonal Hidden Vector Attention 기반 전이학습 모델
http://doi.org/10.5626/JOK.2021.48.1.119
본 논문에서는 DSTC에서 제공하는 데이터를 기반으로 주어진 대화(Dialog)의 다음 문장을 찾는(100개 후보 중 1개의 정답) Dialog Response Selection System을 만드는 것을 목적으로 한다. 이를 위해 사전 학습 모델(Pre-trained Model)인 BERT를 활용하였다. BERT는 대용량 코퍼스에 대해 언어모델(Language Model)로 사전 학습이 되어있어 다목적으로 활용이 가능하고 높은 성능을 내는 장점이 있지만 모델 변형이 쉽지 않고, 입력 데이터 형태가 정해져 있어 성능 최적화를 위한 커스터마이징(Customizing)이 어렵다는 한계점이 있다. 이러한 특성을 보완하기 위해 BERT와 완전히 분리된 독립적 전이학습 모델을 제안한다. BERT를 파인-튜닝(Fine-tuning) 후 컨텍스츄얼 셀프-어텐션 벡터(Contextual Self-attention Vector)(수직(Vertical) & 수평(Horizonal) 히든 벡터(Hidden Vector)를 이용한 셀프-어텐션 벡터 추출)을 뽑아 전이학습 모델의 입력 데이터로 사용하였고 주어진 데이터를 효과적으로 사용하기 위해서 데이터 어그멘테이션(Data Augmentation)을 진행하였다. 이를 통해 최종적으로 22.85%의 성능개선을 달성할 수 있었다.
