다중 인코더 구조를 활용한 기계번역 품질 예측

허담, 이원기, 이종혁

http://doi.org/10.5626/JOK.2022.49.7.521

기계번역 품질 예측은 기계가 번역 문장의 품질을 주어진 정답 번역 문장이 없이 예측하는 것을 말한다. 최근에 품질 예측 분야의 연구 동향은 다량의 병렬 말뭉치로 학습된 트랜스포머 인코더 기반의 사전학습 모델을 이용하여 전이 학습을 적용한다. 본 논문에서는 품질 예측과 같은 교차 언어 태스크에서 단일 인코더 구조가 가지는 한계를 극복하기 위해 인코더에서 각 언어에 대한 단일 언어 표현을 개별적으로 학습하고 상호 참조망에서 교차 언어 표현을 학습하는 이중 인코더 구조를 제시한다. 이중 인코더 구조가 단일 인코더 구조보다 품질 예측 태스크에서 구조적으로 유리함을 입증하고, 나아가 이중 인코더 모델에 사전학습된 언어 모델을 적용하여 품질 예측 태스크에서 이중 인코더 모델의 성능과 안정성을 높인다. WMT20 품질 예측 영어-독일어 쌍에 대해서 실험을 진행했다. 사전학습 모델로서 영어 Bidirectional Encoder Representations from Transformers (BERT) 언어 모델과 독일어 BERT 언어 모델이 각각의 인코더에 적용되었고 가장 뛰어난 성능을 보여주었다.