군집 알고리즘과 NSP를 이용한 문서 단위 기계 번역 데이터 증강

김도경, 이창기

http://doi.org/10.5626/JOK.2023.50.5.401

최근 전체 문서의 문맥을 파악해 자연스러운 번역을 하기 위한 문서 단위 기계 번역 연구가 활발히 이루어지고 있다. 문서 단위 기계 번역 모델의 학습을 위해서 문장 단위 기계 번역 모델과 마찬가지로 많은 양의 학습 데이터가 필요로 하지만 대량의 문서 단위 병렬 코퍼스를 구축하는 데 큰 어려움이 있다. 따라서 본 논문에서는 문서 단위 병렬 코퍼스 부족 현상을 개선하기 위해서 문서 단위 기계 번역에 효과적인 데이터 증강 기법을 제안한다. 실험 결과, 문맥이 없는 문장 단위 병렬 코퍼스에 군집 알고리즘과 NSP를 이용한 데이터 증강 기법을 적용하여 문서 단위 기계 번역의 성능을 데이터 증강 기법 적용 전에 비해 S-BLEU 3.0, D-BLEU 2.7 향상할 수 있었다.