디지털 라이브러리[ 검색결과 ]
자연어 처리에서 대조 학습을 이용한 적대적 훈련
http://doi.org/10.5626/JOK.2025.52.1.52
자연어 처리(NLP)에서는 유사한 입력이 의미적으로 유사한 결과를 내도록 적대적 학습이 연구되어왔다. 그러나 언어에는 의미적 유사성에 대한 객관적인 척도가 없기 때문에, 기존 연구에서는 이러한 유사성을 보장하기 위해 외부의 사전 학습된 NLP 모델을 사용하여 많은 메모리를 소비하는 추가 학습 단계를 도입했다. 이 연구에서는 대조 학습을 이용해 언어 처리 모델을 적대적으로 훈련하는 적대적 학습(ATCL)을 제안한다. 핵심 아이디어는 빠른 경사 방법(FGM)을 통해 입력의 임베딩 공간에 선형의 변화를 만들고 대조 학습을 통해 원래 표현과 변화된 표현을 가깝게 유지하도록 훈련한다. 언어 모델링과 신경망 기계 번역 작업에 ATCL을 적용한 결과, 개선된 정량적(PPL 및 BLEU) 점수를 보여준다. 또한 시뮬레이션을 통해 ATCL은 사전 학습된 모델을 사용하지 않고도 두 작업 모두에서 의미 수준에서 우수한 정성적 결과를 달성한다.
한국어 자모 단위 구성과 높임말을 반영한 한영 신경 기계 번역
http://doi.org/10.5626/JOK.2022.49.11.1017
최근 딥러닝은 기계 번역의 성능을 향상시켜왔지만, 언어별 특성을 반영하지 못하는 경우가 대부분이다. 특별히, 한국어의 경우 단어와 표현에 있어서 독특한 특징들이 오번역을 일으킬 수 있다. 예를 들어, 구글 번역은 한국어 문장의 명사에 종성 형태로 조사가 결합하여 오역하는 경우가 존재하며, 여러 영어 문장이 입력되면 존댓말과 반말이 혼용된 일관성 없는 한국어 문장들을 출력한다. 이는 한국어 단어의 ‘자모 단위 구성’과 ‘존댓말과 반말 간의 구분’이라는 특성이 반영되지 않아 생기는 문제이다. 본 논문에서는 이를 해결하기 위해 번역 모델에 사용하는 서브워드를 자모 단위로 구성하고, 코퍼스 문장들에서 존댓말과 반말을 통일하여 모델을 학습하는 것을 제안한다. 실험에서 제안된 방법의 성능을 검증하기 위해 기존 방법 및 코퍼스와 비교한 결과 위 문제들을 해결하면서 BLEU 점수에서 기존과 유사하거나 소폭 향상된 것을 확인했다.
EdNet 데이터 기반 학습자의 지식 수준 예측을 위한 딥러닝 모델 개선
http://doi.org/10.5626/JOK.2021.48.12.1335
비대면 교육이 늘어나면서 인공지능이 교육에 사용되는 AIEd(AI in Education)분야가 활발히 연구되고 있다. 각 학생의 학습 기록을 바탕으로 학생의 지식 수준을 평가하는 Knowledge Tracing (KT)은 AIEd 분야에서 기본이 되는 작업이지만, 현재까지의 KT모델이 데이터를 충분히 활용하지 않고 있고, KT 모델 구조에 대한 연구가 부족하다는 한계점을 발견했다. 본 논문에서는 KT 모델의 정확도를 올리기 위해 학습자가 풀었던 문제와 학습 시간과 관련된 다양한 특징들을 시도한 후, 기존 모델들과 다르게 총 11개의 특징들을 사용하여 Query, Key, Value 값을 새롭게 설정한 Self-Attention 기반의 새로운 모델, SANTE를 제안한다. 제안한 SANTE 성능을 검증하기 위해 이전의 성능이 뛰어난 KT 모델들과 함께 비교 및 실험을 진행하였고, 최종적으로 AUC 값을 통해 더 좋은 성능을 확인했다.
고유명사 기호화를 통한 신경망기반 한영 번역
http://doi.org/10.5626/JOK.2021.48.10.1084
신경 기계 번역 분야는 딥러닝의 발전과 함께 성능이 발전하고 있지만, 이름, 신조어, 특정 그룹 내에서만 통용되는 단어 등과 같이 고유명사들이 들어간 문장의 번역이 정확하지 않은 경우들이 있다. 본 논문은 고유명사가 들어간 문장의 번역 성능 개선을 위해 최근 제안된 번역 모델인 Transformer Model에 추가적으로 한영 고유명사 사전과 고유명사 기호화 방식을 사용한다. 제안된 방식은 학습에 사용되는 문장의 단어들 중 일부를 고유명사 사전을 이용하여 기호화하고, 기호화된 단어들을 포함한 문장들로 번역 모델을 학습시킨다. 새로운 문장 번역시에도 고유명사 사전을 이용하여 기호화하고 번역후 복호화 하는 방식으로 번역을 완성한다. 제안된 방식의 성능을 검증하기 위해 고유명사 기호화를 사용하지 않은 모델과 함께 비교 실험하였고, BLEU 점수를 통해 수치적으로 개선되는 경우들도 확인했으며, 몇가지 번역 사례들도 상용서비스 결과들과 함께 제시했다.
