디지털 라이브러리[ 검색결과 ]
사전 학습된 한국어 언어 모델의 보정
http://doi.org/10.5626/JOK.2021.48.4.434
심층 학습 모델의 발전은 컴퓨터 비전, 자연언어 이해 문제들에서 인간을 뛰어넘는 성능을 보이고 있다. 특히 트랜스포머 기반의 사전 학습 모델은 질의응답, 대화문과 같은 자연언어 이해 문제에서 최근 높은 성능을 보인다. 하지만 심층 학습 모델의 급격한 발전 양상에 비해, 이의 동작 방식은 상대적으로 잘 알려져 있지 않다. 심층 학습 모델을 해석하는 방법으로 모델의 예측 값과 실제 값이 얼마나 일치하는지를 측정하는 모델의 보정이 있다. 본 연구는 한국어 기반의 사전 학습된 심층 학습 모델의 해석을 위해 모델의 보정을 수행했다. 그리고 사전 학습된 한국어 언어 모델이 문장이 내포하는 애매성을 잘 파악하는지의 여부를 확인하고, 완화 기법들을 적용하여 문장의 애매성을 확신 수준을 통해 정량적으로 출력할 수 있도록 했다. 또한 한국어의 문법적 특징으로 인한 문장의 의미 변화를 모델 보정 관점에서 평가하여 한국어의 문법적 특징을 사전 학습된 언어 모델이 잘 이해하고 있는지를 정량적으로 확인했다.
효율적인 자동 주석을 위한 단어 임베딩 인공 신경 정리 증명계 구축
본 연구는 전문기관에서 생산되는 검증된 문서의 정보를 웹상의 수많은 검증되지 않은 문서에 자동 주석하여 신뢰도를 향상하고 심화 정보를 추가하는 시스템을 제안한다. 제안하는 시스템은 국가암정보센터의 검증된 문서들에서 추출한 19,304개 명제를 위키피디아 암 관련 문서에서 추출한 1,486개 명제에 주석하는 과제를 수행하기 위해, 기존 인공 신경 정리 증명계의 순환 모듈을 단어 임베딩 모듈로 교체하였다. 이를 통해 기존의 근본적인 문제점이었던 학습 시간 문제를 해결하였고, 동일한 환경에서 기존 시스템의 학습 시간이 233.9일로 추정된 것에 비해 재구축한 시스템은 102.1분 내로 학습이 완료되었다. 제안하는 시스템의 장점은 명제를 텐서로 인코딩하여 미분 가능하게 전체적인 연산을 진행하는 인공 신경 정리 증명계가 단어의 정확한 일치를 파악하는 전통적인 정리 증명계를 포함하며 동시에 유사어 관계로부터의 논리 전개 역시 가능하게 한다는 점을 실제 문서 데이터에서 입증했다는 것이다.
