디지털 라이브러리[ 검색결과 ]
긴 문서를 위한 BERT 기반의 End-to-End 한국어 상호참조해결
http://doi.org/10.5626/JOK.2023.50.1.32
상호참조해결은 상호참조해결 대상이 되는 멘션(mention)을 식별하고, 동일한 개체(entity)를 의미하는 멘션들을 찾아 그룹화하는 자연어처리 태스크이다. 최근 상호참조해결에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후, 멘션 탐지와 상호참조해결을 동시에 진행하는 end-to-end 모델이 주로 연구되었으나, BERT의 입력 길이 제한으로 긴 문서에 대해서는 성능이 낮아지는 문제가 있다. 따라서, 본 논문에서는 다음의 모델을 제안하였다. 우선 긴 문서를 512 이하의 토큰으로 쪼개어 기존의 Local BERT에서 단어의 1차 문맥 표현을 얻고, 이를 다시 연결하여 원래 문서에 대한 Global Positional Embedding 값을 계산하여 더해준다. 그리고 이렇게 연결된 문맥 표현을 Global BERT layer를 통해 최종적으로 전체 문맥 표현 계산하여 상호참조해결을 수행하였다. 실험 결과, 본 논문에서 제안한 모델이 기존 모델과 유사한 성능을 보이면서, GPU 메모리 사용량은 1.4배 감소하고 속도는 2.1배 향상되었다.
BERT 기반 2단계 분류 모델과 Co-Attention 메커니즘을 이용한 치매와 조현병 관련 질병 진단
http://doi.org/10.5626/JOK.2022.49.12.1071
최근 환자가 많이 증가함에 따라 사회적 문제를 야기하는 치매와 조현병 진단을 위한 모델을 제안한다. 의사와 내담자의 대화 음성 시료를 전사 작업한 스크립트를 이용해 치매와 조현병의 세부적인 분류를 시도하였다. 두 단계 과정으로 분류를 진행하는 2단계 분류 모델과 Co-Attention 메커니즘을 이용한 분류 모델을 제안하였다. 2단계 분류 모델은 정상군과 환자군 각각의 발화에서 계산되는 perplexity 차이에 기반한 분류와 미세 조정한 BERT 모델을 이용한 분류의 통합을 시도한 모델이다. Co-Attention 메커니즘을 이용한 분류 모델은 의사와 내담자 발화를 분리해 각 발화에 대해 표상을 구하고, 이를 바탕으로 표상 간의 어텐션 가중치 공유를 통해 분류하는 모델이다. BERT 모델을 미세 조정하여 분류를 시도한 Baseline 모델과의 F1 점수 비교를 통해 2단계 분류 모델은 7개 분류 태스크 중 4개의 태스크에서 성능 향상을 확인 하였고, Co-Attention 메커니즘 모델은 8개 분류 태스크 중 4개의 태스크에서 가장 높은 F1 점수를 보인 것을 확인하였다.
키워드와 문장 임베딩을 활용한 조항별 분류모델 기반 계약서 적격성 검증
http://doi.org/10.5626/JOK.2022.49.10.848
최근에는 계약서를 포함한 법률 문서들을 대량으로, 빠르고 정확하게 처리하기 위하여 인공지능을 활용한 자동화된 분석 방법이 요구된다. 계약서는 그 안에 필수적인 조항들이 모두 포함되었는지, 어느 한 쪽에 불리한 조항은 없는지 등을 확인하여 적격성을 검증할 수 있다. 이때 계약서를 이루는 조항들은 계약서의 종류와 관계없이 매우 정형적이고 반복적인 경우가 많다. 본 연구에서는 이러한 성격을 이용하여 계약서 내 조항별 분류 모델을 구축하였으며, 계약서의 관습적인 요구사항에 기반하여 구성한 키워드 임베딩을 구축하고 이를 BERT 임베딩과 결합하여 사용한다. 이때 BERT 모델은 한국어 사전학습모델을 법률 도메인 문서를 이용하여 미세 조정한 것이다. 각 조항의 분류 결과는 정확도 90.57과 90.64, F1 점수 93.27과 93.26으로 우수한 수준이며, 이렇게 계약서를 이루는 각 조항이 어떤 필수조항에 해당되는지의 예측 결과를 통해 계약서의 적격성을 검증할 수 있다.
KorSciQA 2.0: 과학기술 분야 한국어 논문 기계독해를 위한 질의응답 데이터셋
http://doi.org/10.5626/JOK.2022.49.9.686
최근 다양한 질의응답 공개 과제를 통해 기계독해 시스템의 성능은 향상되고 있으며, 더욱 지능화된 기계독해 시스템의 학습을 위해 여러 텍스트 단락과 지문을 포괄적으로 이해하고 이산적인 추론을 해야 하는 도전적인 과제가 공개되고 있다. 그러나 한국어 학술정보를 이해하기 위한 복합추론 목적 질의 응답 데이터셋의 부재로 인해 학술 논문에 대한 기계독해 연구는 활발히 이루어지지 않고 있다. 본 논문에서는 한국어 학술 논문의 전문을 대상으로 난이도를 일반, 하, 상으로 나누어 기계독해 시스템의 변별력을 확인할 수 있는 질의응답 데이터인 KorSciQA 2.0을 구축하였으며, KorSciQA 2.0을 구축하기 위한 방법론과 프로세스, 그리고 시스템을 제안하였다. KorSciQA 2.0에 대한 기계독해 성능 평가 실험 결과, 과학기술분야 도메인에 대한 한국어 기반 BERT 모델인 KorSciBERT 모델을 기반으로 미세 조정(Fine-tuning)하였을 때, F1 성능이 80.76%로 가장 높은 성능을 보였다.
CBCA 준거 분류에서의 BERT 기반 모델 성능 비교
http://doi.org/10.5626/JOK.2022.49.9.727
아동 성범죄의 경우 피해자의 진술은 사건의 유, 무죄를 판별함에 있어서 매우 중요하게 작용하기 때문에, 대검찰청에서는 피해자 진술 분석 기법인 Criteria-Based Content Analysis (CBCA)에 따라, 진술 내용을 총 19개의 준거로 분류하여 진술 전체의 신빙성을 판단한다. 그러나 이는 진술분석관의 주관적 의견에 따라 준거 분류가 상이할 수 있다. 따라서 본 논문에서는 BERT와 RoBERTa를 사용하여 객관적 분류 모델을 제시하기 위하여 크게 두가지 분류 방식을 적용하여 비교 분석하였다. 두 가지 방법은 전체 준거를 동시에 분류하는 방식과 4개의 그룹으로 나누어 1차 분류 후 해당 그룹 내에서 어떠한 준거인지 2차 분류하는 방식으로 구성하였다. 진술 문장을 CBCA의 중복 분류되는 준거를 제외한 16개 준거로 분류하고, 여러 사전 학습 모델을 사용한 비교 분석을 수행하였다. 분류 결과, 전자의 분류 방식이 총 16개의 준거 중 13개의 준거에서 후자의 분류 방식보다 성능이 높았으며, 학습 데이터의 수가 상대적으로 부족한 3개의 준거에서 후자의 방식이 효과적임을 확인하였다. 또한 RoBERTa 기반 모델이 16개의 준거 중 15개의 준거에서 BERT 기반 모델보다 성능이 높았으며, 나머지 1개의 준거에서는 한국어 대화형 구어체만으로 사전학습한 BERT 모델만이 유일하게 분류하였다. 이는 대화형 구어체 데이터로 사전 학습된 모델이 아동의 진술 문장을 분류함에 있어서 효과적임을 알 수 있다.
감정 어휘 사전을 활용한 KcBert 기반 영화 리뷰 말뭉치 감정 분석
http://doi.org/10.5626/JOK.2022.49.8.608
감정 분석은 텍스트 데이터에 표현된 인간이 느끼는 감정을 기쁨, 슬픔, 분노, 놀람, 공포 등의 다양한 감정 유형으로 분류하는 것이다. 본 연구에서는 감정 어휘 사전을 활용하여 영화 리뷰 말뭉치에 표현된 감정을 기쁨, 슬픔, 공포, 분노, 혐오, 놀람, 흥미, 지루함, 통증의 9가지로 분류하여 감정 말뭉치를 구축하고, KcBert에 감정 말뭉치를 학습시켜 모델의 성능을 평가하였다. 감정 말뭉치를 구축하기 위해 심리학 모델을 기반으로 한 감정 어휘 사전을 사용하였는데, 감정 어휘 사전의 어휘와 영화 리뷰 말뭉치에 나타난 감정 어휘가 일치하는지 여부를 판단하고, 영화 리뷰 말뭉치의 마지막에 등장하는 어휘에 일치하는 감정 유형을 주석하였다. 이렇게 구축한 감정 말뭉치를 NSMC로 사전 학습된 KcBert에 학습시켜 그 성능을 평가한 결과, KcBert는 감정을 9가지 유형으로 분류한 모델에서도 우수한 성능을 보였다.
다중 인코더 구조를 활용한 기계번역 품질 예측
http://doi.org/10.5626/JOK.2022.49.7.521
기계번역 품질 예측은 기계가 번역 문장의 품질을 주어진 정답 번역 문장이 없이 예측하는 것을 말한다. 최근에 품질 예측 분야의 연구 동향은 다량의 병렬 말뭉치로 학습된 트랜스포머 인코더 기반의 사전학습 모델을 이용하여 전이 학습을 적용한다. 본 논문에서는 품질 예측과 같은 교차 언어 태스크에서 단일 인코더 구조가 가지는 한계를 극복하기 위해 인코더에서 각 언어에 대한 단일 언어 표현을 개별적으로 학습하고 상호 참조망에서 교차 언어 표현을 학습하는 이중 인코더 구조를 제시한다. 이중 인코더 구조가 단일 인코더 구조보다 품질 예측 태스크에서 구조적으로 유리함을 입증하고, 나아가 이중 인코더 모델에 사전학습된 언어 모델을 적용하여 품질 예측 태스크에서 이중 인코더 모델의 성능과 안정성을 높인다. WMT20 품질 예측 영어-독일어 쌍에 대해서 실험을 진행했다. 사전학습 모델로서 영어 Bidirectional Encoder Representations from Transformers (BERT) 언어 모델과 독일어 BERT 언어 모델이 각각의 인코더에 적용되었고 가장 뛰어난 성능을 보여주었다.
SMERT: 감성 분석 및 감정 탐지를 위한 단일 입출력 멀티 모달 BERT
http://doi.org/10.5626/JOK.2021.48.10.1122
감성 분석은 텍스트로부터 주관적인 의견 및 성향을 분석하고, 감정 탐지는 ‘행복’, ‘슬픔’과 같이 텍스트에서 나타나는 감정을 검출하는 연구다. 멀티 모달 데이터는 텍스트뿐만 아니라 이미지, 음성 데이터가 함께 나타나는 것을 의미한다. 관련 선행 연구에서 순환 신경망 모형 혹은 교차 트랜스포머를 사용한다. 하지만 순환 신경망 모형은 장기 의존성 문제를 가지며, 교차 트랜스포머는 모달리티별 특성을 반영하지 못하는 문제점이 있다. 이를 해결하기 위해 본 연구에서는 멀티 모달 데이터가 하나의 네트워크로 학습되는 단일 입출력 트랜스포머 기반 모형 SMERT를 제안한다. SMERT는 모달리티 결합 표현형을 얻어 이를 감성 분석 및 감정 탐지에 활용한다. 또한, BERT의 훈련 태스크를 멀티 모달 데이터에 활용하기 위해 개량하여 사용한다. 제안하는 모델의 검증을 위해 CMU-MOSEI 데이터셋과 여러 평가 지표를 이용하고, 모달리티 조합별 비교실험과 예시를 통해 모델의 우수성을 검증하였다.
감정 분석을 위한 BERT 사전학습모델과 추가 자질 모델의 결합
http://doi.org/10.5626/JOK.2021.48.7.815
대규모 코퍼스에 기반한 사전학습모델인 BERT 모델은 언어 모델링을 통해 텍스트 내의 다양한 언어 정보를 학습할 수 있다고 알려져 있다. 여기에는 별도의 언어 자질이 요구되지 않으나, 몇몇 연구에서 특정한 언어 지식을 추가 반영한 BERT 기반 모델이 해당 지식과 관련된 자연어처리 문제에서 더 높은 성능을 보고하였다. 본 연구에서는 감정 분석 성능을 높이기 위한 방법으로 한국어 감정 사전에 주석된 감정 극성과 강도 값을 이용해 감정 자질 임베딩을 구성하고 이를 보편적 목적의 BERT 모델과 결합하는 외적 결합과 지식 증류 방식을 제안한다. 감정 자질 모델은 작은 스케일의 BERT 모델을 적은 스텝 수로 학습하여 소요 시간과 비용을 줄이고자 했으며, 외적 결합된 모델들은 영화평 분류와 악플 탐지문제에서 사전학습모델의 단독 성능보다 향상된 결과를 보였다. 또한 본 연구는 기존의 BERT 모델 구조에 추가된 감정 자질이 언어 모델링 및 감정 분석의 성능을 개선시킨다는 것을 관찰하였다.
BERT 기반 회의록 내 리더 의사 결정 분류 모델
http://doi.org/10.5626/JOK.2021.48.5.568
조직 내 의사 결정을 내릴 때 리더의 스타일은 다양하며 그 스타일은 조직의 능률과도 높은 관련성을 가진다. 이러한 의사 결정에 있어 주요 단어와 주요 화자를 이해하고자 우리는 리더를 포함한 조직원들의 회의에서 리더의 최종 의사 결정을 예측하는 문제를 설정하였다. 데이터로 우리는 조선왕조실록 내 회의록을 선택하였고, 그중에서 왕의 최종 의사 결정이 포함된 회의록을 선별하였다. 이 문제를 풀고자 우리는 Conversational Decision Making Model with BERT(CDMM-B)를 제안한다. CDMM-B는 BERT와 RNN을 포함한 계층형의 모델로 단어와 화자를 동시에 고려한다. CDMM-B는 리더의 최종 결정을 찾아내는 문제에서 다른 베이스라인들보다 우수한 성능을 보인다. 그리고 추가 실험을 통해 화자와 발화 순서의 중요성을 살펴보았다.
