디지털 라이브러리[ 검색결과 ]
장기 대화를 위한 다각적 주의집중 기반 생성 모델
http://doi.org/10.5626/JOK.2025.52.2.117
더욱 사람 같은 대화 모델을 실현하기 위해, 페르소나 메모리를 활용하여 응답을 생성하는 연구들이 활발히 진행되고 있다. 다수의 기존 연구들에서는 메모리로부터 관련된 페르소나를 찾기 위해 별도의 검색 모델을 이용한다. 그러나 이는 전체 시스템에 속도 저하를 일으키고 시스템을 무겁게 만드는 문제가 있다. 또한, 기존 연구들은 페르소나를 잘 반영해 응답하는 능력에만 중점을 두는데, 그 전에 페르소나 참조의 필요성 여부를 판별하는 능력이 선행되어야 한다. 따라서, 본 논문에서는 검색 모델을 활용하지 않고 생성 모델의 내부에서 다각적 주의집중 연산을 통해 메모리의 참조가 필요한지를 판별한다. 참조가 필요하다고 판단한 경우에는 관련된 페르소나를 반영하여 응답하며, 그렇지 않은 경우에는 대화 문맥에 집중하여 응답을 생성한다. 실험 결과를 통해 제안 모델이 장기적인 대화에서 효과적으로 동작함을 확인하였다.
문서 기반 대화 시스템의 외부 지식 검색을 위한 다중 작업 학습 기반 재순위화 모델
http://doi.org/10.5626/JOK.2023.50.7.606
문서 기반 대화 시스템은 대화에 관련된 외부 문서를 검색하고 해당 문서를 활용해 적절한 응답을 생성한다. 그러나 기존 듀얼 인코더(dual-encoder) 구조의 검색 모델은 문서를 찾는데 낮은 성능을 기록했고, 이를 보완하기 위한 재순위화 모델은 충분히 최적화되지 않은 모습을 보였다. 본 논문에서는 이러한 문제를 해결하고 효과적인 검색을 수행하기 위해 다중 작업 학습 기반 재순위화 모델을 제안한다. 제안 모델은 크로스 인코더(cross-encoder) 구조의 모델로 대조 학습 기반 순위화, MLM(Masked Language Model), PDR(Posterior Differential Regularization)을 미세조정 단계에 동시에 학습하며, 보조 작업인 MLM과 PDR을 통해 모델의 언어 이해 능력과 강건성을 강화하는 방향으로 학습한다. 평가 결과 제안 모델은 베이스라인 모델과 비교했을 때 Recall@1, Recall@5, Recall@10에서 모두 성능 향상을 보였다.
AI에 적합한 일반 상식 추론 대화의 자동 생성을 위한 정량적, 정성적 연구
http://doi.org/10.5626/JOK.2023.50.5.407
인간과 비슷한 정도의 일반 상식 추론 능력은 최근 챗봇 및 대화형 에이전트를 위한 자연어 생성의 품질을 향상시키기 위한 필수적인 요소로 인정받고 있다. 그러나 인공지능 시스템에 요구되는 일반상식의 범위에 대한 명확한 합의는 존재하지 않는다. 본 논문은 인공지능에 적합한 일반 상식에 대한 성별과 연령에 따른 태도의 차이와 대화 주제에 따른 반응의 변이를 살펴보기 위한 실험 조사를 수행하고 정량적, 정성적 분석을 통해 인공지능 챗봇 시스템에 필요한 일반 상식이 무엇인지 논의하였다. 이 논문의 의의는 유용한 정보를 제공하면서 적절한 수준의 공감을 보이는 챗봇 대화에 대한 선호도를 구체화하였다는 것이다.
데이터 생성 및 증강 기반의 개체 그래프를 활용한 음성 대화용 대화 상태 추적 모델
http://doi.org/10.5626/JOK.2022.49.10.891
대화 상태 추적은 목적 지향 대화 시스템의 한 부분으로, 대화를 이해하고 사용자의 목적을 이해하기 위해 수행되어야 하는 작업이다. 최근 Dialogue System Track Challenge (DSTC) 10 트랙2는 이를 음성 대화 환경으로 확장하여 음성 발화에 대한 대화 상태 추적 모델의 강건성을 주제로 진행되었다. 트랙2에서 공개한 평가 데이터는 새로운 시나리오의 등장, 3배 많은 개체 수 그리고 음성 인식된 발화로 이루어진 대화라는 특징을 가지고 있다. 본 논문에서는 이러한 데이터에도 강건한 개체 그래프를 활용한 추출 방식의 대화 상태 추적 모델과 새로운 시나리오에 대한 대화 데이터 생성 및 대화 익명화 방식을 활용한 증강 방법을 제안한다. DSTC10 평가 데이터에 대한 평가 결과 베이스라인 모델과 비교했을 때 Joint Goal Accuracy (JGA)와 Slot Accuracy에서 각각 1.7%, 0.57%의 성능 향상이 있음을 확인하였다.
엔그램 사용량 조절을 통한 딥러닝 기반 Chit-chat 대화시스템의 상투적 응답 생성 제어
http://doi.org/10.5626/JOK.2022.49.1.60
Chit-chat 대화시스템은 컴퓨터와 사용자 간의 자유로운 대화를 위한 시스템으로, 다양하고 흥미로운 응답을 생성하는 것을 목표로 한다. 그러나 maximum likelihood 기반의 일반적인 학습 방식에서 모델이 짧고, 별다른 의미를 내포하지 않는 상투적인(generic) 응답을 과하게 생성하여 시스템에 대한 사용자의 흥미를 떨어뜨리는 문제가 꾸준히 보고되어 왔다. 이에 최근 unlikelihood training을 통하여 고빈도로 등장하는 단어의 과다한 사용에 페널티를 줌으로써 다양한 응답을 생성하는 학습 방법이 제안되었으나, 이는 각 단어의 사용량에 따라 페널티를 줄 뿐 각 단어가 어떠한 맥락으로 사용되었는지는 고려하지 못하는 한계를 가진다. 이에 본 연구에서는 고빈도로 등장하는 엔그램(n-gram) 사용량을 조절하는 방식을 제안하였다. 제안된 방식은 엔그램 단위로 주변 맥락에 대한 정보를 이용함으로써 응답의 상투적인 정도에 따른 페널티를 보다 섬세하게 줄 수 있다는 이점을 가진다.
의료 조언을 위한 질문 의도 인식: 학습 데이터 구축 및 의도 분류
http://doi.org/10.5626/JOK.2021.48.8.878
대부분의 과업 지향 대화 시스템에서는 의도 인식과 개체명 인식이 선행되어야 한다. 본 연구에서는 의료 조언이라는 신규 분야에 대한 대화 시스템 구축을 위해 사용자 질문의 의도를 인식하는 문제를 다룬다. 최종 목적에 해당하는 의료 조언을 위해 필요한 의도 카테고리를 정의하는 것에서부터 학습데이터 수집 및 구축, 레이블링을 위한 가이드라인을 상술한다. 질문 의도 인식을 위해 BERT 기반의 분류모델을 사용했으며 한국어 처리를 위해 변형된 KorBERT도 적용한다. 딥러닝 기반의 모델이 본 연구에서 구축한 중규모의 학습 데이터에서도 좋은 성능을 보이는 것을 검증하기 위해 일반적으로 많이 쓰이는 SVM도 비교 모델로 활용하였다. 실험 결과 8개의 의도 카테고리에 대한 f1 점수가 SVM, BERT, KorBERT에서 각기 69%, 78%, 84% 였으며 향후 데이터 보강을 통해 최종 성능을 높일 예정이다.
GuessWhat?! 문제에 대한 분석과 파훼
http://doi.org/10.5626/JOK.2018.45.1.30
GuessWhat?!은 질문자와 답변자로 구성된 두 플레이어가 이미지를 보고 질문자에게 비밀로 감추어진 정답 물체에 대해 예/아니오/잘 모르겠음 셋 중 하나로 묻고 답하며, 정답 물체를 추려 나가는 문제이다. GuessWhat?!은 최근 컴퓨터 비전과 인공지능 대화 시스템의 테스트베드로서 컴퓨터 비전과 인공지능 학계의 많은 관심을 받았다. 본 논문에서, 우리는 GuessWhat?! 게임 프레임워크가 가지는 특성에 대해 논의한다. 더 나아가, 우리는 제안된 틀을 기반으로 GuessWhat?!의 간단한 solution을 제안한다. 사람이 평균 4～5개 정도의 질문을 통하여 맞추는 이 문제에 대하여, 우리가 제안한 방법은 2개의 질문만으로 기존 딥러닝 기반 기술의 성능을 상회하는 성능을 보이며, 5개의 질문이 허용되면 인간 수준의 성능을 능가한다.
