디지털 라이브러리[ 검색결과 ]
추론 경로를 통한 거대언어모델 기반 제로샷 대화형 추천시스템 성능 개선
http://doi.org/10.5626/JOK.2025.52.7.617
대화형 추천시스템은 사용자와의 양방향 상호작용을 통해 개인화된 항목 추천을 제공한다. 기존 대화형 추천시스템은 사용자의 선호를 효과적으로 포착하기 위해 지식 그래프와 같은 외부 지식에 의존해왔다. 최근 거대언어모델의 급속한 발전으로 제로샷 기반 추천이 가능해졌으나, 사용자의 암시적 선호도 파악과 최적의 추론 경로 설계라는 도전 과제가 존재한다. 본 연구에서는 이러한 한계를 해결하기 위해 제로샷 기반 대화형 추천시스템에서 적합한 추론 경로 구성의 중요성을 검증하고, 이에 기반한 새로운 접근법의 가능성을 탐구한다. 제안된 프레임워크는 (1) 대화 맥락에서 명시적 및 잠재적 선호도를 추출하고, (2) 이를 바탕으로 추론 트리를 구축하여 최적의 추론 경로를 선택하는 두 단계로 구성된다. 대표적인 벤치마크 데이터셋인 INSPIRED와 ReDial에서 제안 방법은 기존 제로샷 방법 대비 Recall@10에서 최대 11.77%의 성능 개선을 달성하였으며, 일부 학습 기반 모델의 성능을 상회한다.
거대 언어모델을 활용한 측면 기반 비교 요약
http://doi.org/10.5626/JOK.2025.52.7.579
본 논문은 사용자의 의사 결정을 돕기 위해 두 아이템의 리뷰 셋으로부터 두 아이템을 비교할 수 있는 측면 기반 비교 요약문 생성 방법을 제안한다. 두 아이템의 리뷰가 주어졌을 때, 아이템들이 가진 다양한 측면들을 비교하기 위해 거대 언어모델을 활용하여 각 리뷰에서 주요 측면을 동적으로 생성한다. 각 리뷰에서 추출된 측면으로부터 두 아이템을 비교할 공통된 측면을 도출하기 위해, 두 아이템의 측면 리스트를 병합한다. 리뷰에서 불필요한 정보를 제거하기 위해 아이템 리뷰의 문장들을 가장 유사한 측면으로 분류한 후, 요약 과정을 거쳐 핵심 정보만 남긴다. 다음으로 공통된 측면마다 개별 아이템에 대한 전반적인 내용을 담으면서 동시에 대응하는 아이템과 비교할 수 있도록 거대 언어모델을 활용하여 추상 요약문을 생성한다. 실험에서는 호텔, 전자기기, 가구 도메인에서 사람이 작성한 비교 요약문과 시스템이 생성한 요약을 비교하였으며, 제안한 방법이 기존의 비교 모델보다 우수한 요약 성능을 보였다.
돌연변이 단백질에 대한 사전 학습 대규모 언어 모델 기반 약물-표적 결합 친화도 예측
http://doi.org/10.5626/JOK.2025.52.6.539
신약 개발은 높은 비용과 긴 시간이 소요되며, 특히 단백질 돌연변이가 약물-표적 결합 친화도에 미치는 영향을 정량적으로 예측하는 것은 중요한 과제이다. 기존 연구에서는 아미노산 서열 처리를 위해 LSTM과 트랜스포머 모델이 활용되었으나, LSTM은 장기 의존성 문제, 트랜스포머는 높은 연산 비용의 한계를 가진다. 반면, 사전 학습된 거대 언어 모델(pLLM)은 긴 시퀀스 처리에 강점을 가지지만, 프롬프트 기반 접근만으로는 정확한 결합 친화도 예측이 어렵다. 본 연구에서는 pLLM을 활용하여 단백질 구조 데이터를 임베딩 벡터로 변환하고, 별도의 머신러닝 모델로 결합 친화도를 예측하는 방법을 제안한다. 실험 결과, 제안된 방법은 기존 LSTM 및 프롬프트 접근법보다 우수한 성능을 보였으며, 돌연변이 특이적 예측에서도 낮은 RMSE와 높은 PCC를 기록하였다. 또한, pLLM 모델의 양자화에 따른 성능 분석을 통해 낮은 연산 비용으로도 충분한 성능을 발휘할 수 있음을 확인하였다.
비윤리적 유머를 활용한 LLM 안전성 평가
http://doi.org/10.5626/JOK.2025.52.6.508
본 연구는 한국어 유머 중 사회적으로 위험한 사례를 활용하여 생성형 언어모델의 안전성 평가를 진행한다. 최근 언어모델이 사회적 규범, 윤리에 어긋나는 입력에 대해 그럴듯한 답변을 생성하는 등의 악용 사례가 발생하면서 안전한 인공지능 개발의 중요성이 확대되었다. 이러한 사회적 흐름에서 본 연구는 AI의 잠재적 위험을 식별하고 방어하기 위해 유머 내의 포함된 위험을 분석하고 이를 평가할 수 있는 벤치마크를 개발하여 실험하였다. 위험한 유머는 유희성과 재미, 농담 맥락 속에서 비윤리적이거나 위험한 요소들이 간과된다. 이는 AI 안전성 평가에서 중요하게 다루어지는 교묘하면서도 우회적인 입력 패턴과 유사하여 위험한 유머를 통해 대표적인 생성형 언어모델의 안전성 평가를 수행하였다. 실험은 비윤리적인 유머와 관련한 입력 요청에 대한 생성 결과를 이진 분류한 다음 모델의 안전성 수준을 구분하여 평가를 진행하였다. 연구 결과 모델들은 위험한 유머에 대한 윤리적 판단에 취약한 모습을 보이고 있었다.
LLM 기반의 제로샷 문장 수준 단락 정제를 활용한 검색 증강 생성
http://doi.org/10.5626/JOK.2025.52.4.304
본 논문은 강화학습 기반 자율이동체의 학습 효율을 향상시키기 위해 유사도 기반 다중 지식 전이 알고리즘(similarity-based multi-knowledge transfer, SMTRL)을 제안한다. SMTRL은 사전 학습된 모델과 현재 모델의 유사도를 계산하고, 그 유사도에 기반하여 지식 전이의 비율을 동적으로 조절하여 학습 효율을 극대화하는 방법론이다. 복잡한 환경에서 자율이동체가 단독으로 학습할 경우 많은 시간이 소요되므로, 지식 전이는 필수적이다. 하지만 사전 학습 모델과 실제 환경 간 차이가 클 경우, 학습 성능이 저하되는 부정 전이 현상이 나타날 수 있다. SMTRL은 이러한 부정 전이를 최소화하기 위해 유사도가 높은 사전 학습 모델의 지식을 반영 비율을 동적으로 조정함으로써 안정적으로 학습 속도를 가속화한다. 실험 결과, 제안된 알고리즘은 기존의 단일 지식 전이 및 전통적 강화학습 방법과 비교하여 수렴 속도 및 성능에서 우수한 결과를 나타냈다. 본 연구는 자율이동체의 효율적인 학습을 위한 새로운 지식 전이 방법을 제시하며, 복잡한 이동체 환경으로의 적용 가능성과 향후 연구 방향에 관해 논의한다.
SyllaBERT: 실세계 노이즈 및 오탈자에 강건한 음절 기반 경량화 트랜스포머 모델
http://doi.org/10.5626/JOK.2025.52.3.250
한국어 언어 모델을 학습하는 과정에서 한국어 토크나이저(Tokenzier)를 구성하는 것은 매우 중요한 단계이다. 현재 대부분의 언어 모델은 형태소(Morpheme) 또는 서브워드(Subword) 단위로 토크나이징을 진행하고 있다. 이러한 방식은 정제된 한국어 텍스트 데이터에서는 좋은 성능을 보일 수 있지만, 현실의 한국어 데이터에서 자주 발생하는 줄임말과 신조어로 인한 OOV(Out of Vocabulary) 문제에 취약하다. 또한, 실제 환경의 한국어 데이터에는 다양한 오탈자와 비표준적 표현이 많이 포함되어 있어, 기존의 형태소나 서브워드 단위 토크나이징 방식은 이러한 노이즈에 대한 강건성이 부족하다. 본 논문에서는 이러한 문제를 해결하기 위해 음절(Syllable) 단위의 토크나이저를 사용하여, 노이즈 및 비표준어가 존재하는 실제 환경에서도 한국어의 특성을 최소한의 자원으로 효과적으로 처리할 수 있는 SyllaBERT 모델을 제안한다. 이를 위해 매우 작은 크기의 음절 단위 어휘 집합을 만들고, 기존 언어 모델의 임베딩과 은닉층 크기를 줄인 음절 단위 언어 모델을 개발하였다. 실험 결과, SyllaBERT 모델은 기존 서브워드 단위 언어 모델에 비해 파라미터 크기가 약 4배 더 작음에도 불구하고, 현실 세계의 노이즈가 존재하는 한국어 일상 대화 데이터에서 더 높은 자연어 이해 성능을 보였다.
질의 중심 다중 문서 요약을 통한 오픈 도메인 질의응답 시스템의 설명 가능한 근거 문장 생성
http://doi.org/10.5626/JOK.2024.51.11.1020
오픈도메인 질의응답 시스템은 주어진 질의에 답변하기 위해 필요한 기반으로 언어모델에 내재된 지식만으로 충족되지 않는 외부 지식을 필요로 하며 최근 거대 언어모델에서 발생하는 환각 문제를 해결하기 위해 중요하게 연구되고 있는 기술이다. 본 논문에서는 QSG(Query-attentive Semantic Graph)의 구조 정보를 활용하여 멀리 떨어져 있는 문서 간의 정보를 질의 중심으로 요약, 이를 다중 문서 기반 질의 응답 시스템의 근거 문장으로 활용하는 모델을 제안한다. 질의 기반으로 요약 생성된 근거 문장은 기존의 추출 형식의 근거 문장을 사용하는 것보다 응답 생성 성능을 향상시킬 수 있었고 더 좋은 설명 가능성을 보여주었다.
구름(KULLM): 한국어 지시어에 특화된 거대 언어 모델
http://doi.org/10.5626/JOK.2024.51.9.817
Large Language Models (LLM)의 출현은 자연어 처리 분야의 연구 패러다임을 전환시켰다. LLM의 핵심적인 성능 향상은 지시어 튜닝(instruction-tuning)기법의 결과로 알려져 있다. 그러나, 현재 대부분의 연구가 영어 중심으로 진행되고 있어, 다양한 언어에 대한 접근이 필요하다. 본 연구는 한국어 지시어(instruction-following)모델의 개발 및 평가 방법을 제시한다. 본 연구에서는 한국어 지시어 데이터 셋을 활용하여 LLM 모델을 튜닝하며, 다양한 데이터셋 조합의 효과에 대한 성능 분석을 수행한다. 최종 결과로 개발된 한국어 지시어 모델을 오픈소스로 제공하여 한국어 LLM 연구의 발전에 기여하고자 한다.
SCA: Cross-Attention 지도 학습에 기반한 문서기반 응답 생성 모델의 성능 향상
http://doi.org/10.5626/JOK.2024.51.4.326
문서 기반 응답 생성은 소비자 상담이나 보험 설계와 같이 정확한 사실에 기반한 근거가 되는 문서를 검색한 후, 해당 문서를 통해 대화 응답을 생성하는 작업을 의미한다. 이번 연구에서는 응답 생성 모델이 입력된 문서로부터 답변 생성에 필요한 부분을 찾아내어 반영하는 능력을 향상시키기 위해 Supervised Cross-attention을 제시했다. 이는 디코더의 Cross-attention에 대해 Attention Supervision을 적용하는 것으로, 입력 문서 중 실제 답변 생성에 포함되어야 하는 정보인 레퍼런스에 해당하는 부분에 Cross-attention 가중치가 집중되도록 지도학습 과정을 추가하는 것이다. 이 방법과 추가적인 성능 향상 방법을 도입한 결과 기존 SOTA 대비 F1 지표에서 1.13의 성능 향상을 확인하였고, Supervised Cross-attention을 통해 0.25의 성능 향상이 있었음을 확인했다.
GPT-3.5 기반 초거대 언어모델을 활용한 보이스피싱 탐지 기법
http://doi.org/10.5626/JOK.2024.51.1.67
본 논문은 GPT(generative pre-trained transformer)-3.5 언어모델 시리즈 중 최근 공개된 모델인 text-davinci-003를 활용한 보이스피싱을 예방 기법을 제안한다. 이를 위해, 대화가 보이스피싱일 가능도를 0～10 사이의 정수로 답변하도록 프롬프트를 설계한다. 프롬프트 조정, 하이퍼파라미터 조정, 성능검증을 위해 실제 한국어 보이스피싱 녹취록 105개와 다양한 주제의 일반 대화 녹취록 704개를 사용한다. 제안한 기법은 통화 중에 보이스피싱 알람을 전송하는 기능과 통화 종료 후 최종적으로 보이스피싱 여부를 판단하는 기능을 포함한다. 훈련용 데이터와 테스트 데이터의 유형을 다르게 하면서 다섯 가지 시나리오에서 성능을 측정하였고 제안한 기법이 0.95～0.97의 정확도를 나타냄을 보인다. 특히 훈련 시 사용한 데이터의 출처와 다른 출처에서 확보한 데이터로 테스트하였을 때, 제안한 기법이 기존 BERT(bidirectional encoder representations from transformer) 모델 기반 기법에 비해 우수한 성능을 보인다.
