디지털 라이브러리[ 검색결과 ]
추론 경로를 통한 거대언어모델 기반 제로샷 대화형 추천시스템 성능 개선
http://doi.org/10.5626/JOK.2025.52.7.617
대화형 추천시스템은 사용자와의 양방향 상호작용을 통해 개인화된 항목 추천을 제공한다. 기존 대화형 추천시스템은 사용자의 선호를 효과적으로 포착하기 위해 지식 그래프와 같은 외부 지식에 의존해왔다. 최근 거대언어모델의 급속한 발전으로 제로샷 기반 추천이 가능해졌으나, 사용자의 암시적 선호도 파악과 최적의 추론 경로 설계라는 도전 과제가 존재한다. 본 연구에서는 이러한 한계를 해결하기 위해 제로샷 기반 대화형 추천시스템에서 적합한 추론 경로 구성의 중요성을 검증하고, 이에 기반한 새로운 접근법의 가능성을 탐구한다. 제안된 프레임워크는 (1) 대화 맥락에서 명시적 및 잠재적 선호도를 추출하고, (2) 이를 바탕으로 추론 트리를 구축하여 최적의 추론 경로를 선택하는 두 단계로 구성된다. 대표적인 벤치마크 데이터셋인 INSPIRED와 ReDial에서 제안 방법은 기존 제로샷 방법 대비 Recall@10에서 최대 11.77%의 성능 개선을 달성하였으며, 일부 학습 기반 모델의 성능을 상회한다.
모델 병합을 활용한 거대 언어 모델 기반 다중 도메인 추천 시스템
http://doi.org/10.5626/JOK.2025.52.6.548
최근 추천 시스템 연구에서는 사전 학습된 거대 언어 모델을 활용하여 추천 항목의 자연어 정보를 효과적으로 이해하는 거대 언어 모델 기반 추천 시스템이 주목받고 있다. 이러한 추천 시스템은 높은 정확도를 보이지만, 각 추천 도메인마다 별개의 추천 모델을 학습해야 하는 한계가 있다. 이는 여러 개의 모델을 저장하고 추론하는 비용을 증가시키며, 도메인 간 지식 공유를 어렵게 만든다. 본 연구에서는 다양한 추천 도메인에서 효과적으로 작동할 수 있는 거대 언어 모델 기반 추천 모델을 제안하기 위해, 과업 벡터(task vector) 기반 모델 병합(model merging)을 적용한다. 모델 병합 과정에서는 도메인 별로 학습된 추천 모델로부터 지식 증류(knowledge distillation)를 활용하여 모델 병합을 위한 최적의 가중치를 학습한다. 실험 결과, 제안 방법을 통해 생성한 추천 모델은 8개의 도메인에서 기존의 모델 병합 방법론을 활용한 추천 모델보다 평균 2.75% 개선된 추천 정확도를 보였으며, 학습하지 않은 새로운 도메인에서도 우수한 일반화 성능을 보임을 확인하였다.
텍스트 부가 정보를 활용한 선형 기반 순차적 추천 모델
http://doi.org/10.5626/JOK.2025.52.6.529
최근 순차적 추천 시스템에서는 부가 정보를 활용한 연구가 활발히 시도되고 있다. 대부분의 접근은 언어 모델과 심층 신경망을 결합에 집중하지만, 이는 높은 연산 비용과 지연 시간 문제를 초래한다. 비신경망 기반의 선형 추천 모델은 효율적인 대안이 될 수 있으나, 부가 정보를 효과적으로 활용하는 방법에 대한 연구는 부족하다. 본 연구는 선형 모델에서 부가 정보를 효과적으로 활용할 수 있는 프레임워크를 제안한다. 텍스트 정보는 선형 모델의 학습에 직접 사용되기 어려우므로, 사전 학습된 텍스트 인코더를 통해 항목의 텍스트를 밀집 벡터로 변환한다. 이들은 풍부한 정보를 담고 있지만 항목 간 연관성은 이해하지 못한다. 이를 해결하기 위해 그래프 합성곱을 적용해 강화된 항목 표현을 얻는다. 얻어진 항목 표현은 사용자-항목 상호작용 행렬과 함께 선형 모델 학습에 활용된다. 광범위한 실험을 통해 제안 방법이 전체 성능을 향상하고, 특히 비인기 항목의 성능 개선에 효과적임을 확인하였다.
최근접 이웃 메커니즘을 활용한 텍스트 기반 순차적 추천 모델 추론 프레임워크
http://doi.org/10.5626/JOK.2025.52.5.435
순차적 추천 과업은 사용자의 상호작용 기록을 기반으로 다음에 상호작용할 항목을 예측하는 과업이다. 텍스트로 항목을 표현하는 텍스트 기반 추천 모델은 콜드 스타트(cold-start) 문제와 제로 샷(zero-shot) 추천 과업에서 우수한 성능을 보이지만, 협력적 지식 부족과 텍스트 편향이라는 한계를 가진다. 본 연구는 이러한 한계를 극복하고자 최근접 이웃 메커니즘을 활용한 텍스트 기반 추천 모델 추론 프레임워크를 제안한다. 제안 방법은 텍스트 기반 추천 모델을 이웃 검색 모델로 활용하여 사용자와 유사한 선호를 가진 이웃을 검색하고, 이웃 정보를 기존 추천 결과와 결합하여 추천 성능을 향상한다. 4개의 데이터셋에서 수행된 실험 결과, 제안된 방법은 기존 모델 대비 일관된 성능 향상을 보여주었으며, NDCG@50 기준 최대 25.27%의 성능 개선을 기록했다. 또한, 제안 방법은 협력적 지식을 효과적으로 보완하고 추천 근거를 제공함으로써 모델의 설명 가능성을 향상함을 보였다.
단일 토큰 표현을 활용한 효율적인 거대 언어 모델 기반 문서 재순위화
http://doi.org/10.5626/JOK.2025.52.5.395
정보 검색 시스템에서 문서 재순위화는 주어진 문서 후보에서 질의와의 적합도(Relevance)를 평가하여 문서의 순위를 재정렬(Reranking)하는 것을 목표로 한다. 최근 거대 언어 모델(Language language models, LLMs)의 폭넓은 자연어 이해 능력을 활용하여 문서의 재순위화 정확도를 획기적으로 개선하였다. 그러나 거대 언어 모델을 활용한 기존 연구들은 재순위화의 정확도 개선에 주로 초점을 두고 있으며, 입력 길이가 지나치게 길어지거나, 반복적인 추론을 요구함에 따라 발생하는 효율성 저하 문제를 간과하였다. 본 연구에서는 기존 모델의 문제점을 해결하기 위해 ListT5++ 모델을 제안한다. 제안 모델은 효율성 개선을 위해서 질의와 단락 간의 관련성을 단일 토큰 임베딩으로 표현하는 방법을 도입하고, 이를 활용하여 디코딩 과정을 최소화한 단일 단계 디코딩 전략을 활용한다. 이를 통해 거대 언어 모델 기반 문서 재순위화의 효율성을 크게 개선한다. 실험 결과, 제안 모델인 ListT5++는 기존 방식과 동일한 수준의 정확도를 유지하는 반면에 추론 지연 시간을 기존 모델 대비 29.4배 단축하였다. 특히, ListT5++은 디코딩 과정에서 입력 문서의 순서에 영향을 받지 않고 문서와 질의의 적합도를 학습함으로써, 강건한 특성을 보이는 장점이 있다.
멀티모달 그래프-SMILES 표현을 통한 거대 언어 모델에서의 분자 이해 향상
http://doi.org/10.5626/JOK.2025.52.5.379
최근 거대 언어 모델의 발전은 다양한 과업에서 뛰어난 성과를 보이며, 특히 멀티모달로 확장하는 연구도 활발히 진행되고 있다. 특히 BLIP-2는 Q-Former를 통해 이미지와 문자를 효율적으로 정렬하여 성능을 높였으며, 멀티모달 데이터로 사전 학습되어 고정된 이미지 인코더가 이를 지원한다. 이러한 발전에 영감을 받아 MolCA 모델은 분자 분야에 BLIP-2를 확장하여 성능을 높였지만, 그래프 인코더는 단일모달 데이터로 사전 학습되어 모델 학습 중 갱신이 필요한 한계가 있다. 따라서 본 논문에서는 이를 멀티모달 데이터로 사전 학습된 그래프 인코더로 대체하고 고정하는 방안을 제시한다. 실험 결과, 멀티모달 데이터로 사전 학습된 그래프 인코더를 사용할 때 성능이 대체로 향상되었으며, 단일모달 데이터로 사전 학습된 그래프 인코더는 갱신할 때 성능이 높은 것에 비해 멀티모달 데이터로 사전 학습된 그래프 인코더는 갱신하지 않을 때 모든 지표에서 성능이 더 좋은 것을 확인할 수 있었다.
SASRec vs. BERT4Rec: 트랜스포머 기반 순차적 추천 모델의 성능 분석
http://doi.org/10.5626/JOK.2024.51.4.352
순차적 추천 시스템은 사용자 로그로부터 관심사를 추출하고 이를 바탕으로 사용자가 다음에 선호할만한 항목을 추천한다. SASRec과 BERT4Rec은 대표적인 순차적 추천 모델로 널리 활용되고 있다. 기존 연구들은 두 모델을 베이스라인으로 다양한 연구에 활용하고 있지만, 두 모델은 실험 환경 차이로 인해 일관된 성능을 보이지 않는다. 본 논문에서는 여덟 가지 대표적 순차적 추천 데이터셋에서 SASRec과 BERT4Rec의 성능을 비교 및 분석하여 검증한다. 이를 통해, 사용자-항목 상호작용 수가 BERT4Rec 학습에 가장 큰 영향을 미치며, 결국 이는 두 모델의 성능 차이로 이어진다는 사실을 관찰하였다. 더 나아가, 본 연구는 순차적 추천 환경에서 널리 활용되는 두 학습 방법 역시 인기도 편향과 시퀀스 길이에 따라 다른 효과를 보일 수 있음을 보인다. 이를 통해, 데이터셋 특성을 고려하는 것이 추천 성능 개선을 위해 필수적임을 강조한다.
언어-영상 사전 학습 모델 기반 샘플 선택을 활용한 노이즈 레이블 학습
http://doi.org/10.5626/JOK.2023.50.6.511
심층신경망은 부정확한 레이블을 가진 데이터를 학습하는 경우 일반화 성능이 크게 저하되는 문제가 있다. 기존 연구는 모델이 학습 초기 단계에 정답 레이블을 가진 깨끗한 데이터를 주로 학습하는 경향을 관찰하였고, 이를 기반으로 손실 값이 작은 샘플을 깨끗한 데이터로 간주하여 데이터를 선별적으로 학습하는 샘플 선택 방법을 통해 성능을 개선하였다. 그러나 노이즈 레이블이 정답 레이블과 유사한 경우(예: 물개 vs 수달) 모델이 초기 학습 과정에서 노이즈 데이터를 빠르게 학습하여 샘플 선택 방법이 효과적이지 못한 한계가 있다. 본 논문에서는 사전 학습된 언어-영상 모델의 제로 샷 예측을 기반으로 모델의 초기 학습 과정 없이 깨끗한 데이터를 효과적으로 구분하여 학습하는 SLIP을 제안한다. 본 연구의 제안모델은 CIFAR-10, CIFAR-100, WebVision 데이터셋에서 학습 결과 기존 제안 방법들 대비 최대 18.45%p 개선된 성능을 보인다.
지식 추적 모델의 성능 개선을 위한 양자화된 정답률 임베딩 방법
http://doi.org/10.5626/JOK.2023.50.4.329
지식 추적이란 학습자의 문제풀이 기록을 바탕으로 학습 성취도를 추적하는 문제로, 일련의 문제풀이 기록과 목표 문제가 주어질 때 정답 여부를 예측하는 것을 목표로 한다. 본 연구에서는 문제별 난이도를 고려하지 않은 기존 딥러닝 기반 지식 추적 모델이 쉬운 난도의 문제를 틀리거나 어려운 난도의 문제를 맞히는 학습자를 잘 학습하지 못하는 문제를 해결하고자 한다. 이에 각 문제의 정답률을 바탕으로 학습자의 답변 정보를 양자화는 방식을 제안함으로써 문제의 난이도와 학습자의 답변을 함께 학습하도록 유도하여 성능을 개선한다. 결과적으로 본 연구에서는 정답률이 높은 음성 샘플과 정답률이 낮은 양성 샘플에 대하여 모델이 효과적으로 분별할 수 있는 방법을 제안한다. 이를 위해 잠재 공간상에서의 해당 샘플
들에 대한 임베딩 표현의 차이를 최대화할 수 있는 sinusoidal positional encoding 방법을 도입한다. 실험 결과, 제안 방법을 적용하였을 때 기존 방법 대비 AUC 값이 목표 구간에서 최대 17.89%까지 향상되는 것을 확인하였다.
기계 독해 성능 개선을 위한 데이터 증강 기법
http://doi.org/10.5626/JOK.2021.48.12.1298
기계 독해(Machine Reading Comprehension)란 컴퓨터가 주어진 텍스트의 의미를 이해 및 이를 평가하는 방법으로, 자연어 이해를 위한 중요한 기술 중 하나이다. 주어진 글에 대해서 질의가 주어졌을 때, 이에 대한 올바른 응답을 찾는 질의-응답이 가장 대표적인 기계 독해 과제이다. 기계 독해 기술은 최근 심층 인공신경망 기반의 자연어 처리 기술의 발달에 따라 획기적인 성능 개선을 보였다. 그럼에도 불구하고, 주어진 데이터가 희소할 때 성능 개선에 어려움이 있을 수 있다. 이를 해결하기 위해 본 논문에서는 단어 단위 및 문장 단위의 텍스트 편집을 통한 데이터 증강 기법을 활용하여 기존 모델의 변경을 최소화하며 성능 개선을 하고자 한다. 즉, 본 연구에서는 영어 질의응답 데이터에서 가장 널리 활용되고 있는 사전 학습된 언어 모델 기반의 기계 독해 모델에 데이터 증강 기법을 적용하여 기존 모델 대비성능이 향상되는 것을 확인하였다.
