디지털 라이브러리[ 검색결과 ]
추론 경로를 통한 거대언어모델 기반 제로샷 대화형 추천시스템 성능 개선
http://doi.org/10.5626/JOK.2025.52.7.617
대화형 추천시스템은 사용자와의 양방향 상호작용을 통해 개인화된 항목 추천을 제공한다. 기존 대화형 추천시스템은 사용자의 선호를 효과적으로 포착하기 위해 지식 그래프와 같은 외부 지식에 의존해왔다. 최근 거대언어모델의 급속한 발전으로 제로샷 기반 추천이 가능해졌으나, 사용자의 암시적 선호도 파악과 최적의 추론 경로 설계라는 도전 과제가 존재한다. 본 연구에서는 이러한 한계를 해결하기 위해 제로샷 기반 대화형 추천시스템에서 적합한 추론 경로 구성의 중요성을 검증하고, 이에 기반한 새로운 접근법의 가능성을 탐구한다. 제안된 프레임워크는 (1) 대화 맥락에서 명시적 및 잠재적 선호도를 추출하고, (2) 이를 바탕으로 추론 트리를 구축하여 최적의 추론 경로를 선택하는 두 단계로 구성된다. 대표적인 벤치마크 데이터셋인 INSPIRED와 ReDial에서 제안 방법은 기존 제로샷 방법 대비 Recall@10에서 최대 11.77%의 성능 개선을 달성하였으며, 일부 학습 기반 모델의 성능을 상회한다.
조기 예측을 위한 시계열 데이터 불균형 해소 기법
http://doi.org/10.5626/JOK.2025.52.7.593
시계열 예측은 관측된 시계열 데이터를 분석하여 미래의 값을 예측하는 중요한 문제다. 그러나, 데이터가 불균형할 경우, 모델의 성능이 저하되고 예측 결과에 편향이 발생할 수 있다. 이를 해결하기 위해 최근 다양한 딥러닝 기법과 데이터 증강 방법들이 연구되고 있지만, 많은 연구들이 불균형 문제와 시계열 특성을 동시에 고려하지 못하여 근본적인 문제를 해결하지 못하고 있다. 본 연구에서는 시간적 패턴을 활용하여 샘플을 생성하는 조기 예측을 위한 방법을 제안한다. 제안된 기법은 긍정 및 부정 클래스를 효과적으로 구분할 수 있는 시점을 선정하여, 더 먼 시차에 대한 예측도 가능하게 한다. 본 연구에서 제안된 방법은 기존의 방법들보다 우수한 성능을 보였으며, 더 멀리 있는 시차에 대한 조기 예측의 가능성을 입증하였다.
생성적 상호참조 해결을 통한 대화형 검색 질의 재작성 개선 방법
http://doi.org/10.5626/JOK.2024.51.11.1028
대화형 검색에서 쿼리 재구성은 맥락 의존적인 쿼리를 맥락에 독립적인 형태로 변환하여 기존의 검색기를 활용하는 방법이다. 기존 접근 방식은 주로 사전 학습된 언어 모델을 인간이 다시 쓴 쿼리를 사용해 파인 튜닝하거나, 대형 언어 모델을 이용해 현재 턴 쿼리의 생략과 모호성을 해결한다. 그러나 본 논문의 실험 결과에 따르면 기존 방법들은 여전히 상호참조 해결에 어려움을 겪는다. 이 논문은 1) 쿼리 내 상호참조 구절을 감지할 수 있는 모델의 훈련 가능성, 2) 감지된 상호참조 구절을 구체화할 수 있는 모델의 훈련 가능성을 연구한다. 각 질문에 답하기 위해 Detector와 Decoder라는 두 구성 요소를 고안하고, 실험을 통해 파인 튜닝된 각 모델이 질문 내의 다양한 형태의 상호참조 구절을 식별하고 이를 구체적인 표현으로 재구성하는 것이 가능함을 보인다. 따라서 본 논문에서는 가벼운 생성 모델을 통해 상호참조를 해결함으로써 대화형 검색 성능을 향상시키는 새로운 패러다임을 제안한다.
텍스트 증강 기법과 전이학습을 활용한 의도 분류 방법 제안
http://doi.org/10.5626/JOK.2024.51.2.141
의도 분류는 목적지향 챗봇의 첫 번째 단계로 성능 향상을 위한 중요한 문제이지만 목적지향형 챗봇은 특정 도메인에 대한 데이터 부족 문제가 존재한다. 본 연구는 텍스트 증강 기법과 전이학습을 활용하여 데이터 부족 문제를 해결하고자 한다. 기존에 전이학습 및 텍스트 증강 기법을 활용한 연구는 존재하나 다양한 도메인에 적용 가능한 연구는 찾아보기 어려웠다. 본 연구는 다양한 도메인에 적용 가능한 텍스트 증강 기법 및 전이학습 방법을 제안한다. 실험을 위해 8개의 도메인에서 실제 발화 의도의 비율에 맞추어 데이터를 10,000개, 20,000개, 30,000개 미만으로 구축하였다. 실험 결과 도메인에 따라 차이는 존재 하였지만 8개의 도메인 모두 본 연구에서 제시한 방법이 우수함을 확인하였다. 학습 데이터의 크기가 작은 순서로 8개의 도메인에 대한 정확도는 평균적으로 10%, 3.4%, 1.9% 향상되었으며 F1-Score는 평균 30%, 12%, 7.5% 향상됨을 확인하였다.
VAE 기반 데이터 증강과 CNN을 적용한 ECG 부정맥 분류 모델
http://doi.org/10.5626/JOK.2023.50.11.947
ECG 데이터는 비교적 쉽게 얻을 수 있고, 부정맥의 진단에 결정적인 역할을 하기 때문에 심장 질환의 예방 목적 연구에 자주 사용된다. MIT-BIH 부정맥 데이터셋은 심장병의 원인 중 하나인 부정맥 분석 연구에 많이 사용되지만, 발병률에 차이가 존재하므로 부정맥 클래스 불균형 문제를 지니고 있다. 부정맥의 클래스 간 불균형은 부정맥 분류 성능에 영향을 주기 때문에, 본 논문에서는 부정맥 클래스의 불균형 문제를 해결하고자 증강된 데이터를 이용하여 서로 다른 4가지 분류 방법을 제시하였다. 증강에 따른 분류 성능 평가를 위하여 VAE 이외의 다른 증강 방법과 비교하였으며, 분류 모델에 따라 CNN과 CNN-LSTM도 비교 분석하였다. 결론적으로 VAE 증강을 적용하여 균형 데이터를 학습 후 CNN을 이용하여 부정맥 데이터를 분류한 결과, 98.9%의 정확도를 달성하였으며, 최신 연구 결과와 비교하면 제안한 모델이 민감도에서 다른 부정맥 분류 모델에 비해 효과적임을 확인하였다.
적대적 훈련 기반의 시계열 데이터 증강 기법
http://doi.org/10.5626/JOK.2023.50.8.671
최근 시계열 데이터는 사물인터넷(IoT)의 발전으로 인해 다양한 산업에서 생성되고 있으며 이에 따라 각 산업에서의 시계열 예측 수요가 늘어나고 있다. 대량의 시계열 데이터가 확보됨에 따라 시계열 예측을 위한 전통적인 통계적 방법들 뿐 아니라 딥러닝에 기반한 시계열 예측 연구가 활발해졌으며 딥러닝에 필수적인 데이터 증강 기법들 필요성 또한 대두되고 있다. 본 논문에서는 적대적 훈련을 기반으로 한 새로운 시계열 데이터 증강 기법을 제안한다. 제안된 방법은 기존의 적대적 훈련과는 다르게 적대적 훈련 반복 횟수에 대한 하이퍼파라미터 값을 고정하였으며 섭동의 세기를 블록 단위로 클리핑하여 학습에 활용하였다. 실험 결과 다양한 데이터셋에 대한 제안 기법의 일관된 성능 향상 효과를 확인할 수 있었다. 뿐만 아니라 기존 적대적 훈련과는 다르게 본 논문에서 제안하는 블록 단위 클리핑 및 하이퍼파라미터 값 고정의 필요성 또한 비교 실험을 통하여 검증하였다.
군집 알고리즘과 NSP를 이용한 문서 단위 기계 번역 데이터 증강
http://doi.org/10.5626/JOK.2023.50.5.401
최근 전체 문서의 문맥을 파악해 자연스러운 번역을 하기 위한 문서 단위 기계 번역 연구가 활발히 이루어지고 있다. 문서 단위 기계 번역 모델의 학습을 위해서 문장 단위 기계 번역 모델과 마찬가지로 많은 양의 학습 데이터가 필요로 하지만 대량의 문서 단위 병렬 코퍼스를 구축하는 데 큰 어려움이 있다. 따라서 본 논문에서는 문서 단위 병렬 코퍼스 부족 현상을 개선하기 위해서 문서 단위 기계 번역에 효과적인 데이터 증강 기법을 제안한다. 실험 결과, 문맥이 없는 문장 단위 병렬 코퍼스에 군집 알고리즘과 NSP를 이용한 데이터 증강 기법을 적용하여 문서 단위 기계 번역의 성능을 데이터 증강 기법 적용 전에 비해 S-BLEU 3.0, D-BLEU 2.7 향상할 수 있었다.
철저한 대조 학습 방법을 통한 생성적 적대 신경망의 불균형 데이터 생성 품질 향상
http://doi.org/10.5626/JOK.2023.50.4.295
딥러닝(Deep learning) 알고리즘의 성능이 향상되면서 실세계의 다양한 문제를 해결하기 위한 방법으로 사용되고 있다. 실세계를 반영하는 데이터의 경우 사건의 발생 빈도나 수집 난이도에 따라 데이터의 불균형(Imbalance)이 나타날 수 있다. 데이터를 구성하는 클래스의 수가 일정하기 않은 데이터를 불균형 데이터라고 하며, 특히 데이터가 상대적으로 적은 소수 클래스는 딥러닝 알고리즘을 통해 학습하기 어렵다. 최근에는 데이터 증강을 위한 방법으로 생성적 적대 신경망(Generative Adversarial Nets, GANs)이 응용되고 있으며, 소수 클래스 학습을 위해 자기 지도 학습(Self-supervised learning)기반의 사전 학습(Pre-training)이 제안되었다. 하지만 생성 모델(Generative Model)을 학습하는 과정에서 불균형 데이터의 클래스 정보를 활용하기 때문에 소수 클래스의 학습이 제대로 이루어지지 않아 생성 데이터의 품질이 떨어지는 문제가 나타난다. 이러한 문제를 해결하기 위하여 본 논문에서는 유사도 기반의 철저한 대조 학습(Exhaustive Contrastive Learning) 방법을 제안하였다. 제안 방법은 프레쳇 인셉션 거리(Frechet Inception Distance, FID)와 인셉션 점수(Inception Score, IS)를 통해 정량적으로 평가하였다. 본 논문에서 제안하는 방법은 기존 방법보다 프레쳇 인셉션 거리는 16.32, 인셉션 점수는 0.38의 성능 개선을 확인하였다.
객체 탐지를 위한 객체 복사 기반의 적대적 생성 신경망 활용 이미지 데이터 증강 기법
http://doi.org/10.5626/JOK.2022.49.12.1056
컴퓨터 비전 분야에서는 양질의 이미지 데이터가 합성곱 신경망(CNN) 모델의 성능에 중요한 영향을 미친다. 하지만 실제 도메인에서는 충분한 양질의 데이터를 구하는 것이 어렵기 때문에 이미지 데이터의 증강 기법에 대한 연구가 계속해서 이루어지고 있다. 본 논문에서는 기존에 연구되던 적대적 생성 신경망(GAN)과 객체 복사(Copy-Paste) 기반의 증강 기법을 결합하여 더 다양한 이미지 데이터를 생성할 수 있는 이미지 데이터 증강 기법을 제안한다. 경계 상자(bounding box)가 아닌 객체 경계를 잘라내고, 적대적 생성 신경망을 사용하여 객체를 변형함으로써 기존의 픽셀 단위, 이미지 단위에서 벗어난 객체 단위의 이미지 데이터 증강을 보인다.
Utilizing External Knowledge in Natural Language Video Localization
Daneul Kim, Daechul Ahn, Jonghyun Choi
http://doi.org/10.5626/JOK.2022.49.12.1097
최근 자연어 기반 비디오 탐색 알고리즘 연구들은 대부분 이미 존재하는 레이블들을 활용한 데이터셋을 바탕으로 완전지도학습 혹은 준지도학습의 알고리즘들을 기반으로 하고 있다. 그러나 이러한 데이터셋의 구축에는 많은 비용이 들어가며, 레이블을 만들기 어려운 현실 세계에서 사용하기 적합하지 않다. 그렇기에 본 연구에서는 외부지식을 활용한 자연어 기반 비디오 탐색 알고리즘(EK-NLVL)을 제안하며, 사전 학습된 캡셔닝 모델과 비지도 기반의 비디오 영역 탐색 기법을 통해 효과적인 pseudo-supervision을 모델에 줄 수 있는 프레임워크를 제안한다. 거기에 더해 대규모 데이터셋에 사전 학습된 멀티 모달 표현 학습 모델인 CLIP을 활용하여 기존의 자연어 증강 기법인 역번역기법을 바탕으로 시각 정보와 텍스트 정보를 동기화 시켜 pseudo-sentence의 정보의 품질을 향상 시키는 Visual-Aligned Sentence Filtering(VAF) 데이터 필터링 기법을 제안한다. 이렇게 외부지식을 통해 생성된 데이터를 효과적으로 활용할 수 있는 Query-Attentive on Segmentation(QAS) 모델 또한 제안하며 Charades-STA 데이터셋에서의 실험을 통해 EK-NLVL 방법론의 효과를 볼 수 있다.
