디지털 라이브러리[ 검색결과 ]
자연어 처리에서 대조 학습을 이용한 적대적 훈련
http://doi.org/10.5626/JOK.2025.52.1.52
자연어 처리(NLP)에서는 유사한 입력이 의미적으로 유사한 결과를 내도록 적대적 학습이 연구되어왔다. 그러나 언어에는 의미적 유사성에 대한 객관적인 척도가 없기 때문에, 기존 연구에서는 이러한 유사성을 보장하기 위해 외부의 사전 학습된 NLP 모델을 사용하여 많은 메모리를 소비하는 추가 학습 단계를 도입했다. 이 연구에서는 대조 학습을 이용해 언어 처리 모델을 적대적으로 훈련하는 적대적 학습(ATCL)을 제안한다. 핵심 아이디어는 빠른 경사 방법(FGM)을 통해 입력의 임베딩 공간에 선형의 변화를 만들고 대조 학습을 통해 원래 표현과 변화된 표현을 가깝게 유지하도록 훈련한다. 언어 모델링과 신경망 기계 번역 작업에 ATCL을 적용한 결과, 개선된 정량적(PPL 및 BLEU) 점수를 보여준다. 또한 시뮬레이션을 통해 ATCL은 사전 학습된 모델을 사용하지 않고도 두 작업 모두에서 의미 수준에서 우수한 정성적 결과를 달성한다.
적대적 훈련 기반의 시계열 데이터 증강 기법
http://doi.org/10.5626/JOK.2023.50.8.671
최근 시계열 데이터는 사물인터넷(IoT)의 발전으로 인해 다양한 산업에서 생성되고 있으며 이에 따라 각 산업에서의 시계열 예측 수요가 늘어나고 있다. 대량의 시계열 데이터가 확보됨에 따라 시계열 예측을 위한 전통적인 통계적 방법들 뿐 아니라 딥러닝에 기반한 시계열 예측 연구가 활발해졌으며 딥러닝에 필수적인 데이터 증강 기법들 필요성 또한 대두되고 있다. 본 논문에서는 적대적 훈련을 기반으로 한 새로운 시계열 데이터 증강 기법을 제안한다. 제안된 방법은 기존의 적대적 훈련과는 다르게 적대적 훈련 반복 횟수에 대한 하이퍼파라미터 값을 고정하였으며 섭동의 세기를 블록 단위로 클리핑하여 학습에 활용하였다. 실험 결과 다양한 데이터셋에 대한 제안 기법의 일관된 성능 향상 효과를 확인할 수 있었다. 뿐만 아니라 기존 적대적 훈련과는 다르게 본 논문에서 제안하는 블록 단위 클리핑 및 하이퍼파라미터 값 고정의 필요성 또한 비교 실험을 통하여 검증하였다.
