디지털 라이브러리[ 검색결과 ]
자연어 처리에서 대조 학습을 이용한 적대적 훈련
http://doi.org/10.5626/JOK.2025.52.1.52
자연어 처리(NLP)에서는 유사한 입력이 의미적으로 유사한 결과를 내도록 적대적 학습이 연구되어왔다. 그러나 언어에는 의미적 유사성에 대한 객관적인 척도가 없기 때문에, 기존 연구에서는 이러한 유사성을 보장하기 위해 외부의 사전 학습된 NLP 모델을 사용하여 많은 메모리를 소비하는 추가 학습 단계를 도입했다. 이 연구에서는 대조 학습을 이용해 언어 처리 모델을 적대적으로 훈련하는 적대적 학습(ATCL)을 제안한다. 핵심 아이디어는 빠른 경사 방법(FGM)을 통해 입력의 임베딩 공간에 선형의 변화를 만들고 대조 학습을 통해 원래 표현과 변화된 표현을 가깝게 유지하도록 훈련한다. 언어 모델링과 신경망 기계 번역 작업에 ATCL을 적용한 결과, 개선된 정량적(PPL 및 BLEU) 점수를 보여준다. 또한 시뮬레이션을 통해 ATCL은 사전 학습된 모델을 사용하지 않고도 두 작업 모두에서 의미 수준에서 우수한 정성적 결과를 달성한다.
Re-Identification에서의 대조 연합 학습 시스템
http://doi.org/10.5626/JOK.2024.51.9.841
방대한 데이터 수집과 컴퓨팅 파워의 발전으로 AI 기술이 다양한 서비스에 활발히 적용되고 있다. 전통적인 중앙 집중형 클라우드 데이터 처리 방식은 민감한 사용자 데이터의 노출에 대한 우려를 불 러일으킨다. 이러한 문제를 해결하기 위해 연합 학습(FL)이 분산형 학습 방법으로 부상했다. FL은 클라이 언트가 로컬 데이터로 모델을 학습한 후, 로컬에서 업데이트된 모델을 중앙 서버로 보내는 방식이다. 중앙 서버는 이러한 업데이트된 모델을 집계하여 로컬 데이터를 직접 접근하지 않고도 글로벌 모델을 학습할 수 있게 한다. 본 논문에서는 다양한 도메인에서 재식별(Re-ID) 작업을 위해 특별히 설계된 새로운 FL 프레임워크인 FedCON을 제시한다. FedCON은 FL에 대조 학습을 적용하여 특징 표현을 향상시키며, 이 는 Re-ID 분야에서 특징 벡터의 유사성을 강조하여 동일한 ID를 가진 객체를 다른 이미지에서도 동일하 게 식별하는 데 유용하다. 특징 유사성에 중점을 둠으로써 FedCON은 데이터 이질성 문제를 효과적으로 해결하고 Re-ID 응용에서 글로벌 모델의 성능을 향상시킨다. 인물 및 차량 Re-ID 데이터셋에 대한 실증 연구는 FedCON이 기존의 Re-ID를 위한 FL 방법들을 능가함을 보여준다. 다양한 CCTV 데이터셋을 사 용한 인물 Re-ID 실험에서 FedCON은 여러 baseline과의 비교에서 우수한 성능을 보였다. 또한, FedCON은 VeRi-776 및 VRIC와 같은 실제 데이터셋에서 차량 Re-ID 성능을 크게 향상시켜 실제 응용 가능성을 보여준다.
자기 교사 학습 모델의 특장점 분석과 사진 분류 및 객체 탐지 성능 분석 연구
http://doi.org/10.5626/JOK.2024.51.7.609
최근, 교사 학습 기반의 인공지능 분야가 급속도로 발전하고 있다. 그러나 교사 학습은 정답 값이 지정된 데이터집합에 의존하기 때문에, 정답 값을 확보하기 위한 비용이 커진다. 이러한 문제점을 해 결하기 위해 정답 값없이 사진의 일반적인 특징을 학습할 수 있는 자기 교사 학습(Self-supervised learning)이 연구되고 있다. 본 논문에서는 다양한 자기 교사 학습 모델을 학습 방식과 백본 네트워크 기 준으로 분류하고, 각 모델의 장단점, 성능을 비교 분석하였다. 성능 비교를 위해 사진 분류 작업을 사용하 였다. 또한 전이 학습의 성능을 비교하기 위해 세밀한 예측 과업의 성능 또한 비교 분석하였다. 그 결과, 긍정적 쌍만 사용하는 모델이 노이즈를 최소화하여 부정적인 쌍을 같이 사용하는 모델들보다 높은 성능을 달성하였다. 또한 세밀한 예측의 경우 이미지를 마스킹하여 학습하거나 멀티스테이지 모델 등을 활용하여 지역적인 정보를 추가로 학습하는 방식이 더욱 높은 성능을 달성한 것을 확인하였다.
자동화 팩트체킹을 위한 대조학습 방법
http://doi.org/10.5626/JOK.2023.50.8.680
최근 온라인 오정보 확산이 증가하면서 실시간 판단이 가능한 자동화 팩트체킹의 중요성이 강조되고 있다. 이 연구는 한국어 기반의 자동화 팩트체킹을 위한 대조학습 기술을 제안한다. 제안 방법은 주어진 주장의 진위 여부를 판단할 수 있도록 하는 근거 문장과 유사한 문장을 긍정 샘플로 사용한다. 성능 평가 실험을 통해 제안 방법이 사전학습 언어모델 미세조정, SimCSE 등 기존 방법에 비해 주어진 주장의 근거 문장을 찾는 문장 선택 단계에 있어 효과적임을 보였다. 이 연구는 자동화 팩트체킹을 위한 대조학습 기술의 가능성을 보인다.
철저한 대조 학습 방법을 통한 생성적 적대 신경망의 불균형 데이터 생성 품질 향상
http://doi.org/10.5626/JOK.2023.50.4.295
딥러닝(Deep learning) 알고리즘의 성능이 향상되면서 실세계의 다양한 문제를 해결하기 위한 방법으로 사용되고 있다. 실세계를 반영하는 데이터의 경우 사건의 발생 빈도나 수집 난이도에 따라 데이터의 불균형(Imbalance)이 나타날 수 있다. 데이터를 구성하는 클래스의 수가 일정하기 않은 데이터를 불균형 데이터라고 하며, 특히 데이터가 상대적으로 적은 소수 클래스는 딥러닝 알고리즘을 통해 학습하기 어렵다. 최근에는 데이터 증강을 위한 방법으로 생성적 적대 신경망(Generative Adversarial Nets, GANs)이 응용되고 있으며, 소수 클래스 학습을 위해 자기 지도 학습(Self-supervised learning)기반의 사전 학습(Pre-training)이 제안되었다. 하지만 생성 모델(Generative Model)을 학습하는 과정에서 불균형 데이터의 클래스 정보를 활용하기 때문에 소수 클래스의 학습이 제대로 이루어지지 않아 생성 데이터의 품질이 떨어지는 문제가 나타난다. 이러한 문제를 해결하기 위하여 본 논문에서는 유사도 기반의 철저한 대조 학습(Exhaustive Contrastive Learning) 방법을 제안하였다. 제안 방법은 프레쳇 인셉션 거리(Frechet Inception Distance, FID)와 인셉션 점수(Inception Score, IS)를 통해 정량적으로 평가하였다. 본 논문에서 제안하는 방법은 기존 방법보다 프레쳇 인셉션 거리는 16.32, 인셉션 점수는 0.38의 성능 개선을 확인하였다.
CoEM: 청각-시각 잠재 표현형을 위한 대조적 임베딩 변환자
http://doi.org/10.5626/JOK.2023.50.1.80
인간의 지각은 청각-시각 정보를 연관 지어 청각 정보로부터 시각 정보를 연상할 수 있고 그 역도 가능한다. 이러한 능력은 청각-시각 정보가 관련되어 있는 상황을 경험하며 자연스럽게 획득할 수 있지만, 두 유형의 정보가 충분히 결합된 영상 데이터는 각 장면의 맥락에 따라 두 가지 레이블을 동시에 만들어주어야 하므로 데이터셋을 만들기 어렵다. 본 논문에서는 같은 카테고리에 대해 한 가지 유형에 대한 임베딩에서 다른 유형으로 변환(mapping)할 수 있는 Contrastive Embedding Mapper (CoEM)을 제안한다. 청각-시각 정보를 쌍으로 짝지을 필요 없이 CoEM은 카테고리에 따라 변환된 임베딩을 대조하는 방식으로 학습한다. 우리는 청각과 시각 데이터셋에 대한 CoEM의 효력을 확인하기 위해 20가지의 카테고리에 대해 실험했다. 실험에서 CoEM에 의해 변환되어 연결된 임베딩들은 다른 도메인에서의 검색 성능의 경우 이웃하는 기준점이 충분한 경우(20개) 약 90%의 성능을 보였다. 또한, 연결된 도메인에서의 데이터 재 생성이 가능함을 확인했다.
