디지털 라이브러리[ 검색결과 ]
지속적인 그래프 임베딩에서 효과적인 중요도 기반 개체 그룹화 기법
http://doi.org/10.5626/JOK.2025.52.7.627
본 연구는 지속적인 그래프 임베딩에서 개체 중요도 평가의 정확성을 개선하기 위해 관계의 매개 중심성을 가중치 기반 페이지랭크 알고리즘의 가중치로 적용하는 새로운 방법론을 제안한다. 간선 매개 중심성을 정규화해 모델에 통합함으로써, 제안 기법은 간선을 통한 정보 흐름의 중요성을 반영하면서 개체 중요도를 효과적으로 전파해 네트워크 전반의 학습 성능을 향상시킨다. 실험 결과, 다양한 데이터셋 에서 MRR 및 Hit@N 지표에서 기존 기법 대비 유의미한 성능 향상을 보였다. 특히, 새로운 개체와 관계가 지속적으로 추가되는 환경에서 제안 방법은 첫 번째 스냅샷 이후 높은 성능 개선을 나타냈다. 이러한 결과는 관계의 중심성을 활용한 개체 중요도 전파가 지속적인 지식 그래프 임베딩의 학습 효율성을 크게 증대시킬 수 있음을 시사한다.
정확도와 다양성을 고려한 시각적 질문 생성 프레임워크
http://doi.org/10.5626/JOK.2025.52.1.62
시각적 질문 생성(Visual Question Generation)은 주어진 이미지에 대한 질문을 생성하는 과제로, 필요에 따라 답변이나 답변유형 등 추가 정보를 활용한다. 이미지에는 여러 객체가 포함되어 있어 VQG 시스템은 한 이미지에 대해 다양한 질문을 생성할 수 있어야 하며, 생성된 질문은 이미지 및 추가 정보와 연관성을 가져야 한다. 그러나 연관성에 집중한 모델은 학습 과정에서 데이터셋에 과적합되어 질문 다양성이 부족해질 수 있고, 반대로 다양성에 치우친 모델은 입력과의 연관성이 떨어질 수 있다. 이 사이 균형을 맞추기 위해, 본 논문에서는 BCVQG(BLIP-CVAE VQG)를 제안한다. BCVQG는 대규모 이미지-텍스트 데이터셋으로 사전학습된 비전-언어 모델 BLIP과 조건부 변분 오토인코더(Conditional Variational AutoEncoder)를 결합해 설계되었으며, 제안된 방법의 효과는 VQA2.0 데이터셋을 통한 정량적 및 정성적 평가를 통해 입증된다.
메모리 효율적인 파라미터 생성 기반 지속학습
http://doi.org/10.5626/JOK.2024.51.8.747
파라미터 생성 기반 지속학습은 이전 태스크에 대한 안정성 유지에는 탁월하지만, 새로운 태스 크에 대한 적응력이 부족하여 점진적으로 파라미터 생성 능력이 저하되는 문제에 직면한다. 또한, 파라미 터 생성 모델(메타모델)의 최적 크기를 사전에 설정하기 어려워 메모리 효율성 문제가 발생할 수 있다. 본 논문은 이를 해결하기 위해 두 가지 기법을 제안한다. 첫째, Chunk Save & Replay 기법은 생성형 신경 망의 취약한 부분들을 선별적으로 저장 및 재생하여 파라미터 생성 모델의 다양성을 유지하면서도 메모리 를 효율적으로 사용할 수 있도록 한다. 둘째, Automatically Growing GAN 기법은 학습 태스크에 따라 파라미터 생성 모델의 메모리를 자동으로 확장하여 제한된 자원 환경에서 메모리를 효과적으로 활용할 수 있게 해준다. 실험 결과, 모델의 성능 하락을 최소화하면서 메모리 사용량을 크게 감소시킬 수 있었으며 신경망의 성능이 저하되었을 때 회복할 수 있는 능력을 입증하였다.
Blurry 클래스 증분 학습 환경에서의 효율적인 프롬프트 학습 방법
http://doi.org/10.5626/JOK.2024.51.7.655
연속 학습은 일련의 태스크로 구성된 데이터를 연속적으로 학습하면서 성능을 유지하는 것을 목표로 한다. 보편적 시나리오인 태스크 간 클래스가 겹치지 않는 disjoint 연속 학습과는 달리, blurry 연 속 학습은 태스크 간 클래스가 겹치는 보다 현실적인 시나리오를 다룬다. 기존 대부분의 연속 학습 연구는 disjoint 시나리오에 초점을 맞추어 진행되어 왔고, 최근에는 ViT(Vision Transformer) 모델에 프롬프트 메커니즘을 적용하는 프롬프트 기반 연속 학습이 많은 관심을 받고 있다. 본 논문에서는 프롬프트 기반 연 속 학습 방법을 기반으로 blurry 클래스 증분 학습에 적합한 유사도 함수를 적용시킴으로써 실험을 통해 그 성능을 분석한다. 이를 통해 우리의 방법이 더 효율적으로 blurry 데이터를 학습하는 것을 입증하면서 우수성을 확인한다.
비전 트랜스포머에서 효과적인 토큰 프루닝을 위한 토큰 선별 방법
http://doi.org/10.5626/JOK.2024.51.6.567
셀프 어텐션에 기반한 비전 트랜스포머 모델은 최근 컴퓨터 비전 분야에서 활발히 사용되고 있다. 해당 모델은 여러 태스크에서 우수한 성능을 보여주는 반면, 추론 시 토큰 수에 비례하여 연산량이 증가한다는 특징이 있어 많은 수의 토큰은 추론 속도의 저하를 야기한다. 특히 이러한 점은 모델을 실제 상황에 적용 및 배포 시에 많은 제약이 발생할 수 있다. 따라서 본 논문에서는 비전 트랜스포머에서 멀티 헤드 셀프 어텐션의 연산 구조를 수정함으로써 얻을 수 있는 새로운 토큰 중요도 평가 방법을 제안한다. 해당 방법을 통해 중요한 토큰만을 선별하여 추론함으로써 성능은 유지하되 추론 속도를 향상하였다. 또한 제안된 방법은 추가적인 파라미터를 필요로 하지 않기 때문에 미세 조정이 없을 때 더욱 강인하며 기존의 토큰 프루닝 방법들과 결합할 경우 성능을 극대화할 수 있음을 입증하였다.
PGB: BERT 프루닝을 위한 순서 변경 규칙 및 그룹화
http://doi.org/10.5626/JOK.2023.50.6.503
최근 사전 학습된 트랜스포머 계열의 모델은 자연어 처리, 이미지 인식 등 다양한 인공지능 분야에서 활발히 사용되고 있다. 그러나 해당 모델들은 수십억 개의 파라미터를 가지고 있어 추론 시에 상당한 연산량을 필요로 하며 자원이 제한된 환경에서 사용하기에는 많은 제약이 따른다. 이러한 문제들을 해결하기 위해 본 논문은 트랜스포머 모델에 대한 그룹화 기반의 새로운 구조화된 프루닝 방법인 PGB(Permutation Grouped BERT pruning)를 제안한다. 제안된 방법은 자원 제약 조건에 따라 최적의 어텐션 순서를 변경하는 방법을 찾고, 모델의 정보 손실을 최소화하기 위해 헤드의 중요도를 기반으로 불필요한 헤드에 대해 프루닝한다. 다양한 비교 실험을 통해 사전 학습된 BERT 모델에 대한 기존의 구조화된 프루닝 방법보다 본 논문에서 제안한 방법이 추론 속도 및 정확도 손실 측면에서 더 우수한 성능을 보임을 확인한다.
GAN에서의 점진학습을 위한 잠재벡터 저장 기반 리허설 방법
http://doi.org/10.5626/JOK.2023.50.4.351
인간과 달리 딥러닝 모델에게 다수의 태스크에 대한 순차적 학습은 어려운 문제이다. 이는 비 단 분류모델뿐만 아니라 GAN과 같은 생성모델도 해당한다. GAN 지속학습 연구에서 주로 사용하는 Generative Replay 방식은 직전 태스크까지 학습된 GAN이 생성한 이미지를 새로운 태스크 학습 시 함께 사용하는데, 비교적 어려운 태스크에 속하는 CIFAR10에 대해서 좋은 품질의 이미지를 생성하지 못한다. 따라서 실제 이미지의 일부를 저장하는 리허설 기반 방법을 고려해볼 수 있는데, 실제 이미지는 큰 차원을 가지기 때문에 제한된 메모리에 많은 양을 저장할 수 없다. 본 논문에서는 기존 리허설 기반 방식에서 이미지를 저장하는 대신에 GAN의 입력이 되는 잠재벡터를 저장하는 지속학습 방법 LactoGAN과 LactoGAN+를 제안한다. 그 결과 같은 메모리에 더 많은 이미지 정보의 저장이 가능하게 되어 기존 GAN 지속학습 방법들에 비해 더 우수한 결과를 보임을 확인하였다.
태스크 점진 학습에서의 적대적 생성 신경망과 베이지안 신경망을 활용한 모델 재생성
http://doi.org/10.5626/JOK.2022.49.12.1115
지속적인 학습이 가능한 인간과는 대조적으로 딥러닝 모델은 학습하는 태스크가 점진적으로 들어오는 상황에서 기존의 성능을 유지하는데 상당한 어려움을 갖는다. 본 논문에서는 신경망 재생성 기반의 새로운 태스크 점진 학습 방법인 ParameterGAN을 제안한다. 제안된 방법은 적대적 생성 학습을 활용하여 사전 학습한 베이지안 신경망의 파라미터와 유사한 분포를 가지는 신경망 자체를 재생성하고, 유사 리허설(pseudo-rehearsal) 방식을 통해 치명적 망각 없이 과거 모든 시점의 신경망을 재생성하여 지속학습을 가능하게 한다. 다양한 실험을 통해 재생성한 파라미터로 구성된 합성 모델의 성능이 사전 학습된 모델의 성능에 준함을 확인하고, 태스크 점진 학습 상황인 Split-MNIST, Permuted-MNIST 벤치마크 실험에서 제안 방법이 기존의 다른 방법보다 더욱 우수한 성능을 보임을 확인한다.
FedGC: 준지도 연합학습을 위한 글로벌 일관성 정규화
http://doi.org/10.5626/JOK.2022.49.12.1108
최근 인공지능 분야에서는 충분한 데이터와 하드웨어를 이용하기 위해 분산 환경에서의 신경망 모델 학습 방법이 활발히 연구되어지고 있다. 그중 데이터 공유 없이 프라이버시를 보장하는 연합학습이 대두되고 있지만, 기존 연합학습 방법들은 레이블 데이터만 이용하는 지도학습을 가정한다. 지도학습을 위해서는 레이블 비용이 발생한다는 점에서 클라이언트에 레이블 데이터만 존재하는 가정은 비현실적이다. 따라서 본 논문은 서버에 레이블 데이터가 있고 클라이언트에 레이블이 없는 데이터만 존재하는 현실적인 상황을 가정하여, 레이블 데이터와 레이블이 없는 데이터 모두를 사용한 준지도 연합학습 방법을 제안한다. 논문에서는 서버와 클라이언트 모델의 일관성 정규화를 고려한 손실함수를 설계하며, 일관성 정규화의 영향력을 조절하는 방안에 대해 분석한다. 제안된 방법은 연합학습 환경에서 기존 준지도 학습 방법의 성능을 개선하였으며, 추가적인 실험을 통해 손실항의 영향력을 분석하고 제안된 방법의 타당성을 검증한다.
객체 탐지에서의 효율적인 예측 박스 회귀 학습을 위한 둘레 기반 IoU 손실함수
http://doi.org/10.5626/JOK.2021.48.8.913
일반적으로 객체 탐지를 위한 신경망을 학습시키기 위해서는 클래스 분류와 예측 박스의 회귀 손실 함수를 결합 학습한다. 하지만 기존 회귀 손실 함수는 예측 바운딩 박스와 타깃 박스의 겹침을 측정하는 데 쓰이는 IoU와의 상관관계가 크지 않아 객체 탐지에 그대로 사용하기에는 한계가 있다. 이에 회귀의 최적화를 돕기 위한 페널티 항(penalty term)을 회귀 손실 함수인 IoU Loss에 추가하는 연구가 진행되었다. 하지만 해당 페널티 항으로는 박스들이 하나의 박스가 다른 박스를 포함하거나 중간 점이 겹치면 값이 0이 되는 경우가 있어서 IoU가 최적화되는 데 한계가 있다. 이를 보완하기 위해 본 논문에서는 예측박스와 타깃 박스를 감싸는 영역과 타깃 박스와 예측 박스 각각의 둘레 차이를 이용한 새로운 회귀 손실함수, Perimeter IoU Loss를 제안한다. 제안한 방법을 적용한 결과 여러 객체 탐지 모델을 이용한 실험과 모의실험을 통하여 Perimeter IoU Loss가 다른 회귀 손실 함수보다 더 높은 정확도를 보임을 확인하였다.
