디지털 라이브러리[ 검색결과 ]
메모리 효율적인 파라미터 생성 기반 지속학습
http://doi.org/10.5626/JOK.2024.51.8.747
파라미터 생성 기반 지속학습은 이전 태스크에 대한 안정성 유지에는 탁월하지만, 새로운 태스 크에 대한 적응력이 부족하여 점진적으로 파라미터 생성 능력이 저하되는 문제에 직면한다. 또한, 파라미 터 생성 모델(메타모델)의 최적 크기를 사전에 설정하기 어려워 메모리 효율성 문제가 발생할 수 있다. 본 논문은 이를 해결하기 위해 두 가지 기법을 제안한다. 첫째, Chunk Save & Replay 기법은 생성형 신경 망의 취약한 부분들을 선별적으로 저장 및 재생하여 파라미터 생성 모델의 다양성을 유지하면서도 메모리 를 효율적으로 사용할 수 있도록 한다. 둘째, Automatically Growing GAN 기법은 학습 태스크에 따라 파라미터 생성 모델의 메모리를 자동으로 확장하여 제한된 자원 환경에서 메모리를 효과적으로 활용할 수 있게 해준다. 실험 결과, 모델의 성능 하락을 최소화하면서 메모리 사용량을 크게 감소시킬 수 있었으며 신경망의 성능이 저하되었을 때 회복할 수 있는 능력을 입증하였다.
지하공동구 화재 시계열 데이터 생성을 위한 Convolutional Attention TimeGAN 모델 연구
http://doi.org/10.5626/JOK.2024.51.6.490
지하공동구는 도시 운영과 관리에 필수적인 국가 중요시설이다. 화재는 지하공동구에서 가장 많이 발생하는 재난이며, 인공지능을 이용한 화재 관리 시스템에 대한 요구가 높아지고 있다. 하지만 인공 지능 학습을 위한 화재 데이터 수집은 어렵기 때문에, 실제 화재의 주요 특성을 반영한 데이터 생성 모델 을 활용하는 것이 대안이 될 수 있다. 본 논문에서는 화재 데이터 생성 모델인 CA-TimeGAN을 기반으 로 인공지능 학습 데이터 생성 방안을 제안한다. 학습을 위한 화재 시뮬레이션 데이터 수집을 위해 FDS 가상환경 내에 충북 오창 지하공동구를 조성하였다. 실험에서는 TimeGAN과 CA-TimeGAN으로 각각 생 성한 데이터를 비교하고, 데이터 품질과 실효성을 검증하였다. 판별점수는 CA-TimeGAN과 TimeGAN 모두 0.5로 수렴하였다. 예측 점수는 시뮬레이션 데이터로만 학습한 모델 보다 66.1%, 시뮬레이션 데이터 와 TimeGAN 생성 데이터를 결합하여 반영한 모델 보다 22.9% 향상되었다. PCA 및 t-SNE 분석 결과, 생성 데이터와 시뮬레이션 데이터 분포가 유사한 것으로 분석되었다.
GAN에서의 점진학습을 위한 잠재벡터 저장 기반 리허설 방법
http://doi.org/10.5626/JOK.2023.50.4.351
인간과 달리 딥러닝 모델에게 다수의 태스크에 대한 순차적 학습은 어려운 문제이다. 이는 비 단 분류모델뿐만 아니라 GAN과 같은 생성모델도 해당한다. GAN 지속학습 연구에서 주로 사용하는 Generative Replay 방식은 직전 태스크까지 학습된 GAN이 생성한 이미지를 새로운 태스크 학습 시 함께 사용하는데, 비교적 어려운 태스크에 속하는 CIFAR10에 대해서 좋은 품질의 이미지를 생성하지 못한다. 따라서 실제 이미지의 일부를 저장하는 리허설 기반 방법을 고려해볼 수 있는데, 실제 이미지는 큰 차원을 가지기 때문에 제한된 메모리에 많은 양을 저장할 수 없다. 본 논문에서는 기존 리허설 기반 방식에서 이미지를 저장하는 대신에 GAN의 입력이 되는 잠재벡터를 저장하는 지속학습 방법 LactoGAN과 LactoGAN+를 제안한다. 그 결과 같은 메모리에 더 많은 이미지 정보의 저장이 가능하게 되어 기존 GAN 지속학습 방법들에 비해 더 우수한 결과를 보임을 확인하였다.
태스크 점진 학습에서의 적대적 생성 신경망과 베이지안 신경망을 활용한 모델 재생성
http://doi.org/10.5626/JOK.2022.49.12.1115
지속적인 학습이 가능한 인간과는 대조적으로 딥러닝 모델은 학습하는 태스크가 점진적으로 들어오는 상황에서 기존의 성능을 유지하는데 상당한 어려움을 갖는다. 본 논문에서는 신경망 재생성 기반의 새로운 태스크 점진 학습 방법인 ParameterGAN을 제안한다. 제안된 방법은 적대적 생성 학습을 활용하여 사전 학습한 베이지안 신경망의 파라미터와 유사한 분포를 가지는 신경망 자체를 재생성하고, 유사 리허설(pseudo-rehearsal) 방식을 통해 치명적 망각 없이 과거 모든 시점의 신경망을 재생성하여 지속학습을 가능하게 한다. 다양한 실험을 통해 재생성한 파라미터로 구성된 합성 모델의 성능이 사전 학습된 모델의 성능에 준함을 확인하고, 태스크 점진 학습 상황인 Split-MNIST, Permuted-MNIST 벤치마크 실험에서 제안 방법이 기존의 다른 방법보다 더욱 우수한 성능을 보임을 확인한다.
객체 탐지를 위한 객체 복사 기반의 적대적 생성 신경망 활용 이미지 데이터 증강 기법
http://doi.org/10.5626/JOK.2022.49.12.1056
컴퓨터 비전 분야에서는 양질의 이미지 데이터가 합성곱 신경망(CNN) 모델의 성능에 중요한 영향을 미친다. 하지만 실제 도메인에서는 충분한 양질의 데이터를 구하는 것이 어렵기 때문에 이미지 데이터의 증강 기법에 대한 연구가 계속해서 이루어지고 있다. 본 논문에서는 기존에 연구되던 적대적 생성 신경망(GAN)과 객체 복사(Copy-Paste) 기반의 증강 기법을 결합하여 더 다양한 이미지 데이터를 생성할 수 있는 이미지 데이터 증강 기법을 제안한다. 경계 상자(bounding box)가 아닌 객체 경계를 잘라내고, 적대적 생성 신경망을 사용하여 객체를 변형함으로써 기존의 픽셀 단위, 이미지 단위에서 벗어난 객체 단위의 이미지 데이터 증강을 보인다.
적대적 생성 신경망을 이용한 얼굴 감정인식 데이터 증강
http://doi.org/10.5626/JOK.2021.48.4.398
컴퓨터 비전의 얼굴 감정인식 분야는 딥러닝의 다양한 신경망을 통해 최근 의미있는 행보를 보이고 있다. 그러나 주요하게 사용되는 데이터셋들은 “클래스 불균형”이라는 문제를 안고 있고 이는 딥러닝 모델의 정확도를 하락시키는 요인이 된다. 그러므로 클래스 불균형이라는 문제를 해소하기 위한 연구들이 활발하게 진행되고 있다. 본 논문에서는 얼굴 감정인식 데이터셋으로 사용되는 FER2013, RAF_single 데이터셋의 클래스 불균형을 해소하기 위해 적대적 생성 신경망을 이용한 얼굴 감정인식 데이터 증강 모델인 “RDGAN”을 제안한다. RDGAN은 기존 이미지 간 변환을 위한 적대적 생성 신경망을 바탕으로 표현 판별자를 추가하여 기존 연구보다 클래스에 적합한 이미지를 생성 및 변환하는 네트워크이다. RDGAN으로 증강된 데이터셋은 데이터 증강을 하지 않은 데이터셋과 비교하여 FER2013과 RAF_single에서 각각 평균 4.805%p, 0.857%p의 성능 향상을 보였다.
Rényi 차분 프라이버시를 적용한 WGAN 모델 연구
http://doi.org/10.5626/JOK.2021.48.1.128
다양한 서비스를 이용함으로써 개인정보는 수집되며, 관리자는 수집된 데이터들로부터 가치를 추출하고 결과를 분석하여 개개인의 맞춤형 정보를 제공한다. 하지만 의료 데이터와 같은 민감한 데이터는 프라이버시 침해문제가 있으며, 이에 재현 데이터 생성 모델로 GAN이 많이 사용되고 있다. 그러나 GAN은 원본 데이터의 민감한 정보까지 학습하므로 프라이버시 취약점이 존재한다. 따라서 GAN의 프라이버시 보호를 위해 많은 연구가 수행되었다. 특히 강력한 프라이버시 보호 모델인 차분 프라이버시를 적용한 연구가 진행되었지만, 데이터의 유용성 측면에서 실제 환경에 적용하기에는 부족하다. 본 논문에서는 프라이버시와 유용성을 보장하는 Rényi 차분 프라이버시를 적용한 GAN 모델을 연구한다. 특히 WGAN 및 WGAN-GP을 기반으로 프라이버시를 보존하지 않은 기존의 모델, 차분 프라이버시를 적용한 모델, 그리고 Rényi 차분 프라이버시를 적용한 모델들을 통해 생성된 재현 데이터를 비교 분석한다.
단순화한 프레셋 거리를 이용한 적대적 생성 신경망의 모드 드롭 및 붕괴 검출 기법
http://doi.org/10.5626/JOK.2019.46.10.1012
적대적 생성 신경망은 두 개의 네트워크를 적대적으로 학습시켜 원본 데이터 분포를 추정하고, 이를 기반으로 데이터를 생성하는데 탁월한 모델이지만, 학습 도중 분포를 학습하지 못하는 모드 드롭 현상이나 하나 또는 매우 적은 분포의 샘플만을 생성하는 모드 붕괴 현상이 종종 나타난다. 이 현상을 감지하기 위해 기존 연구들은 학습 데이터를 통제하거나 별도의 신경망 모델을 학습시켜야 하는 한계점을 보였다. 이에 본 논문은 프레셋 거리를 단순화하여 추가적인 모델이나 학습 데이터의 제한 없이 모드 붕괴를 검출하는 기법을 제안한다. 다양한 실험을 통하여 제안하는 거리 척도가 기존의 적대적 생성 신경망에 적용된 척도에 비해 더욱 효과적으로 모드 드롭 및 붕괴를 검출할 수 있음을 보인다.
