디지털 라이브러리[ 검색결과 ]
저해상도 이미지 분류를 위한 고해상도 이미지로부터의 Self-Attention 정보 추출 네트워크
http://doi.org/10.5626/JOK.2020.47.11.1027
기존의 딥러닝 모델들은 고화질의 이미지들을 활용하여 연구 개발되었으며, 화질이 낮아질수록 급격히 성능이 낮아진다. 본 연구는 저화질 이미지에도 효과적으로 대응할 수 있는 딥러닝 모델을 개발하고자, 고화질의 이미지로부터 효과적으로 분류를 할 수 있는 정보를 Attention Map의 형태로 추출했다. 이후 Knowledge Distillation 기법을 활용하여 고화질 이미지상에서 추출한 Attention Map을 저해상도 이미지 모델에 전달하는 네트워크를 제안했으며, 16×16의 저해상도 CIFAR100 이미지를 분류했을 때 에러율을 2.94% 낮출 수 있었다. 이는 32×32에서 16×16으로 이미지 해상도를 낮췄을 때 에러 감소율의 38.43%에 해당하는 수치로, 본 네트워크의 우수성을 입증할 수 있었다.
합성곱 신경망을 위한 Elastic Multiple Parametric Exponential Linear Units
http://doi.org/10.5626/JOK.2019.46.5.469
활성화 함수는 신경망 모델의 비선형성과 깊이를 결정하는 중요한 요소이다. Rectified Linear Units (ReLU)가 제안된 이후, 평균값을 0에 가깝게 하여 학습의 속도를 높인 Exponential Linear Units (ELU)나 함수 기울기에 변화를 주어 성능을 향상시킨 Elastic Rectified Linear Units (EReLU)같은 다양한 형태의 활성화 함수가 소개되었다. 우리는 서로 다른 ELU와 EReLU를 일반화한 형태의 활성화 함수인 Elastic Multiple Parametric Exponential Linear Units (EMPELU)를 제안한다. EMPELU는 양수 영역에서는 임의의 범위로 기울기 변동을 주면서, 음수 영역은 학습 파라미터를 이용해 다양한 형태의 활성화 함수를 형성하도록 하였다. EMPELU는 합성곱 모델 기반 CIFAR-10/100의 이미지 분류에서 기존 활성화 함수에 비해 정확도 및 일반화에서 향상된 성능을 보였다.
