합성곱 신경망을 위한 Elastic Multiple Parametric Exponential Linear Units 


46권  5호, pp. 469-477, 5월  2019
10.5626/JOK.2019.46.5.469


PDF

  요약

활성화 함수는 신경망 모델의 비선형성과 깊이를 결정하는 중요한 요소이다. Rectified Linear Units (ReLU)가 제안된 이후, 평균값을 0에 가깝게 하여 학습의 속도를 높인 Exponential Linear Units (ELU)나 함수 기울기에 변화를 주어 성능을 향상시킨 Elastic Rectified Linear Units (EReLU)같은 다양한 형태의 활성화 함수가 소개되었다. 우리는 서로 다른 ELU와 EReLU를 일반화한 형태의 활성화 함수인 Elastic Multiple Parametric Exponential Linear Units (EMPELU)를 제안한다. EMPELU는 양수 영역에서는 임의의 범위로 기울기 변동을 주면서, 음수 영역은 학습 파라미터를 이용해 다양한 형태의 활성화 함수를 형성하도록 하였다. EMPELU는 합성곱 모델 기반 CIFAR-10/100의 이미지 분류에서 기존 활성화 함수에 비해 정확도 및 일반화에서 향상된 성능을 보였다.


  통계
2022년 11월부터 누적 집계
동일한 세션일 때 여러 번 접속해도 한 번만 카운트됩니다. 그래프 위에 마우스를 올리면 자세한 수치를 확인하실 수 있습니다.
  논문 참조

[IEEE Style]

D. Kim and J. Kim, "Elastic Multiple Parametric Exponential Linear Units for Convolutional Neural Networks," Journal of KIISE, JOK, vol. 46, no. 5, pp. 469-477, 2019. DOI: 10.5626/JOK.2019.46.5.469.


[ACM Style]

Daeho Kim and Jaeil Kim. 2019. Elastic Multiple Parametric Exponential Linear Units for Convolutional Neural Networks. Journal of KIISE, JOK, 46, 5, (2019), 469-477. DOI: 10.5626/JOK.2019.46.5.469.


[KCI Style]

김대호, 김재일, "합성곱 신경망을 위한 Elastic Multiple Parametric Exponential Linear Units," 한국정보과학회 논문지, 제46권, 제5호, 469~477쪽, 2019. DOI: 10.5626/JOK.2019.46.5.469.


[Endnote/Zotero/Mendeley (RIS)]  Download


[BibTeX]  Download



Search




Journal of KIISE

  • ISSN : 2383-630X(Print)
  • ISSN : 2383-6296(Electronic)
  • KCI Accredited Journal

사무국

  • Tel. +82-2-588-9240
  • Fax. +82-2-521-1352
  • E-mail. chwoo@kiise.or.kr