Alpha-Integration Pooling for Convolutional Neural Networks

Hayoung Eom, Heeyoul Choi

http://doi.org/10.5626/JOK.2021.48.7.774

컨볼루션 뉴럴 네트워크(CNN)는 이미지 인식을 비롯한 많은 애플리케이션에서 놀라운 성능을 보여주고 있다. CNN의 주요 요소 중 하나인 서브 샘플링은 효율적인 학습과 불변성에 중요한 역할을 하며, 일반적으로 최대풀링과 평균풀링이 많이 사용된다. 두 방법 외에도 기하 평균, 조화 평균 등과 같은 다른 풀링 유형들이 존재할 수 있다. 여러 풀링 유형들 중에 최적의 유형을 자동으로 찾기가 어렵기 때문에 특정 유형이 사전에 선택되어 사용되고 이는 주어진 문제에서 최적의 유형이 아닐 수 있다. 하지만, 딥러닝의 다른 변수들과 마찬가지로, 주어진 문제에서 데이터로부터 풀링 유형을 학습할 수 있다. 본 논문은 학습 가능한 파라미터 α를 통해 풀링 유형을 찾아내는 알파-인테그레이션 풀링(αI-pooling)을 제안한다. αI-pooling은 파라미터 α에 따라 최대풀링과 평균풀링 등을 특수 케이스로 포함하는 일반화된 풀링 방법이다. 실험을 통해 이미지 인식 문제에서 αI-pooling의 성능이 다른 풀링 유형들을 능가함을 보였다. 또한, 각각 레이어가 다른 최적의 풀링 유형을 가지고 있음을 확인했다.