고차원 데이터에서 무감독 이상치 탐지를 위한 차원 축소 방법

박정희

http://doi.org/10.5626/JOK.2022.49.7.537

많은 이상치 탐지 방법들 중에서 트리 기반 방법인 Isolation Forest는 이상치 탐지 성능이 높은 것으로 알려져 있으나, 텍스트 데이터와 같은 고차원 데이터에서는 데이터의 희소성과 노드 분할을 위해 선택할 수 있는 총 속성 수의 제한으로 인해 적용하는데 한계를 가진다. 본 논문에서는 고차원 데이터에서 이상치 탐지를 위한 차원 축소 방법을 제안한다. 첨도를 최대화하는 선형 변환에 의한 차원 축소를 수행하고, 변환된 공간에서 Isolation Forest에 의한 이상치 탐지 모델을 적용한다. 일변량 확률 분포에서 이상치가 존재할 가능성을 나타내는 값으로 해석할 수 있는 첨도가 높은 특징들의 부분집합을 입력 특징으로 사용하고 출력 노드에서 첨도를 최대화하는 목적 함수를 사용하는 단층 신경망을 이용하여 선형변환을 구하는 방법을 사용하였다. 텍스트 데이터를 이용한 실험결과, 제안된 차원 축소 방법으로 변환한 공간에서 모델링한 Isolation Forest가 더 높은 탐지 성능을 보여주었다.