트랜스포머 기반 시계열 데이터 분류작업을 위한 GASF와 CNN을 사용한 CLS 토큰 추가 임베딩 방법

서재진, 이상원, 최원익

http://doi.org/10.5626/JOK.2023.50.7.573

시계열 데이터란 일정한 시간 동안 수집된 일련의 순차적으로 정해진 데이터 셋의 집합을 의미하며 예측, 분류, 이상치 탐지 등에 활용되고 있다. 기존 시계열 분야는 순환신경망으로 구성된 모델을 주로 활용하여 분석하였지만, 최근 트랜스포머의 개발로 인하여 연구 추세가 변화하고 있다. 하지만 트랜스포머는 시계열 데이터 예측에는 좋은 성능을 보이지만, 분류 작업에는 상대적으로 부족한 성능을 보인다. 본 논문에서는 시계열 데이터를 트랜스포머에 입력으로 활용하기 위해 그라미안 각도 합산 필드와 컨볼루션 신경망을 사용하여 생성한 분류 토큰을 추가하는 임베딩 방식을 제안하며, 사전 학습 기법을 활용하여 성능을 향상시킴을 보인다. 제안하는 모델 성능을 비교하기 위하여 12개의 서로 다른 모델들과 평균 정확도를 기준으로 성능 평가를 진행하였으며, 제안하는 모델은 다른 모델에 비해 최소 1.4% 최대 21.1%까지 성능 향상을 보인다.