음성감정데이터베이스의 분석과 프레임 단위 특징과 발음단위 특징을 통합하는 Attention Mechanism을 이용한 음성 감정 인식 시스템의 개발

김도경, 김윤중

http://doi.org/10.5626/JOK.2020.47.5.479

본 연구에서 음성신호로부터 프레임 단위의 특징과 발음 단위의 특징을 통합하고 감정의 정보를 분석하는 BLSTM(Bidirectional Long-Sort Term Memory) 레이어, Attention mechanism 레이어 및 심층 신경회로망으로 구성되는 모델을 제안하고, 음성 감정 데이터베이스 IEMOCAP(Interactive Emotional Dyadic Motion Capture) 레이블의 신뢰성 분석에 기초하여 모델의 성능을 분석하였다. IEMOCAP 데이터베이스에서 제공되는 레이블의 평가 자료에 기초하여 기본 데이터 셋, 감정 클래스의 분포를 균형화 시킨 데이터 셋, 3명 이상의 판정에 기초하여 신뢰성이 개선된 데이터 셋을 구성하고, 각각의 데이터 셋에 대하여 화자독립 교차검증실험을 수행하였다. 개선되고 균형화된 데이터 셋에 대한 실험에서 최대 67.23% (WA, Weighted Accuracy), 56.70% (UA, Unweighted Accuracy)의 스코어를 성취하였고 기본 데이터 셋의 실험에 비하여 6.47% (WA, 4.41% (UA) 개선됨을 확인하였다.