음성인식 모델 및 언어 모델 기반의 음성 전사 코퍼스 오류 자동 검출 방법

이정필, 이지현, 최예린, 장재후, 구명완

http://doi.org/10.5626/JOK.2024.51.4.362

본 연구에서는 CTC 기반 음성인식 모델과 언어 모델의 지식을 결합하여 한국어 음성 코퍼스에서 전사 오류를 자동 검출하는 machine-in-the-loop 방법을 제안한다. 음성인식 모델의 문자오류율(CER)과 언어 모델의 혼잡도(PPL)를 활용한 세 단계 절차를 통해 전사 오류 후보군을 찾아내고, 검출된 후보의 텍스트 레이블을 검수하는 방식으로 오류 검출의 성능을 실험적으로 확인하였다. 이 연구는 한국어 음성인식 코퍼스 KsponSpeech를 대상으로 진행하였으며, 테스트셋의 문자오류율이 검수 전 9.44%에서 8.9%로 개선되었다. 이는 테스트셋 중 약 11%의 데이터만 검수하더라도 성능 향상을 보여주며, 전체 검수에 비해 효율적인 방법임을 입증한다. 이를 통해 음성 데이터의 검수 비용을 줄일 수 있는 효율적인 machine-in-the-loop 오류 검출의 가능성을 확인하였다.