심주용  김성환

10.5626/JOK.2024.51.1.67

초거대 언어모델 보이스피싱 탐지 프롬프트 설계

본 논문은 GPT(generative pre-trained transformer)-3.5 언어모델 시리즈 중 최근 공개된 모델인 text-davinci-003를 활용한 보이스피싱을 예방 기법을 제안한다. 이를 위해, 대화가 보이스피싱일 가능도를 0～10 사이의 정수로 답변하도록 프롬프트를 설계한다. 프롬프트 조정, 하이퍼파라미터 조정, 성능검증을 위해 실제 한국어 보이스피싱 녹취록 105개와 다양한 주제의 일반 대화 녹취록 704개를 사용한다. 제안한 기법은 통화 중에 보이스피싱 알람을 전송하는 기능과 통화 종료 후 최종적으로 보이스피싱 여부를 판단하는 기능을 포함한다. 훈련용 데이터와 테스트 데이터의 유형을 다르게 하면서 다섯 가지 시나리오에서 성능을 측정하였고 제안한 기법이 0.95～0.97의 정확도를 나타냄을 보인다. 특히 훈련 시 사용한 데이터의 출처와 다른 출처에서 확보한 데이터로 테스트하였을 때, 제안한 기법이 기존 BERT(bidirectional encoder representations from transformer) 모델 기반 기법에 비해 우수한 성능을 보인다.