논증 구조 정보를 통합한 심층 신경망 기반 에세이 특성 자동 평가 모델

이예진, 김학수

http://doi.org/10.5626/JOK.2023.50.8.662

에세이 자동 평가는 모델이 주어진 에세이를 읽고 자동으로 평가하는 작업이다. 본 논문에서는 효과적인 에세이 자동 평가 모델을 위해 Argument Mining 작업을 사용하여 에세이의 논증 구조가 반영된 에세이 표현을 만들고, 에세이의 평가 항목별 표현을 학습하는 방법을 제안한다. 실험을 통해 제안하는 에세이 표현이 사전 학습 언어 모델로 얻은 표현보다 우수함을 입증했으며, 에세이 평가를 위해 평가 항목별로 다른 표현을 학습하는 것이 보다 효과적임을 보였다. 정량 평가 시 최종 제안 모델의 성능은 Quadratic Weighted Kappa(QWK) 기준으로 0.543에서 0.627까지 향상되어 사람의 평가와 상당히 일치하며, 정성 평가 시에도 사람과 비슷한 평가 경향을 보이는 것을 확인했다.