물체 간 연관 관계 학습을 통한 문장으로부터 장면 생성

신용민, 최수정, 박성배, 박세영

http://doi.org/10.5626/JOK.2019.46.5.431

사람과 기계가 소통할 때 위치 정보는 중요한 역할을 하지만, 때때로 문장에서 생략되어 나타난다. 사람은 생략된 정보를 배경 지식을 통해서 알 수 있지만, 기계는 그렇지 않은 경우가 많기 때문에 문장으로부터 장면을 생성한다면 올바른 장면을 생성하지 못 한다. 이러한 문제를 해결하기 위해 기존의 연구들은 주어진 문장에서 구분 분석 방식을 통해 명시적인 위치 관계를 추정하고 사전 확률들을 이용하여 생략된 정보를 복원하여 장면을 생성하였으나, 이는 형태론적 생산성과 자유로운 어순 등 구문 분석방식을 사용하기에 여러 문제가 있는 한국어 문장에 적용하기에는 많은 어려움이 있다. 따라서 본 논문에서는 한국어 문장으로부터 장면을 생성하는 방법을 제안한다. 먼저 주어진 문장에 명시적으로 나타난 물체 및 위치 관계를 추정하기 위해 RNN 기반의 신경망을 이용한다. 그 다음 물체 간 연관 관계에 대한 사전확률 값들을 학습하여 문장에서 생략된 정보를 추정한다. 추정된 물체 및 위치 정보를 사용하여 장면 트리를 구성하고 이를 통해 장면을 생성한다. 장면 생성에 대한 평가를 위해서 문장에 존재하는 연관 관계를 다루는 모델의 정확도를 측정하고 생성한 장면에 대한 평가를 수행하였다. 그 결과 구문 분석 기반 방식보다 약 25%의 성능 향상이 있어 제안한 방법이 효과적임을 증명하였다.