이미지 묘사 기법에 대한 조사

옥수빈, 이대호

http://doi.org/10.5626/JOK.2023.50.3.210

딥러닝의 발전과 함께 주목받고 있는 이미지 묘사 기술은 이미지 속 내용을 파악하는 컴퓨터 비전 분야와 문장으로 번역하는 자연어 처리 분야의 기술이 복합적으로 사용된다. 본 논문에서는 이미지 묘사 기술에 대한 연구를 3가지 카테고리(템플릿 기반의 방법, 시각적/의미적 유사도 검색 기반의 방법, 딥러닝 기반의 방법)로 정리한 후, 그 성능을 비교한다. 성능 비교를 통해서 우수한 성능을 보이는 모델의 특징이 무엇인지 파악함으로써 앞으로의 연구 방향을 제시하려고 한다. 또한, 최근 대부분의 방법론에서 사용하고 있는 딥러닝이 실제로 이미지 묘사 모델에서 우수한 성능을 보이는지도 살펴본다. 이런 과정을 통해, 지금까지의 이미지 묘사 기술에 대해 전반적인 내용을 정리하는 것을 목표로 한다. 각 연구의 성능은 일반적으로 많이 사용되는 Flickr30K, MS COCO 데이터셋에 대한 METEOR, BLEU 점수를 비교하고, 이에 대한 결과를 제공하지 않는 경우에는 테스트 이미지와 이에 대해 생성된 문장을 확인한다.