Diffusion Model의 Attention Map 기반 자동 마스킹을 이용한 객체 변환 기법

이수현, 박종열

http://doi.org/10.5626/JOK.2025.52.4.284

Diffusion Model 중 Text-to-image Model에 관한 연구가 활발하게 이루어짐과 더불어 Null-text Inversion 기술의 등장으로 실제 이미지를 노이즈 형태로 역변환하여 편집하는 기법들이 나날이 발전하고 있다. 그러나, 대부분의 이미지 편집(특히, 객체 변환)에서는 사용자가 정의하는 마스크가 요구되고 이에 따라 마스킹을 위한 추가적인 모델이 파이프라인에 포함되게 된다. 이는 단일 모델로 가질 수 있는 단순화된 추론 과정을 복잡하게 만든다. 본 논문에서는 Diffusion Model이 가지고 있는 프로세스에서 Attention map을 살펴보고 제안하는 자동화된 객체 마스킹을 사용한다. 추론 과정에서는 기존과 다르게 역변환 과정에서 얻은 정보를 사용한다. 이는 기존의 연구와는 다르게 마스킹을 위한 사용자 개입이 없으며, 새로운 객체를 생성하는 데 있어서 실험을 통해 실용성을 확인하였다.