디지털 라이브러리[ 검색결과 ]
시멘틱 세그멘테이션 도메인 적응 향상을 위한 거대 영상-언어 모델 기반 수도 라벨 보정 기법
http://doi.org/10.5626/JOK.2024.51.5.464
현실에서 획득한 이미지에 대해 시멘틱 세그멘테이션 라벨을 만드는 것은 매우 비용이 많이 든다. 비지도 도메인 적응에서는 이러한 문제를 해결하기 위해 라벨을 쉽게 수집할 수 있는 가상 환경에서 생성된 데이터 혹은 이미 라벨이 확보된 데이터와 라벨이 없는 현실에서 획득한 이미지를 활용하여 모델 을 학습시킨다. 비지도 도메인 적응에서 흔히 나타나는 문제 중 하나는 유사한 사물 클래스를 쉽게 혼동한 다는 것이다. 본 논문에서는 거대 영상-언어 모델을 활용하여 타겟 데이터의 수도 라벨을 보정하는 방법 을 제안한다. 타겟 이미지에 대해 생성되는 수도 라벨을 보다 정확하게 만들면 사물 클래스 간의 혼동을 줄일 수 있다. 제안된 방법은 DAFormer의 성능을 게임에서 현실로의 적응에서 +1.1 mIoU, 낮에서 밤으 로의 적응에서 +1.1 mIoU 향상시켰다. 사물 클래스에 대해 MIC의 성능을 게임에서 현실로의 적응에서 +0.6 mIoU, 낮에서 밤으로의 적응에서 +0.7 mIoU 향상시켰다.
데이터셋 품질 개선을 위한 Self-Supervised Vision Transformer 기반의 객체 Pseudo-label 생성 기법
http://doi.org/10.5626/JOK.2024.51.1.49
이미지 분할은 이미지에 존재하는 객체를 객체 상자로 지역화하고 픽셀을 적절한 범주로 분류하는 컴퓨터 비전의 중요한 분야 중 하나이다. Instance segmentation 모델의 성능을 위해서는 다양한 크기의 객체에 대한 라벨을 가진 데이터셋이 요구된다. 하지만 최근 공개된 ‘Small Object Detection을 위한 이미지’ 데이터셋은 크기가 크고 일반적인 객체에 대한 라벨이 부족하여 잠재적 성능 저하를 유발한다. 본 논문에서는 위와 같은 문제를 해결하기 위해 비지도 학습 기반의 pseudo-labeling 방법론을 응용하여 일반적인 객체에 대한 pseudo-label을 생성함으로써 데이터셋의 품질을 개선한다. 실험결과, 기존 데이터셋 대비 작은 객체 분할 성능이 (+2.54 AP) 증가하였다. 추가적으로 적은 양의 데이터를 이용한 경우에서도 성능의 증가도 확인할 수 있었다. 이에 따라 제안된 방법론을 통해 효과적으로 데이터셋의 품질이 개선된 것을 확인할 수 있었다.
