디지털 라이브러리[ 검색결과 ]
개선된 패치 매칭을 이용한 깊이 영상 기반 렌더링의 홀 채움 방법
깊이 영상 기반 렌더링은 깊이 정보를 활용하여 가상 시점의 영상을 생성하는 기술로 다양한 3차원 영상시스템에서 필요로 하는 기술이다. 깊이 영상 기반 렌더링에서 가장 어려운 과제는 가상 시점 영상에서 새롭게 드러나는 부분을 채우는 과정이다. 영상 인페인팅은 이 과정에서 보편적으로 활용되는 방법이다. 본 논문에서는 홀을 채우는 과정에서 발생하는 오류를 줄이고 자연스럽게 채우는 방법을 제안한다. 먼저 색상 영상의 정보와 깊이 정보를 활용하여 지역적으로 적응적 패치 크기를 선택하도록 하였다. 또한 패치 간 유사도에 따라 홀을 채우는 방법을 한 번에 채우는 경우와 부분적으로 채우는 경우로 구분하였다. 이를 통해 오류의 발생을 줄이고 깊이 영상 기반 렌더링에서 가장 큰 문제가 되는 오류의 전파를 억제하였다. 실험을 통해 제안한 방법이 기존의 방법보다 시각적으로 자연스러운 가상 시점 영상을 생성하는 것을 확인하였다.
인공 구조물 내 직선을 찾기 위한 경험적 가중치를 이용한 소실점 검출 기법
소실점(vanishing point)이란 카메라 렌즈를 통해 3차원 공간을 2차원 영상으로 투영하는 과정에서 평행한 직선들이 수렴하는 점을 의미한다. 소실점 검출은 영상 내의 정보를 이용하여 소실점의 위치를 파악하는 것을 의미하며, 영상 내 지점들의 상대적인 거리를 파악하거나 장면 전체의 3차원 구조를 파악하는데 활용된다. 일반적으로 영상 내 평행한 직선들은 인공 구조물 내에 존재하는 경우가 많으므로 직선 검출 기반 소실점 검출 기법들은 인공 구조물 내의 직선들을 찾아 이들이 수렴하는 점을 소실점으로서 검출하는 것을 목표로 한다. 이 때, 영상 내에서 직선을 검출하기 위하여 먼저 에지 검출(edge detection)을 통해 에지 픽셀을 검출하고 그 결과를 허프 변환(Hough transform)하여 직선들을 찾아낸다. 그러나 각종 텍스쳐 및 노이즈 등 여러 원인들로 인해 위 과정에서 검출된 직선들이 모두 소실점을 지나지는 않는다. 따라서 검출된 직선들로부터 소실점을 정확히 검출하기 위해서는 각 직선에 대하여 소실점을 지날 가능성에 따라 다른 가중치를 부여하는 것이 필요한데 기존의 연구들은 가중치를 동일하게 부여하거나 단순한 수준의 가중치 계산을 적용해 왔다. 본 논문에서는 소실점을 지나는 직선들은 대부분 인공 구조물내의 직선들임에 착안하여 직선에 가중치를 부여하는 새로운 방법을 제안하고 이를 이용한 소실점 검출 결과를 몇 가지 기존 방법들과 비교하였다. 그 결과, 기존 방법들에 비하여 소실점 추정 오류가 약 65% 감소하였다.
3차원 동영상의 시각 주의 확률 모델 도출 및 시각 주의 기반 입체감 추정
시청자들은 영상을 시청할 때 화면상 시각이 집중된 곳 주변의 정보를 영향력 있게 받아들일 가능성이 크다. 이러한 사실을 이용하여 최근 연구들은 시각 주의 모델을 영상 제작 및 평가 방법에 이용하고 있다. 본 연구에서는 실제로 사람들의 시각 주의도가 어떠한 인자에 영향을 많이 받는지, 또 시각 주의 모델은 구체적으로 어떠한 형태가 되는지를 통계적 실험 계획법을 이용하여 추정하였다. 분산 분석법을 이용하여 속도, 화면으로부터의 거리, 비초점흐림 정도가 시각 주의에 영향을 미치는 유의한 인자인 것을 확인하였고 반응 표면 계획법을 이용하여 이 세가지 인자들에 따른 시각 주의 점수 모델을 도출하였다. 이 시각 주의 점수 모델로부터 영상 각 픽셀의 시각 주의 확률을 구하였다. 본 연구의 뒷부분에서는 시각주의 확률 모델을 기존의 기울기(gradient) 기반 3차원 영상의 입체감 측정법에 적용하는 방법을 제안하였다. 화면 상에서 시선을 집중할 확률이 큰 부분에 높은 비중을 둠으로써 기존의 방법 보다 시청자가 느끼는 입체감을 더욱 정확하게 측정할 수 있도록 하였다. 제안한 방법의 성능을 검증하기 위해 주관적 평가를 실시하여 피실험자들이 느끼는 입체감과 제안된 방법으로부터 도출한 결과를 비교하였다. 실험 결과 제안한 방법이 기존의 방법에 비해 성능이 높은 것을 확인하였다.
