디지털 라이브러리[ 검색결과 ]
시공간 그래프 랜덤워크를 활용한 비디오 의미구조 이해
http://doi.org/10.5626/JOK.2024.51.9.801
긴 비디오 이해는 비디오 내 다양한 의미단위들을 찾고, 이들 간 복잡한 관계 해석에 초점을 맞춘다. 기존 방식은 합성곱 신경망이나 transformer 기반 모델을 활용하여 짧은 클립들에 대한 문맥정보 를 인코딩하고, 이들 간의 시간적 관계를 고려한다. 그러나 해당 방식으로는 비디오 내부에 존재하는 의미 단위들간 복잡한 관계 포착이 어렵다. 본 논문에서는 이러한 의미단위들 간 관계를 명시적으로 표현하기 위해 객체를 정점, 객체들 간 시공간 관계를 간선으로 하는 시공간 그래프로 비디오 입력을 재표현한다. 또한, 해당 그래프에서 시공간 랜덤워크를 통해 얻은 고차원적 의미관계(high-order relationship) 정보를 활용하여, 주요 의미단위를 더 작은 단위들의 구성으로 표현하는 새로운 방법을 제안한다. 다양한 물체들 의 복잡한 행동에 관련된 비디오 데이터셋 CATER를 활용한 실험으로, 제안하는 방식이 효과적인 의미단 위 포착능력을 가짐을 입증하였다.
시각적 관계 예측을 위한 계산 효율적인 조합적 전이 표현 학습법
http://doi.org/10.5626/JOK.2022.49.7.544
장면 그래프는 이미지에 존재하는 객체 사이의 고차원 시각 관계를 표현하기 위해 널리 활용된다. 본 논문에서는 장면 그래프를 자동으로 구축하기위해 객체 사이의 시각 관계를 감지하고 그 관계를 술어로 예측하는 알고리즘을 제안한다. 우리는 기존에 제시된 텍스트 기반 지식 그래프 임베딩 TransR에서 영감을 받아 i) 시각적 관계의 구성적 관점을 고려하기 위한 잠재 관계 부분 공간을 정의하고 ii) 각 부분 공간에서 객체 표현 사이의 전이적 제약을 적용하는 CompTransR을 제시한다. 장면 그래프 생성을 위한 대표적인 벤치마크 데이터인 VRD, VG200 및 VrR-VG에서 제안하는 방법론은 기제시된 모델과 비교하여 학습 복잡도를 줄이는 동시에 우수한 성능을 보였다. 또한, 높은 수준의 시각-언어 추론을 요구하는 문제 중 하나인 이미지 캡션 검색에 장면 그래프가 효과적으로 적용될 수 있음을 보이고, 제안하는 알고리즘으로 예측된 술어 표현이 검색 성능을 높이는데 도움이 됨을 확인하였다.
얼굴 인식을 위한 연립 대각화와 국부 선형 임베딩
국부 선형 임베딩(Locally Linear Embedding, LLE) [1]는 다양체 학습(manifold learning) 알고리즘 중 하나로 고차원 공간에 있는 데이터들 사이의 내적 값을 기반으로 임베딩하는 방법이다. LLE를 이용하여 임베딩 한 결과는 독특한 성질이 있는데, 고차원 공간 상에서 같은 평면에 있는 데이터들은 내적 값이 크기 때문에 저차원 공간에서도 가깝게 위치하도록 임베딩 되는 반면 수직으로 위치한 평면에 있는 데이터들은 내적 값이 0이 되기 때문에 서로 떨어진 위치에 임베딩된다. 한편, 한 사람의 얼굴에 다양한 각도에서 조명을 비추면서 촬영한 이미지들은 저차원의 선형 부분공간을 구성한다는 사실이 잘 알려져 있다 [2]. 이에 본 논문에서는 다른 평면에 위치하는 데이터들을 자연스럽게 분류하여 임베딩하는 LLE 알고리즘을 얼굴 이미지에 사용하여 효과적으로 얼굴 인식 문제를 해결할 수 있는 방법을 제안한다. 제안하는 방법은 LLE에 연립 대각화(Simultaneous Diagonalization, SD)를 적용한 방법으로, S연립 대각화를 적용하면 데이터들이 형성하는 평면이 수직이 되도록 바꿀 수 있기 때문에 LLE의 성질을 극대화 할 수 있다. 실험 결과, 연립 대각화를 적용하고 LLE를 적용하면 서로 다른 사람의 얼굴 이미지들이 겹치지 않고 뚜렷하게 구분되는 효과가 있음을 확인하였다.
