C3DSG: 실내 환경 포인트 클라우드를 이용한 3차원 장면 그래프 생성 모델

백호준, 김인철

http://doi.org/10.5626/JOK.2023.50.9.758

포인트 클라우드로부터 3차원 장면 그래프를 생성하는 효과적인 심층 신경망 모델을 설계하기 위해서는 3가지 중요한 도전과제들을 해결해야 한다. 첫 번째 도전과제는 3차원 포인트 클라우드에 대한 효과적인 기하학적 특징 추출 방식을 결정하는 일이다. 두 번째 도전과제는 물체들 간의 3차원 공간 관계를 효과적으로 파악하기 위해서는 어떤 비-기하학적 특징들을 추가적으로 이용할 것인가를 결정하는 일이다. 세 번째 도전과제는 효과적인 공간적 맥락 추론 방식을 결정하는 일이다. 본 논문에서는 이와 같은 도전과제들에 대응하기 위해, 실내 환경 포인트 클라우드로부터 3차원 장면 그래프 예측을 위한 새로운 심층신경망 모델을 제안한다. 제안 모델은 Point Transformer를 이용해 추출하는 3차원 포인트 클라우드의 기하학적 특징뿐만 아니라, 물체들 간의 3차원 공간 관계 예측에 도움을 줄 수 있는 언어적 특징과 상대적 비교 특징 등 다양한 비-기하학적 특징들도 함께 활용한다. 또한 제안 모델은 물체들 간의 공간적 맥락정보를 효과적으로 이끌어내기 위해, 물체 노드들과 이들을 연결하는 간선들 모두에 주의집중을 적용할 수 있는 새로운 NE-GAT 그래프 신경망을 이용한다. 본 논문에서는 3DSSG 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해, 제안 모델의 효과와 우수성을 입증한다.