디지털 라이브러리[ 검색결과 ]
웨어러블 센서를 이용한 사건인지 기반 일상 활동 예측
실제 환경에서 사람의 일상적인 활동을 학습하는 기술은 스마트 비서나 자율지능 로봇과 같은 인지 지능 시스템 개발을 위해 필요한 핵심 기술이다. 일상을 예측하는 대다수의 연구들은 센서 데이터의 패턴과 일상 활동 사이의 직접적인 상관관계를 탐색하는 것에 집중하였다. 하지만 일상에서의 인간 활동은 하나의 레이블로 표현하기 어려운 다수의 사건 집합이고 또한 서술 가능한 특성을 지니고 있다. 본고에서는 일상을 구성하는 사건 요소들을 우선 인식하고, 이후 일상 활동을 학습 및 예측하는 방법을 제안한다. 제안하는 방법은 개인의 일상에서 웨어러블 장치와 스마트폰으로부터 수집된 일인칭 시점의 멀티 센서 데이터로부터 위치 좌표, 장면 영상, 그리고 신체적 움직임에 기인한 사건 요소들을 각각 인식한 뒤, 이 정보들이 특정 활동 내역에 따라 조합되는 규칙을 학습하여 최종적으로 사용자의 일상 활동을 예측한다. 두명의 실험 참가자가 각각 2주간 수집한 센서 데이터를 이용하여 실험한 결과는 제안한 방법이 센서 데이터로부터 추출된 특징을 일차적으로 사용하여 분류하는 기존의 방법과 비교하여 향상된 성능을 보였다.
멀티모달 개념계층모델을 이용한 만화비디오 컨텐츠 학습을 통한 등장인물 기반 비디오 자막 생성
기존 멀티모달 학습 기법의 대부분은 데이터에 포함된 컨텐츠 모델링을 통한 지식획득보다는 이미지나 비디오 검색 및 태깅 등 구체적 문제 해결에 집중되어 있었다. 본 논문에서는 멀티모달 개념계층모델을 이용하여 만화 비디오로부터 컨텐츠를 학습하는 기법을 제안하고 학습된 모델로부터 등장인물의 특성을 고려한 자막을 생성하는 방법을 제시한다. 멀티모달 개념계층 모델은 개념변수층과 단어와 이미지 패치의 고차 패턴을 표현하는 멀티모달 하이퍼네트워크층으로 구성되며 이러한 모델구조를 통해 각각의 개념변수는 단어와 이미지패치 변수들의 확률분포로 표현된다. 제안하는 모델은 비디오의 자막과 화면 이미지로부터 등장 인물의 특성을 개념으로서 학습하며 이는 순차적 베이지안 학습으로 설명된다. 그리고 학습된 개념을 기반으로 텍스트 질의가 주어질 때 등장인물의 특성을 고려한 비디오 자막을 생성한다. 실험을 위해 총 268분 상영시간의 유아용 비디오 ‘뽀로로’로부터 등장인물들의 개념이 학습되고 학습된 모델로부터 각각의 등장인물의 특성을 고려한 자막 문장을 생성했으며 이를 기존의 멀티모달 학습모델과 비교했다. 실험결과는 멀티모달 개념계층모델은 다른 모델들에 비해 더 정확한 자막 문장이 생성됨을 보여준다. 또한 동일한 질의어에 대해서도 등장인물의 특성을 반영하는 다양한 문장이 생성됨을 확인하였다.
