디지털 라이브러리[ 검색결과 ]
노드와 링크간의 상호작용을 동시에 반영한 그래프 어텐션 네트워크 기반 지식 그래프 임베딩
http://doi.org/10.5626/JOK.2022.49.7.555
지식 그래프는 실제 세계의 다양한 지식들을 노드와 링크 기반의 트리플 형태로 표현하는 지식구조로서 검색, 질의 응답 등의 여러 분야에서 유용하게 활용된다. 이런 지식 그래프는 불완전하며, 누락된 다른 관계들을 찾기 위해 노드와 링크를 저차원 벡터공간에 효과적으로 표현하는 임베딩 기법들이 많이 연구되었다. 최근 뉴럴 네트워크 기반의 지식 그래프 링크 예측 방법이 많이 연구되었지만, 기존 모델들은 노드에 대한 트리플의 중요도를 구할 때 노드와 링크를 독립적으로 고려하므로 트리플 내의 노드와 링크의 상호작용이 잘 반영하기 어렵다. 본 논문에서는 합성연산자를 이용하여 노드와 링크를 동시에 고려하여 트리플 단위의 중요도를 구하는 임베딩 방법을 제안하며 해당 모델이 지식 그래프 링크 예측에 우수한 성능을 보임을 증명한다.
Alpha-Integration Pooling for Convolutional Neural Networks
http://doi.org/10.5626/JOK.2021.48.7.774
컨볼루션 뉴럴 네트워크(CNN)는 이미지 인식을 비롯한 많은 애플리케이션에서 놀라운 성능을 보여주고 있다. CNN의 주요 요소 중 하나인 서브 샘플링은 효율적인 학습과 불변성에 중요한 역할을 하며, 일반적으로 최대풀링과 평균풀링이 많이 사용된다. 두 방법 외에도 기하 평균, 조화 평균 등과 같은 다른 풀링 유형들이 존재할 수 있다. 여러 풀링 유형들 중에 최적의 유형을 자동으로 찾기가 어렵기 때문에 특정 유형이 사전에 선택되어 사용되고 이는 주어진 문제에서 최적의 유형이 아닐 수 있다. 하지만, 딥러닝의 다른 변수들과 마찬가지로, 주어진 문제에서 데이터로부터 풀링 유형을 학습할 수 있다. 본 논문은 학습 가능한 파라미터 α를 통해 풀링 유형을 찾아내는 알파-인테그레이션 풀링(αI-pooling)을 제안한다. αI-pooling은 파라미터 α에 따라 최대풀링과 평균풀링 등을 특수 케이스로 포함하는 일반화된 풀링 방법이다. 실험을 통해 이미지 인식 문제에서 αI-pooling의 성능이 다른 풀링 유형들을 능가함을 보였다. 또한, 각각 레이어가 다른 최적의 풀링 유형을 가지고 있음을 확인했다.
물체 추적을 위한 딥 러닝 기반의 앙상블 모델 연구
http://doi.org/10.5626/JOK.2021.48.2.211
컴퓨터 비전 분야에서 물체 추적은 비디오 스트림으로부터 입력되는 시각적 정보로부터 타겟물체의 위상 변화를 예측하는 분야이며, 보안 및 군사기술이 요구하는 응용분야에서 중요하게 적용될 수 있는 기술이다. 최근의 딥 러닝 기반의 물체 추적 기술들은 검출기 기반 접근법(Tracking-by-Detection) 및 템플릿 대응 기반 접근법(template matching) 등을 통해 그 성능을 크게 향상시켰지만 접근방식에 따라 그 장단점이 분명하였다. 본 논문에서는 위의 두 접근방법을 응용하는 앙상블 모델 연구를 통해 단점을 보완하는 알고리즘을 제안한다. 제안되는 앙상블 알고리즘은 최근의 저명한 추적 알고리즘을 위한 벤치마크, OTB100, UAV123, LaSOT에서 모두 높은 성능향상을 보고한다.
뉴럴 네트워크 기반의 다중 오믹스 통합 유방암 서브타입 분류
http://doi.org/10.5626/JOK.2020.47.9.835
유방암은 다양한 생물학적 요소로 구성된 복잡한 질병으로, 여러 분자적 서브 타입을 유발한다. 정확한 서브 타입 예측은 암의 예후에 중대한 영향을 가지며, 서브 타입별 치료법 제공을 통한 환자의 생존율 향상에 중요하나, 생물학적 이질성으로 인해 쉽지 않다. 최근, 유전체 및 후성 유전체 데이터를 처리하기 위해 머신러닝 모델들이 유방암 분류에 적용되었으며, 특히 다중 오믹스를 활용한 연구들이 제시되었다. 하지만, 높은 차원과 복잡성으로 인해 특징 분석 및 분류 정확성에 한계를 갖는다. 본 논문에서는 뉴럴 네트워크를 기반으로 다중 오믹스 통합 데이터를 활용한 유방암 서브 타입 분류 모델을 제시한다. 유전자 발현, DNA 메틸레이션, 그리고 miRNA 오믹스를 통합한 데이터로 분류 모델을 구축하였으며, 성능 비교 결과, 평균 90.45%의 정확도로 기존 연구보다 높은 성능을 보였다. 제안된 모델을 통해 정확한 유방암 환자의 서브 타입 예측을 기반으로 환자의 예후 향상에 도움을 줄 것으로 기대된다.
고속 이산 코사인 변환을 이용한 새로운 경량 및 효율적인 콘볼루션 신경망
http://doi.org/10.5626/JOK.2020.47.3.276
최근 개발된 경량화된 뉴럴 네트워크는 적은 개수의 모델 가중치 개수 및 낮은 연산량으로도 어느정도 높은 정확도를 유지한다. 그럼에도 불구하고, 기존 컨볼루션 뉴럴 네트워크들은 공통적으로 Pointwise Convolution (1×1 Convolution)에서 많은 가중치 개수를 가지며, 상당한 계산량을 유발한다. 본 논문은 최초로 Pointwise Convolution을 1차원 고속 이산 코사인 변환(FDCT)으로 대체하여 획기적으로 학습 가중치 값 개수를 줄였고 연산속도를 높였다. 본 논문은 구체적으로 두가지 측면, 즉 1) Block 단위에서의 DCT 적용 및 2) CNN 모델의 계층적 위치에 따른 DCT 적용을 통해 경량화를 제안한다. 실험결과, CIFAR100 이미지분류 데이터셋에 대해서 기존 MobileNet v1 모델 대비 학습 가중치 값 개수를 79.1% 줄이고 연산량을 48.3% 줄이면서 top-1 정확도는 0.8% 상승한 결과를 보였다.
자원제약 내장형 시스템을 위한 컨볼루션 뉴럴 네트워크 모델 자동 경량화 프레임워크
http://doi.org/10.5626/JOK.2020.47.2.136
최근 다양한 컨볼루션 뉴럴 네트워크 응용프로그램을 사물인터넷과 같은 자원제약이 심한 내장형 시스템에서 직접 동작시키려는 시도가 증가하고 있다. 하지만 내장형 시스템은 연산 속도와 메모리가 매우 제한적이기 때문에 동작시킬 수 있는 뉴럴 네트워크 모델의 크기가 제약되고 실시간성을 만족하지 못 할 수 있다. 이를 위해 본 논문에서는 주어진 뉴럴 네트워크 모델을 메모리와 수행시간 요구사항을 만족 할 수 있도록 자동으로 경량화하고 타겟 내장형 시스템에서 수행 가능한 코드를 자동으로 생성하는 프레임워크를 제안한다. 제안하는 프레임워크를 활용하여, 다양한 수행시간과 메모리 요구사항을 만족할 수 있도록 뉴럴 네트워크 모델을 서로 다른 성능을 가진 STM32 Nucleo 보드들에 맞게 경량화 하였다.
