디지털 라이브러리[ 검색결과 ]
GPU 가속 스케줄링 및 연산 축소에 기반한 효율적인 동적 그래프 처리
송상호, 최지현, 차동현, 이현병, 최도진, 임종태, 복경수, 유재수
http://doi.org/10.5626/JOK.2024.51.12.1125
최근 대용량 동적 그래프를 효율적으로 처리하기 위해 GPU를 활용하는 연구가 활발히 진행되고 있으며, 동적 그래프 처리 시 같은 데이터가 반복적으로 전송되고 처리되는 문제가 발생하고 있다. 본 논문에서는 메모리가 제한된 GPU 환경에서 대규모 동적 그래프를 효율적으로 처리하기 위한 동적 스케줄링 방법과 연산 축소 방법을 제안한다. 동적 스케줄링 방법은 동적 그래프를 분할하여 각 파티션을 활성 정점과 예비 활성 정점을 고려한 스케줄링 방식으로 GPU에 배치함으로써 처리 성능을 극대화한다. 또한, 그래프의 변화 양상을 반영하기 위해 스냅샷을 활용한다. 연산 축소 방법은 스냅샷을 통해 동적 그래프에서 중복된 간선 및 정점의 변경을 감지하여 불필요한 연산을 줄임으로써 GPU의 연산량과 데이터 전송 비용을 최소화하는 기법이다. 이를 통해 동일한 간선이나 정점에 대한 중복 연산을 방지하여 성능을 향상시킨다. 다양한 성능 평가 결과 기존 정적 그래프 처리 기법 대비 평균 280%, 기존 동적 그래프 처리 기법 대비 평균 108%의 성능 향상을 확인하였다.
이종 그래프 간의 융합 모듈을 활용한 목적 지향 대화 응답 시스템
http://doi.org/10.5626/JOK.2024.51.10.882
목적 지향 대화 시스템(Task-Oriented Dialogue System)은 특정 업무를 달성하기 위해 시스 템이 대화를 통해 사용자에게 도움을 주는 것을 목적으로 하는 자연어 처리의 분야이다. 최근에는 목적 지 향 대화 시스템의 성능 향상을 위해 트랜스포머(Transformer) 기반의 사전 학습 언어 모델이 널리 활용 되고 있다. 본 논문에서는 보다 전문적인 응답을 생성하기 위해서 사전 학습 언어 모델에 외부지식을 통합 하여, 트랜스포머 기반의 언어 모델에 그래프 어텐션 네트워크를 사용하여 지식 그래프 형태의 데이터를 추가적으로 융합하는 시스템을 제안한다. 또한 두 개 이상의 그래프에 대해 연구를 확장하여 이종 그래프 의 정보를 사용한 대화 응답 생성을 실험했다. 본 논문에서는 제안 시스템을 검증하기 위해 2,076개 대화 와 226,823개의 음악 도메인 그래프 트리플로 이루어진 음악 도메인 기반의 대화 데이터를 구축하고 공개 했다. 실험으로 살펴본 최종 제안 모델의 성능은 KoBART 모델을 미세조정(Fine-tuning)한 응답 생성 방 식에 비해 ROUGE-1 13.83%p, ROUGE-2 8.26%p, ROUGE-L 13.5%p의 성능 향상을 보였다.
지식 그래프의 링크 예측을 위한 거대 언어 모델 기반 관계 설명문 생성 방법
http://doi.org/10.5626/JOK.2024.51.10.908
지식 그래프는 개체들과 개체 사이의 관계들로 이루어진 네트워크로 수많은 자연어처리 문제 해결에 활용되고 있다. 불완전한 지식 그래프를 완성하기 위해 링크 예측과 관계 예측을 통한 그래프 완성 연구가 이루어지고 있다. 최근에는 개체와 관계에 대한 자연어 정보를 바탕으로 듀얼 인코더 구조를 활용 하는 모델이 등장하여 많은 관심을 받았다. 하지만, 링크 예측 데이터셋에는 관계에 대한 자연어 설명문은 존재하지 않기 때문에 개체에 대한 자연어 설명문에 지나치게 의존적이라는 문제점이 존재한다. 본 논문에 서는 이러한 문제 상황을 해결하기 위해서 거대 언어 모델인 GPT-3.5-turbo를 활용하여 관계에 대한 자 연어 설명문을 생성하여 기존의 모델이 관계에 대한 정보를 풍부하게 학습할 수 있도록 하였다. 또한 제안 방법을 통해 생성한 관계 설명문을 다른 언어 모델 기반 링크 예측 모델에 적용했을 때 성능 향상이 기대 된다. 링크 예측을 통한 성능 평가 결과, 제안 방법은 베이스라인 모델과 비교했을 때 한국어 ConceptNet, WN18RR, FB15k-237, YAGO3-10 데이터셋에 대해 MRR에서 각각 0.34%p, 0.11%p, 0.12%p, 0.41%p의 성능향상을 보였다.
시공간 그래프 랜덤워크를 활용한 비디오 의미구조 이해
http://doi.org/10.5626/JOK.2024.51.9.801
긴 비디오 이해는 비디오 내 다양한 의미단위들을 찾고, 이들 간 복잡한 관계 해석에 초점을 맞춘다. 기존 방식은 합성곱 신경망이나 transformer 기반 모델을 활용하여 짧은 클립들에 대한 문맥정보 를 인코딩하고, 이들 간의 시간적 관계를 고려한다. 그러나 해당 방식으로는 비디오 내부에 존재하는 의미 단위들간 복잡한 관계 포착이 어렵다. 본 논문에서는 이러한 의미단위들 간 관계를 명시적으로 표현하기 위해 객체를 정점, 객체들 간 시공간 관계를 간선으로 하는 시공간 그래프로 비디오 입력을 재표현한다. 또한, 해당 그래프에서 시공간 랜덤워크를 통해 얻은 고차원적 의미관계(high-order relationship) 정보를 활용하여, 주요 의미단위를 더 작은 단위들의 구성으로 표현하는 새로운 방법을 제안한다. 다양한 물체들 의 복잡한 행동에 관련된 비디오 데이터셋 CATER를 활용한 실험으로, 제안하는 방식이 효과적인 의미단 위 포착능력을 가짐을 입증하였다.
장단기 시간 패턴 학습을 통한 그래프 신경망 기반의 태양광 발전량 예측 기법
http://doi.org/10.5626/JOK.2024.51.8.690
최근 태양광 에너지의 활용이 크게 보편화되면서, 태양광 에너지의 효율 향상을 위한 태양광 발전량 예측 연구가 활발히 진행되고 있다. 이와 관련하여, 기존의 심층 학습 모델을 넘어 그래프 신경망 기반의 태양광 발전량 예측 모델들이 제시되었다. 이 모델들은 특정 지역의 태양광 발전량이 인접 지역의 기후 조건에 영향을 받는 공간적 상호작용과 태양광 발전량의 시간 패턴을 함께 고려하는 지역 간 상관관 계를 학습함으로써 예측 정확도를 개선한다. 하지만, 기존 모델들은 주로 고정된 형태의 그래프 구조에 의 존하여, 시간적 및 공간적 상호작용을 반영하기 어려운 한계가 있다. 이에, 본 논문은 지역별 태양광 발전 량 데이터의 장기 및 단기적 시간 패턴을 고려하고, 이를 지역 간 상관관계의 학습에 반영하는 그래프 신 경망 기반의 태양광 발전량 예측 기법을 제안한다. 제안 기법은 타 그래프 신경망 기반 예측 모델과 비교 하여 RRSE 기준 최대 7.49%의 성능 개선을 달성하여 그 우수성을 입증하였다.
약물 분자 임베딩을 활용한 만성 B형간염 환자의 약물 치료반응 예측 정확도 향상
http://doi.org/10.5626/JOK.2024.51.7.627
만성 B형 간염 환자는 적절한 시기에 치료를 받지 못하는 경우 간경변증이나 간암과 같은 합병증으로 진행될 위험이 높다. 이에 따라 여러 B형 간염 항바이러스제가 개발되어 있으며, 항바이러스제의 성 분에 따라 환자 별 반응상 차이가 나타날 수 있어 긍정적인 치료반응을 기대할 수 있는 올바른 약제 선택 이 중요하게 여겨진다. 본 연구에는 환자의 혈액 검사 결과, 약물 처방 여부를 나타내는 전자 의무기록과 함께 B형간염 항바이러스제의 성분 정보를 함께 학습하여 만성 B형간염 환자의 1년 후 치료반응 예측 성 능을 향상시키는 것을 목표로 한다. 보다 효과적인 항바이러스제의 분자 표현을 위하여 고정된 분자 임베딩 및 그래프 신경망 모델을 활용한 종단형(end-to-end) 구조를 통해 생성된 분자 임베딩을 사용하였으며, 기반 모델과의 비교를 통해 약물 분자 임베딩이 성능 향상에 도움을 줄 수 있음을 확인하였다.
ETF 가격 방향성 예측을 위한 그래프 구조 학습 기반 신경망
http://doi.org/10.5626/JOK.2024.51.5.473
상장지수펀드(ETF)는 특정 지수를 추종하는 인덱스 펀드로, 개별 종목에 대한 위험도 및 운용 보수가 낮다는 특징을 가지고 있다. ETF 예측을 위해 다양한 방법들이 개발되었으며 최근 인공지능 기반 기술들이 개발되고 있다. 대표적인 방법은 시계열 기반 인공신경망을 활용하여 ETF의 가격 방향성을 예 측하는 것이다. 이는 ETF의 과거 가격 정보들을 효과적으로 반영하여 ETF의 등락을 예측할 수 있다는 장점이 있다. 하지만 개별 ETF의 과거 정보만 사용할 뿐 서로 다른 ETF 간의 관계를 반영하지 못하는 한계점을 지닌다. 이러한 문제를 해결하기 위해 본 논문에서는 ETF 간의 관계를 반영할 수 있는 모델을 제안한다. 제안 모델은 그래프 구조 학습을 통해 다양한 ETF 간의 관계를 표현하는 그래프를 추론하고, 이를 기반으로 그래프 신경망 모델을 통해 ETF 가격 방향성을 예측한다. 실험을 통해, 제안 모델이 개별 ETF 정보만 사용한 시계열 모델보다 우수한 예측 성능을 보이는 것을 확인하였다.
그래프 동형 모델을 이용한 탈수소화 엔탈피 예측
http://doi.org/10.5626/JOK.2024.51.5.406
본 논문은 분자의 구조 정보를 이용하는 기존의 물성 예측 접근에 그래프 합성곱 신경망 모델을 병합하여 분자 임베딩을 생성, 이상적인 액상유기수소운반체 선정에 중요한 역할을 하는 탈수소화 엔탈피를 예측하는 연구를 소개한다. 제안하는 방법은 그래프 합성곱 모델 중 가장 좋은 표현력을 가진 것으로 알려진 그래프 동형 모델(Graph Isomorphism Network)을 사용했으며, 해당 모델을 통해 개별 분자를 구성하는 원자 정보를 바탕으로 분자 임베딩을 생성했을 때, 기존의 물리화학(chemical physics) 이론에 기반한 알고리즘에 비해 탈수소화 엔탈피를 예측하는데 더 적합한 임베딩을 생성할 수 있음을 관찰하였다. 또한 생략 연결 (skip connection)을 사용하여 깊은 그래프 합성곱 층을 구성할 수 있으며, 작은 배치 사이즈로 모델을 학습할 때 모델의 성능이 증가하는 경향성을 관찰한 내용을 보고한다.
다변량 시계열 이상 탐지에서의 센서 간 관계 유형을 반영하는 그래프 구조 학습
http://doi.org/10.5626/JOK.2024.51.3.236
수처리 시스템이나 스마트 팩토리 등 다양한 분야에서 시스템을 모니터링하기 위해 센서를 사용하여 데이터를 수집하고 있으며, 센서의 측정 데이터로 구성된 다변량 시계열을 분석하여 시스템의 이상 상황을 탐지할 수 있다. 이상 상황을 효율적으로 탐지하기 위해서는 센서 간 형성되는 관계에 대한 정보가 필요하지만, 일반적으로 이러한 정보를 알기 어렵다는 문제가 있다. 선행 연구에서는 이를 해결하기 위해 센서 데이터 간 관계로부터 센서 간 관계 구조를 학습하고 그래프 구조로 나타낸다. 그러나 이 과정에서 그래프 구조에 센서 간 관계 유무만을 반영하며 센서 간 관계의 유형까지는 고려하지 않는다. 본 논문에서는 센서 간의 관계 유형을 반영하여 그래프 구조를 학습하고, 이를 기반으로 다변량 시계열을 분석해 시스템의 이상 상황을 탐지한다. 또한 실험을 통해 다변량 시계열 이상 탐지의 그래프 구조 학습에 있어 센서간 관계 유형을 고려하는 것이 이상 탐지 성능을 향상함을 보인다.
분자 그래프 분류에서의 설명 가능한 인공지능
http://doi.org/10.5626/JOK.2024.51.2.157
인공지능의 발전과 함께 설명 가능한 인공지능의 필요성이 점점 커지고 있다. 최근에는 그래프 신경망 기반의 설명 가능한 인공지능 연구도 활발히 진행되고 있으나, 주로 일반적인 그래프에 초점을 두고 있다. 분자 그래프의 화학적 특성에 의존하는 특징 때문에, 현존하는 기법이 분자 그래프에서도 설명력을 제공할 수 있는지 파악하는 연구의 필요성을 강조한다. 본 논문에서는 분자 그래프에 기존의 기술을 적용하고, 이를 정량적 및 정성적으로 평가하여 설명력을 확인하였다. 더불어 중요한 특성의 비율을 통일한 후의 결과도 검토하여, 설명 가능한 인공지능의 평가 지표 중 하나인 희소성의 중요성을 강조하였다.
