디지털 라이브러리[ 검색결과 ]
공정성과 정확성을 고려한 그래프 링크 예측 지표와 모델
양희윤, 강용훈, 김가형, 임지영, 윤수현, 김호승, 이지형
http://doi.org/10.5626/JOK.2023.50.2.179
여러 사회 분야에서 빅데이터와 컴퓨팅 기술의 발전을 기반으로 인공지능 기술의 도입이 활발히 이루어지고 있다. 하지만 빅데이터에 내재되어 있는 사회적인 차별요소로 인하여 인공지능의 예측이 편향된 경우가 많아 공정성 논란이 발생하고 있다. 특히, 소셜 네트워크 데이터를 다루기에 적당한 그래프 신경망에서는 유사한 노드들을 연결하려는 동질성 효과(Homophily effect) 때문에 성별, 종교 등과 같은 민감한 속성(Sensitive Attribute)에 편향된 예측이 이루어지기 쉬워서 공정성 문제가 더욱 심각하다. 이러한 공정성 문제를 해결하기 위하여, 공정한 모델 연구와 편향된 정도를 평가하기 위한 공정성 지표들이 제안되고 있다. 그러나 관련 연구들에서 각기 다른 지표를 사용해 공정성을 평가하기 때문에 통일된 기준이 없고, 모델의 정확성과 공정성이 상충관계(trade-off)에 있음을 고려하지 않아 두 성능 모두를 고려한 판단 지표가 필요하다. 본 논문은 공정성과 정확도의 관계를 고려한 지표인 Fairβ-metric을 제안하고, 이 지표에서 우수한 성능을 내는 그래프 링크 예측 모델 FairU를 제안한다.
개체 유형 정보를 활용한 지식 그래프 임베딩
http://doi.org/10.5626/JOK.2022.49.9.773
지식 그래프 임베딩은 그래프의 구조적 특성을 반영하여 개체와 관계를 특성 공간에 나타내는 기술이다. 대부분의 지식 그래프 임베딩 모델은 그래프 구조 이외의 정보를 가정하지 않고 특징 벡터를 생성한다. 하지만 실생활과 밀접한 지식 그래프는 개체의 유형 정보 등 추가적인 정보를 얻을 수 있다. 본 논문에서는 개체의 유형이 클러스터의 역할을 수행할 수 있다는 점에 착안하여, 유형 정보를 반영할 수 있는 손실 함수를 통한 지식 그래프 임베딩 모델을 제시한다. 또한, 지식 그래프 내 관계의 주어/술어에 해당하는 유형이 제한적이라는 관찰을 토대로 개체 유형 제한에 특화된 네거티브 샘플링 기법을 제시한다. 본 논문에서 제시한 모델에 대한 링크 예측을 평가하기 위해 개체 유형 제한을 가진 지식 그래프인 SMC 데이터 셋을 생성하여 실험을 진행하였다. 링크 예측 결과는 본 모델이 네 개의 베이스라인 모델과 비교해서 뛰어난 성능을 보이는 것을 확인하였다.
노드와 링크간의 상호작용을 동시에 반영한 그래프 어텐션 네트워크 기반 지식 그래프 임베딩
http://doi.org/10.5626/JOK.2022.49.7.555
지식 그래프는 실제 세계의 다양한 지식들을 노드와 링크 기반의 트리플 형태로 표현하는 지식구조로서 검색, 질의 응답 등의 여러 분야에서 유용하게 활용된다. 이런 지식 그래프는 불완전하며, 누락된 다른 관계들을 찾기 위해 노드와 링크를 저차원 벡터공간에 효과적으로 표현하는 임베딩 기법들이 많이 연구되었다. 최근 뉴럴 네트워크 기반의 지식 그래프 링크 예측 방법이 많이 연구되었지만, 기존 모델들은 노드에 대한 트리플의 중요도를 구할 때 노드와 링크를 독립적으로 고려하므로 트리플 내의 노드와 링크의 상호작용이 잘 반영하기 어렵다. 본 논문에서는 합성연산자를 이용하여 노드와 링크를 동시에 고려하여 트리플 단위의 중요도를 구하는 임베딩 방법을 제안하며 해당 모델이 지식 그래프 링크 예측에 우수한 성능을 보임을 증명한다.
상위 클래스 정보와 사전 학습된 언어 모델을 이용한 지식 그래프 완성 모델
http://doi.org/10.5626/JOK.2021.48.11.1228
링크 예측은 지식 그래프에서 누락된 링크를 추론하는 것을 목표로 한다. 최근 지식 그래프를 완성하기 위해 다양한 링크 예측 모델이 연구되었고 의미 있는 결과를 얻었다. 그러나 기존 모델은 학습 트리플의 내재적 정보만 사용하여 학습하기 때문에 과적합 되는 문제가 있다. 이러한 문제를 해결하기 위해, 우리는 개체의 추상적 정보를 학습할 수 있는 상위 클래스 예측과 링크 예측을 multi-task learning 방법으로 수행하는 "상위 클래스 정보와 사전 학습된 언어 모델을 이용한 지식 그래프 완성 모델(HIP)"을 제안한다. HIP의 상위 클래스 예측 작업은 트리플의 문맥적 정보뿐만 아니라 개체의 추상적 정보 학습을 통해 같은 상위 클래스 정보를 갖는 개체들이 비슷한 임베딩을 가지며 개체의 일반적인 정보를 학습한다. 실험 결과 KG-BERT 및 MTL-KGC 모델에 비해 Hits@10과 Mean Rank (MR)에서 의미 있는 성능 향상을 보였다.
경로 임베딩 기반 지식 그래프 완성 방식
http://doi.org/10.5626/JOK.2020.47.8.722
지식 그래프는 질의응답 또는 추천시스템과 같은 지능형 시스템을 구성하는데 많이 사용된다. 그러나 지식 그래프에는 대부분의 엔티티들 사이에 관계 링크가 누락되어 있는 문제가 존재한다. 이런 문제를 해결하기 위해 본 논문에서 BLSTM(Bidirectional LSTM) 및 CNN(Convolutional Neural Network)을 결합한 새로운 지식 그래프 완성 방법을 제안한다. 우선, 후보 관계와 두개의 대상 엔티티가 주어지면 BLSTM 및 Convolution 연산을 사용하여 엔티티들을 연결하는 경로들을 저차원 공간으로 임베딩한다. 그리고 어텐션(attention) 모델을 통해 두 개의 엔티티를 표현하는 여러 경로들을 하나의 벡터로 만든다. 벡터와 추론할 후보 관계 사이의 연관성을 통해 후보 관계가 엔티티들과 연결될 수 있는지에 대한 가능성을 예측한다. 제안하는 방법은 CNN을 이용해서 주어진 엔티티들의 관계를 추론하기에 가장 중요한 지역특징(local feature)을 엔티티 사이에 있는 경로에서 추출하고 BLSTM을 이용해서 추출한 지역특징의 순서 관계에 대해 학습한다. 이를 통해 저차원 경로 특징을 효과적으로 학습 하는 것이 가능했으며, 학습된 특징들을 이용해 엔티티 사이의 관계를 예측하였다. 여러 지식 그래프를 대상으로 링크 예측(link prediction) 실험을 진행했으며, 제안하는 방법이 최신 연구 결과보다 높은 성능을 보였다.
다중 클래스 멤버쉽 처리를 위한 Bi-LSTM 기반 지식 그래프 완성 기법
http://doi.org/10.5626/JOK.2020.47.6.559
실세계의 지식을 구조화된 방식으로 표현한 지식 그래프는 웹 검색, 추천 시스템과 같이 다양한 분야에서 활용되고 있지만, 엔티티 또는 엔티티 사이의 링크가 누락되는 문제가 존재한다. 이러한 문제해결을 위해 임베딩 기법을 사용하거나 딥러닝을 활용한 다양한 연구들이 진행되었으며, 특히 CNN과 Bidirectional-LSTM을 결합한 최신 연구가 기존 연구들과 비교하여 높은 성능을 나타냈다. 그러나 하나의 엔티티에 대하여 여러 개의 클래스 타입이 정의된 경우 학습 데이터의 양이 기하급수적으로 증대되어 학습시간이 증가하는 문제와 엔티티의 클래스 타입 정보가 정의되지 않으면 학습 데이터 생성이 불가능하다는 한계점이 존재한다. 따라서 본 논문에서는 엔티티의 클래스 타입 수에 상관없이 학습 데이터 생성과 모델에서 학습 및 추론이 가능하도록 미리 학습된 지식 그래프 임베딩 벡터를 사용하는 방법과 vector addition 개념을 활용한 다중 클래스 멤버쉽 처리 방법을 제안한다. 본 논문에서 제안하는 방법의 성능을 평가하기 위해 데이터셋 NELL-995 와 FB15K-237을 대상으로 기존 지식 완성 연구들과 비교 실험을 진행하였으며 MAP이 1.6%p, MRR이 1.5%p 더 높은 성능을 보였다.
