48권 11호,
11월 2021
디지털 라이브러리
RocksDB 최적화를 위한 파라미터 조정 자동화 기법
http://doi.org/10.5626/JOK.2021.48.11.1167
애플리케이션 이해도가 낮은 유저들에게 복잡해진 애플리케이션 최적화는 매우 어려운 일이다. 애플리케이션 파라미터를 이용해 최적화하는 선례 연구들은 한 개 혹은 두 개의 파라미터를 통해 성능을 최적화하였다. 그러나 단일 파라미터를 통한 최적화는 파라미터들의 관계성을 고려하여 최적하기 힘든 방법이다. 본 논문에서는 여러 파라미터를 동시에 최적화하는 두 개의 기법 LDH-Force, PF-LDH를 제안한다. LDH-Force기법은 LDH과정을 추가해 효율적으로 탐색 횟수를 줄이면서, 여러 파라미터에 대하여 동시에 최적의 파라미터 조합을 찾아낸다. PF-LDH기법은 파라미터가 성능에 영향을 주는 정도가 다름을 확인해 필터링 과정을 추가해 탐색 비용을 더 줄일 수 있다. 제안하는 기법은 실험을 통하여 최대 42.55배의 성능향상을 확인할 수 있었으며, 다양한 워크로드에서도 사용자의 간섭없이 최저의 탐색비용으로 최적의 파라미터 조합을 찾아낼 수 있음을 보였다.
Fair Feature Distillation Using Teacher Models of Larger Architecture
http://doi.org/10.5626/JOK.2021.48.11.1176
다양한 비전 어플리케이션에서 알고리즘의 공정성을 달성하는 것은 중요해지고 있다. MMD 기반 공정한 특징 증류(MFD)라는 최신 공정성 기법은 Maximum Mean Discrepancy (MMD) 를 사용한 특징 증류 방법을 통해 기존 방법들과 비교했을 때 정확도와 공정성을 상당히 개선시켰지만, 그들은 교사 모델의 구조가 학생 모델과 같을 때만 적용될 수 있었다. 본 논문에서는, MFD를 기반으로, 더 큰 구조를 가진 교사 모델에서의 특징 증류를 통해 불공정한 편향성을 완화하는 체계적 접근법인 MFD-R을 제안한다. 광범위한 실험을 통해 우리는 MFD-R이 다른 기준 방법이나 MFD와 비교했을 때, 더 큰 교사 모델을 사용하는 이점이 있다는 것을 보인다.
문서 쌍 유사도 판별을 위한 문장 상호 관계 및 그래프 기반 모델의 앙상블
http://doi.org/10.5626/JOK.2021.48.11.1184
뉴스 기사와 같은 문서 클러스터링에서 두 문서 간의 유사도는 클러스터의 특성을 결정하는 중요한 부분 중 하나이다. 기존 딥러닝 기반 접근 방법인 시퀀스 유사도 측정 모델은 문서 단위에서 나타나는 긴 문맥을 반영하지 못하는 문제점을 가지고 있다. 본 연구에서는 뉴스 클러스터링에 적합한 문서 쌍 유사도 모델을 구성하기 위해 상호 작용 기반 접근, 그래프 기반 접근 방법을 사용한다. 상호 작용 기반 접근에서는 문서 쌍 내 다수의 문장 표현들 간의 유사도 정보를 종합해 전체 문서 쌍의 유사도를 측정하는 네 가지 유사도 모델을 제안한다. 기존 접근 방법들인 SVM, HAN에 비해 두 가지 접근 방법에서 높은 성능이 나타남을 확인했다. 그래프 기반 접근에서는 입력에 사용되는 자질의 종류와 신경망의 깊이에 따른 성능 변화를 확인했다. 또한, 상이한 두 접근 방법이 갖는 예측양상의 차이와 상호보완성을 오류 분석과 앙상블을 통해 확인했다.
U-Net 구조 및 보조 분류기 활용 Discriminator를 통한 초해상도 GAN 성능 개선
http://doi.org/10.5626/JOK.2021.48.11.1194
본 논문에서는 적대적 생성 네트워크(Generative Adversarial Network, 이하 GAN)을 이용한 초해상도(Super Resolution) 수행 방법을 제안하고 있다. 보간, CNN(Convolutional Neural Network), GAN 등에 이르기까지 초해상도 작업을 수행하는 여러 기법이 제시되고 있으며, 그중 이미지 합성에서 좋은 성능을 보였던 GAN을 초해상도 작업에 활용하려는 시도가 많이 있었다. GAN의 Generator의 네트워크 구조, 손실함수 변경 등을 통한 초해상도 품질 향상을 이루려는 시도는 많지만, Discriminator에 대해서는 그만큼 개선의 초점이 맞춰지지는 않았다. 따라서 본 논문에서는 타 논문에서 제시되었던 U-Net 구조 및 이미지의 회전에 대한 보조 분류기 구조를 추가하여 초해상도 작업에 긍정적인 영향을 준 것을, 실험을 통해 확인하였다.
뉴로 심볼릭 기반 규칙 유도 및 추론 엔진을 활용한 지식 완성 시스템
http://doi.org/10.5626/JOK.2021.48.11.1202
최근 지식 그래프의 불완전성 문제를 해결하기 위한 다양한 지식 완성 연구중 딥러닝 학습 방법과 로직 시스템의 장점을 결합한 NTP(Neural Theorem Prover)와 같은 연구가 기존 연구들에 비해 좋은 성능을 내고 있다. 하지만 NTP는 하나의 입력에 대한 예측 결과를 얻기 위해 지식 그래프의 모든 트리플이 연산에 관여하게 되므로 대용량 지식 그래프 처리에 한계가 있다. 본 논문에서는 NTP의 계산 복잡도 문제를 개선한 모델로부터 심볼의 벡터 표현을 학습하여 규칙을 유도하고, 추론 엔진을 사용하여 유도된 규칙으로부터 지식 추론을 수행할 수 있는 딥러닝 학습 방식과 로직 추론 방식의 통합시스템을 제안한다. 본 논문에서 사용한 규칙 생성모델의 규칙유도 성능 검증을 위해 NTP와 Nations, Kinship, UMLS 데이터 셋을 대상으로 유도된 규칙을 활용한 테스트 데이터 추론가능 여부를 비교하였으며, 대규모 지식그래프인 Kdata와 WiseKB를 사용한 실험에서는 추론 엔진을 통한 지식 추론 결과 실험에 사용된 지식 그래프에 비해 각각 Kdata는 30%, WiseKB는 95%증가된 지식 그래프를 얻을 수 있었다.
개인 선호도 반영 임베딩을 활용한 순환신경망 추천 모델의 성능 향상 기법
http://doi.org/10.5626/JOK.2021.48.11.1211
플랫폼에서 제공하는 콘텐츠 양이 급증하면서 추천 시스템은 플랫폼에서 필수적 요소가 되었다. 추천 시스템 가운데 협업 필터링 기법은 학계나 산업계에서 널리 활용되지만, 평점, 구매 이력 등 소비자의 정량적 정보에 의존한다는 한계가 있다. 이를 극복하고자 리뷰 데이터 등의 정성적 정보를 모델에 학습시켜 성능을 향상하는 연구들이 시도되어 왔다. 또한 최근에 순환 신경망을 적용하는 연구들은 소비자의 시계열 행동 데이터만으로 기존 추천시스템보다 좋은 성능을 보여주었다. 그러나 고객별 선호도를 추천 모델에 반영하는 연구는 아직 이루어지지 않았다. 본 논문은 고객의 로그 데이터를 기반으로 선호도 행렬을 산출하고, 이를 임베딩 벡터를 통해 순환 신경망에 학습시켜 개선된 추천 모델을 제시하였다. 이 모델은 기존 순환 신경망 모델에 비해 예측 성능이 향상됨을 확인할 수 있었다.
딥러닝 학습에서 동기화 배리어 재배치와 파이프라이닝을 이용한 Double-Averaging 가속
http://doi.org/10.5626/JOK.2021.48.11.1221
분산컴퓨팅을 이용한 딥러닝에서 동기화는 학습에 중요한 요소 중 하나이다. Local SGD는 낮은 빈도로 동기화하는 방법으로 빠른 학습이 가능하지만 수렴난이도가 높은 단점이 있다. 이에 수렴난이도를 낮추고자 Double-Averaging과 SlowMo가 제안되었다. Double-Averaging은 momentum buffer 동기화를 추가하여 수렴난이도를 개선하였지만 동기화 데이터의 증가로 인해 학습 시간 또한 증가하는 문제가 있다. 반면 SlowMo는 Local SGD에 Two-layer momentum 구조를 추가하여 동기화 데이터의 증가에 따른 학습시간의 증가 없이 수렴난이도를 낮췄다. 그러나 이를 위해서는 적절한 SlowMo 하이퍼파라미터들을 찾아야 하는 단점이 있다. 따라서 본 논문에서는 동기화 배리어 재배치와 파이프라이닝을 이용한 Double-Averaging 가속방법을 제안하였으며 실험을 통해 수렴난이도와 가속 성능 측면에서 모두 우수함을 확인하였다.
상위 클래스 정보와 사전 학습된 언어 모델을 이용한 지식 그래프 완성 모델
http://doi.org/10.5626/JOK.2021.48.11.1228
링크 예측은 지식 그래프에서 누락된 링크를 추론하는 것을 목표로 한다. 최근 지식 그래프를 완성하기 위해 다양한 링크 예측 모델이 연구되었고 의미 있는 결과를 얻었다. 그러나 기존 모델은 학습 트리플의 내재적 정보만 사용하여 학습하기 때문에 과적합 되는 문제가 있다. 이러한 문제를 해결하기 위해, 우리는 개체의 추상적 정보를 학습할 수 있는 상위 클래스 예측과 링크 예측을 multi-task learning 방법으로 수행하는 "상위 클래스 정보와 사전 학습된 언어 모델을 이용한 지식 그래프 완성 모델(HIP)"을 제안한다. HIP의 상위 클래스 예측 작업은 트리플의 문맥적 정보뿐만 아니라 개체의 추상적 정보 학습을 통해 같은 상위 클래스 정보를 갖는 개체들이 비슷한 임베딩을 가지며 개체의 일반적인 정보를 학습한다. 실험 결과 KG-BERT 및 MTL-KGC 모델에 비해 Hits@10과 Mean Rank (MR)에서 의미 있는 성능 향상을 보였다.
패션사진의 “좋아요”를 이용한 인스타그램 사용자 임베딩과 패션사진 추천
http://doi.org/10.5626/JOK.2021.48.11.1235
개개인이 선호하는 패션 스타일이 다양해지며, 개인화된 패션추천 연구에 대한 수요가 증가하고 있다. 최근에는 딥러닝 기술의 발전으로 딥러닝을 활용하여 패션사진으로부터 특징을 추출하고 추천에 활용하는 연구가 많이 진행되고 있다. 본 연구에서는, 패션사진의 추천에 있어서 패션 스타일 뿐 아니라, 소비자도 고려하기 위해 소셜 네트워크 데이터를 이용하고자 했다. 인스타그램과 같은 소셜 네트워크의 각 사용자는 자신이 선호하는 스타일의 패션사진을 포스팅하고 “좋아요”로 태깅하는 경향이 있어, 소셜 네트워크 데이터는 사용자와 패션사진 사이의 관계를 파악하는데 있어서 매우 중요하다. 본 연구팀은 사용자와 패션사진으로 이루어진 소셜 네트워크 데이터 구조로부터 사용자와 패션사진을 같은 벡터공간에 매핑하는 기법을 제안한다. 특히, 학습에 이용되지 않은 사용자와 패션이미지도 추가학습 없이 벡터공간에 매핑함으로써, 임의의 사용자가 선호할 만한 패션사진을 추천해주기 위해 제안 방법을 이용할 수 있다.
SDN 환경에서 학습 기반 QoS 플로우 경로 예측 방법
http://doi.org/10.5626/JOK.2021.48.11.1241
SDN (Software-Defined Networking) 환경에서 플로우의 경로 제어에 의한 QoS (Quality of Service) 지원 시, 현재의 단순한 최소 비용 경로 탐색 방식만으로는 비효율적인 경로 재설정 문제가 발생할 수 있다. 링크 품질에 기반 하여 도출된 플로우 경로의 실측 성능은 예측 성능과 다를 수 있고, 특히, 후보 경로에 대한 순차적 QoS 조건 탐색 시 이전에 최종 경로로 식별되었던 동일 경로에 대한 반복 탐색으로 경로 기반 QoS 지원의 효용성이 저하될 수 있다. 본 논문에서는 학습 기반 QoS 경로 탐색 모델을 제안한다. 학습 모델은 네트워크 상태에 따라 최종적으로 QoS 조건을 충족한 경로를 학습하고, 경로 재탐색 시 질의 네트워크 상태에 대한 QoS 경로를 예측한다. 실험 결과 본 학습 모델은 유사한 네트워크 상태 재현 시 불필요한 경로 반복 탐색 비용을 줄일 수 있고, 신속한 QoS 품질 복구가 요구되는 서비스 환경에서 다른 학습 기반 모델에 비해 효용성이 높다.
