디지털 라이브러리[ 검색결과 ]
Location-Dependent and Task-Oriented Power Allocation in Holographic MIMO: A Transformer-based Approach
Apurba Adhikary, Avi Deb Raha, Monishanker Halder, Mrityunjoy Gain, Ji Su Yoon, Seong Bae Park, Choong Seon Hong
http://doi.org/10.5626/JOK.2024.51.1.93
미래의 통신망은 빔포밍을 통해 최소한의 전력으로 향상된 데이터 서비스 처리량을 제공할 것으로 예상된다. 따라서, 효율적인 홀로그램 빔포밍을 위한 위치 의존적이고(location-dependent), 작업 중심적인(task-oriented) 자원 할당 접근법은 홀로그램 그리드 어레이에서 필요한 수의 그리드를 활성화함으로써 사용자에게 채널 용량의 향상을 보장할 수 있다. 이를 위해, 본 논문에서는 사용자의 위치 및 작업 우선 순위를 고려하여 채널 용량을 최대화하기 위한 최적화 문제를 제안하고, 이 최적화 문제를 해결하기 위해 트랜스포머 기반 접근법을 제안한다. 마지막으로, 시뮬레이션 결과는 제안된 위치 의존적이고 작업 중심적인 트랜스포머 기반 접근법이 홀로그램 빔포밍을 위해 효과적으로 전력을 할당하여 사용자에게 서비스를 제공할 수 있음을 보여준다.
제어 흐름 기반 그래프 트랜스포머를 이용한 악성코드 공격의 기능적 특징 학습
http://doi.org/10.5626/JOK.2023.50.8.633
악성분류 분류에서 미탐 사례를 최소화하기 위해 연산 블락과 메모리 레지스터 주소 간의 제어 흐름 같은 프로그램의 국소적 특징을 포착하는 것이 중요하다. 그러나 악성코드의 기능적 특징을 고려하지 않고 분류기의 손실 함수를 최적화하는 기존의 방법은, 유사하지만 새로운 공격 경로를 활용하는 공격과 길고 복잡한 제어 흐름 그래프로 인해 재현율에 한계가 있다. 본 논문에서는 API호출, 루트킷 DLL설치, 특정 가상메모리의 접근을 포함하는 기능적 특징을 학습하는 것으로 재현율을 개선하기 위해 제어흐름 그래프를 명시적으로 샘플링하고 임베딩하는 방법을 제안한다. 제어 흐름 그래프로부터 악성코드의 기능적 패턴을 모델링하기 위해 악성코드의 제어 흐름으로부터 공격 경로를 샘플링한 뒤 트랜스포머 기반의 그래프 임베딩 함수를 이용하여 악성코드 종류를 분류한다. 제안하는 방법을 입증하기 위해 실제 윈도우 악성코드로 구성된 마이크로소프트 챌린지 데이터셋을 사용하였다. 악성코드의 제어 흐름을 명시적으로 학습함으로써 최고 의 재현율 97.89%를 확보하였고, 최신 및 가장 진보된 방법의 분류 정확도(97.89%)에 대비하여 크게 개선된 정확도(99.45%)를 달성하였다.
트랜스포머 기반 시계열 데이터 분류작업을 위한 GASF와 CNN을 사용한 CLS 토큰 추가 임베딩 방법
http://doi.org/10.5626/JOK.2023.50.7.573
시계열 데이터란 일정한 시간 동안 수집된 일련의 순차적으로 정해진 데이터 셋의 집합을 의미하며 예측, 분류, 이상치 탐지 등에 활용되고 있다. 기존 시계열 분야는 순환신경망으로 구성된 모델을 주로 활용하여 분석하였지만, 최근 트랜스포머의 개발로 인하여 연구 추세가 변화하고 있다. 하지만 트랜스포머는 시계열 데이터 예측에는 좋은 성능을 보이지만, 분류 작업에는 상대적으로 부족한 성능을 보인다. 본 논문에서는 시계열 데이터를 트랜스포머에 입력으로 활용하기 위해 그라미안 각도 합산 필드와 컨볼루션 신경망을 사용하여 생성한 분류 토큰을 추가하는 임베딩 방식을 제안하며, 사전 학습 기법을 활용하여 성능을 향상시킴을 보인다. 제안하는 모델 성능을 비교하기 위하여 12개의 서로 다른 모델들과 평균 정확도를 기준으로 성능 평가를 진행하였으며, 제안하는 모델은 다른 모델에 비해 최소 1.4% 최대 21.1%까지 성능 향상을 보인다.
자연어 및 시계열 데이터 처리를 지원하는 C++ 기반 오픈소스 딥러닝 프레임워크 WICWIU.v3
http://doi.org/10.5626/JOK.2023.50.4.313
WICWIU(위큐)는 국내 대학에서 최초로 공개한 오픈소스 딥러닝 프레임워크이다. 본 연구에서는 자연어 및 시계열 데이터 처리 기능들이 추가된 WICWIU.v3를 개발하였다. WICWIU는 C++ 환경을 위해 설계되었고, GPU 기반 병렬처리를 지원하며, 가독성과 확장성이 우수해 사용자가 직접 새로운 기능을 추가하기에 용이하다. CNN(Convolutional Neural Networks), GAN(Generative Adversarial Networks) 등 영상처리 모델에 중점을 둔 WICWIU.v1과 v2에 비해 WICWIU.v3에는 LSTM(Long Short-Term Memory Networks)과 GRU(Gated Recurrent Units)를 포함한 순환 신경망(RNN), 어텐션 모듈, 트랜스포머(Transformer) 등 자연어 및 시계열 데이터 처리를 위한 클래스와 함수들이 추가되었다. WICWIU.v3를 이용해 기계번역 및 텍스트 합성 모델을 구현함으로써 새로 추가된 자연어 및 시계열 처리 기능들이 정상적으로 동작함을 확인하였다.
PatentQ&A: 트랜스포머 모델을 이용한 신경망 검색 시스템 제안
http://doi.org/10.5626/JOK.2023.50.4.306
최근 신경망 검색은 통계적 방법에 기반한 검색을 뛰어넘어 의미에 기반한 검색을 가능하게 하며 오타가 있어도 정확한 검색 결과를 찾을 수 있게 한다. 본 논문에서는 특허에 전문 지식이 없는 일반인이 일반 용어를 사용하여 특허 정보를 검색할 경우 사용자 질문 의도에 가장 근접한 답변을 보여주는 신경망 기반 특허 Q&A 검색 시스템을 제안한다. 특허청 홈페이지에 게시된 특허고객 상담 데이터로 특허 데이터 셋을 구축하였다. 사용자가 입력한 질문에 대한 유사한 질문을 추출하고 우선순위를 다시 지정하기 위해 특허 데이터 셋으로 미세조정한 Patent-KoBERT(Triplet)과 Patent-KoBERT(CrossEntropy)를 사용하였다. 실험 결과 Mean Reciprocal Rank(MRR)과 Mean Average Precision(MAP)의 수치는 0.96으로 사용자가 입력한 질문 의도와 가장 유사한 답변을 잘 선정한다는 것을 확인할 수 있다.
Building a Parallel Corpus and Training Translation Models Between Luganda and English
Richard Kimera, Daniela N. Rim, Heeyoul Choi
http://doi.org/10.5626/JOK.2022.49.11.1009
최근 번역 성능을 혁신하고 있는 신경망 기계 번역(NMT)은 대규모 데이터 세트를 필요로 하기 때문에 리소스가 많은 언어를 대상으로 한다. 따라서 Luganda 언어와 같은 병렬 말뭉치 자원이 부족한 언어에는 적용하기 어렵고, "Google 번역"도 이 글을 쓰는 시점에서 Luganda를 지원하지 않고 있다. 이 논문에서 3개의 다른 오픈 소스 말뭉치를 기반으로 Luganda와 영어에 대한 41,070 쌍의 병렬 말뭉치를 구축한다. 그런 다음 하이퍼 변수 검색을 사용하여 NMT 모델을 훈련하고 최고의 모델을 찾는다. 실험결과 Luganda에서 영어로 번역할 때 21.28의 BLEU 점수를 얻었고, 영어에서 Luganda로는 17.47의 BLEU 점수를 얻었다. 또한 일부 번역 예를 보여줌으로써 번역 품질을 확인할 수 있다. 이것은 최초의 Luganda-English NMT 모델이며, 우리가 구축한 Luganda-English 병렬 언어 데이터 세트는 공개할 것이다.
트랜스포머를 이용한 1×1 초광대역 무선 신호 기반 사람의 자세 추정
http://doi.org/10.5626/JOK.2022.49.4.298
특정 공간에서 사람의 자세를 추정하는 문제는 컴퓨터 비전의 주요 분야 중 하나로 게임, 의료, 재난, 소방 보안, 군사 등 다양한 분야에 활용될 수 있는 중요한 기술이다. 최근 기계 학습과 접목하여 자세 추정의 정확도를 크게 높일 수 있었다. 하지만 이미지 기반의 방식은 신체의 일부 또는 전체가 장애물로 가려지거나 조명이 어두운 경우 자세 추정이 어렵다는 한계가 있다. 최근에는 무선 신호를 사용하여 사람의 자세를 추정하는 연구가 등장하였으며 이는 조명의 밝기에 영향을 받지 않고 장애물을 투과할 수 있다는 장점을 가지고 있다. 무선 신호를 기반으로 특정 위치를 추정하기 위해서는 두 쌍 이상의 송수신기가 필요하다는 것이 기존의 인식이었다. 본 논문에서는 한 쌍의 송수신기로 수집한 1×1 초광대역 무선신호만으로 딥 러닝을 적용하여 사람의 자세 추정 및 신체 세그멘테이션이 가능함을 보인다. 또한 트랜스포머 기반 모델을 통해 합성곱 신경망을 대체하고 더 나은 성능을 보이는 방법을 제안한다.
어텐션기반 측면추출에 기반한 제품리뷰의 측면 요약
http://doi.org/10.5626/JOK.2021.48.12.1318
최근 기계학습을 통한 기사, 논문 등과 같은 문서 요약뿐만 아니라 온라인 리뷰에 대한 요약 관련 연구도 활발하다. 본 연구에서는 기존의 단순히 내용을 요약하는 것과는 달리, 제품 리뷰에 존재하는 다양한 측면(aspect)를 고려하여 측면 요약을 생성하는 기법을 다룬다. 학습 데이터 구축을 위해 크롤링한 이어폰 제품리뷰 데이터를 정제하여 4만여개의 리뷰를 획득하였고, 이 중 4천개의 리뷰를 수작업을 통해 측면 요약정답 셋을 구축하였다. 특히, 측면 기반 단어 확장 기법(ABAE)를 활용하여 텍스트 데이터만 있으면 측면 요약이 가능한 모델을 제안한다. 제안 기법의 효율성을 판단하기 위해, 학습 시 측면과 관련된 단어 사용 여부와 마스킹 비율에 따른 실험을 진행하였다. 측면과 관련된 단어 중 25%를 무작위로 마스킹 한 모델이 가장 높은 성능을 보이는 것을 확인하였으며 검증 시 ROUGE는 0.696, BERTScore는 0.879를 획득하였다.
트랜스포머 기반 한국어 텍스트 요약 모델의 순차적 문맥 학습 영향성 분석
http://doi.org/10.5626/JOK.2021.48.10.1097
텍스트 요약 기술은 전체 텍스트 내용이 가지는 의미를 유지하면서도 텍스트의 길이를 줄여, 정보 과적재 문제를 해결하고 독자의 빠른 정보 소비를 돕는다. 이를 위해 트랜스포머 기반의 영어 텍스트 요약 모델에 대한 연구가 활발히 진행되고 있다. 최근에는 RNN 기반의 인코더를 추가하여 고정된 어순을 갖는 영어의 특성을 반영한 추상 텍스트 요약 모델이 제안되기도 했다. 본 논문은 영어보다 자유로운 어순을 갖는 한국어에 대해 RNN 기반의 인코더를 이용하여, 텍스트 추상 요약 모델에 순차적 문맥 학습이 어떠한 영향을 미치는지 연구하였다. 직접 수집한 한국어 기사에 대해 트랜스포머 기반 모델과 기존 트랜스포머에 RNN 기반 인코더를 추가한 모델을 학습하여 제목 생성 및 기사 내용 요약 성능을 분석하였다. 실험 결과, RNN 기반의 인코더를 추가한 모델이 더 높은 성능을 보였으며, 한국어 텍스트의 추상 요약 수행 시, 순차적인 문맥 학습이 필요함을 확인하였다.
SMERT: 감성 분석 및 감정 탐지를 위한 단일 입출력 멀티 모달 BERT
http://doi.org/10.5626/JOK.2021.48.10.1122
감성 분석은 텍스트로부터 주관적인 의견 및 성향을 분석하고, 감정 탐지는 ‘행복’, ‘슬픔’과 같이 텍스트에서 나타나는 감정을 검출하는 연구다. 멀티 모달 데이터는 텍스트뿐만 아니라 이미지, 음성 데이터가 함께 나타나는 것을 의미한다. 관련 선행 연구에서 순환 신경망 모형 혹은 교차 트랜스포머를 사용한다. 하지만 순환 신경망 모형은 장기 의존성 문제를 가지며, 교차 트랜스포머는 모달리티별 특성을 반영하지 못하는 문제점이 있다. 이를 해결하기 위해 본 연구에서는 멀티 모달 데이터가 하나의 네트워크로 학습되는 단일 입출력 트랜스포머 기반 모형 SMERT를 제안한다. SMERT는 모달리티 결합 표현형을 얻어 이를 감성 분석 및 감정 탐지에 활용한다. 또한, BERT의 훈련 태스크를 멀티 모달 데이터에 활용하기 위해 개량하여 사용한다. 제안하는 모델의 검증을 위해 CMU-MOSEI 데이터셋과 여러 평가 지표를 이용하고, 모달리티 조합별 비교실험과 예시를 통해 모델의 우수성을 검증하였다.
