디지털 라이브러리[ 검색결과 ]
단일 토큰 표현을 활용한 효율적인 거대 언어 모델 기반 문서 재순위화
http://doi.org/10.5626/JOK.2025.52.5.395
정보 검색 시스템에서 문서 재순위화는 주어진 문서 후보에서 질의와의 적합도(Relevance)를 평가하여 문서의 순위를 재정렬(Reranking)하는 것을 목표로 한다. 최근 거대 언어 모델(Language language models, LLMs)의 폭넓은 자연어 이해 능력을 활용하여 문서의 재순위화 정확도를 획기적으로 개선하였다. 그러나 거대 언어 모델을 활용한 기존 연구들은 재순위화의 정확도 개선에 주로 초점을 두고 있으며, 입력 길이가 지나치게 길어지거나, 반복적인 추론을 요구함에 따라 발생하는 효율성 저하 문제를 간과하였다. 본 연구에서는 기존 모델의 문제점을 해결하기 위해 ListT5++ 모델을 제안한다. 제안 모델은 효율성 개선을 위해서 질의와 단락 간의 관련성을 단일 토큰 임베딩으로 표현하는 방법을 도입하고, 이를 활용하여 디코딩 과정을 최소화한 단일 단계 디코딩 전략을 활용한다. 이를 통해 거대 언어 모델 기반 문서 재순위화의 효율성을 크게 개선한다. 실험 결과, 제안 모델인 ListT5++는 기존 방식과 동일한 수준의 정확도를 유지하는 반면에 추론 지연 시간을 기존 모델 대비 29.4배 단축하였다. 특히, ListT5++은 디코딩 과정에서 입력 문서의 순서에 영향을 받지 않고 문서와 질의의 적합도를 학습함으로써, 강건한 특성을 보이는 장점이 있다.
차량 애드혹 네트워크에서 오동작 유형 분류를 위한 효과적인 임베딩 방법
http://doi.org/10.5626/JOK.2024.51.11.970
차량들 간의 데이터를 송수신 할 수 있도록 하는 네트워크 기술인 VANET에는 차량, 인프라, 보행자 사이의 통신을 기반으로 차량 외부 정보와 내부 정보를 교환 할 수 있는 통신 기술인 V2X가 있다. 그러나 네트워크에서 결함 및 공격 정보를 포함한 데이터를 방송함으로 인해 치명적인 문제를 일으킬 수 있어 MBD(Misbehavior Detection) 시스템은 VANET에서 필수적인 기술이다. 최근에는 기계학습을 활용한 MBD 연구가 활발하지만, VANET에서의 오동작 유형들의 패턴이 정상 유형과 유사하여, 이를 일괄적으로 학습하여 완벽하게 분류하는 것에는 한계가 존재한다. 기존 연구에서 공격과 결함에 따른 분류 체계를 계층적으로 정의하여 오동작을 분류하는 방식을 제안하고 있다. 본 연구에서는 정확도가 높은 오동작 분류 모델 제안을 위해 계층적 분류 체계를 구축하기 위한 임베딩 표현 방법을 제안한다. 오동작 유형 분류를 사전 학습한 LSTM 모델을 통해 다변량 시계열 데이터에 대한 임베딩 벡터를 추출하여 오동작 유형의 핵심데이터를 압축하고, 계층적 군집화를 사용하여 다양한 공격 유형을 큰 그룹으로 나누는 방식을 제안하였다.
PGB: BERT 프루닝을 위한 순서 변경 규칙 및 그룹화
http://doi.org/10.5626/JOK.2023.50.6.503
최근 사전 학습된 트랜스포머 계열의 모델은 자연어 처리, 이미지 인식 등 다양한 인공지능 분야에서 활발히 사용되고 있다. 그러나 해당 모델들은 수십억 개의 파라미터를 가지고 있어 추론 시에 상당한 연산량을 필요로 하며 자원이 제한된 환경에서 사용하기에는 많은 제약이 따른다. 이러한 문제들을 해결하기 위해 본 논문은 트랜스포머 모델에 대한 그룹화 기반의 새로운 구조화된 프루닝 방법인 PGB(Permutation Grouped BERT pruning)를 제안한다. 제안된 방법은 자원 제약 조건에 따라 최적의 어텐션 순서를 변경하는 방법을 찾고, 모델의 정보 손실을 최소화하기 위해 헤드의 중요도를 기반으로 불필요한 헤드에 대해 프루닝한다. 다양한 비교 실험을 통해 사전 학습된 BERT 모델에 대한 기존의 구조화된 프루닝 방법보다 본 논문에서 제안한 방법이 추론 속도 및 정확도 손실 측면에서 더 우수한 성능을 보임을 확인한다.
Efficient Approach for Encoding and Compression of RDF Knowledge Bases
Tangina Sultana, Young-Koo Lee
http://doi.org/10.5626/JOK.2022.49.3.241
엔티티 중심 검색 및 자연어 기반 질의의 엄청난 성장으로 인해 활용 가능한 지식 베이스(Knowledge Bases, KBs)의 크기가 기하급수적으로 증가하였다. 따라서 대용량의 데이터를 효율적으로 검색하는 SPARQL 쿼리 검색 엔진이 필요하다. RDF 엔진은 주로 지식 베이스를 관리하기 위해 순서, 좌표, 구문 및 해시 기반 인코딩을 사용한다. 그러나 대부분의 기존 방법에서는 더 좋은 압축률을 보이지 못하고, 적재 시간이 느리며, 질의 성능이 효율적이지 않다. 따라서 본 논문에서는 더 높은 압축률을 달성하고 압축 및 인코딩된 데이터에 대한 SPARQL 쿼리의 성능을 향상시키기 위해 빈발하고 의미적으로 관련된 용어를 감지하는 접근 방식을 제안한다. 이 기법은 통계 정보와 의미론적 접근을 결합한 접근 방식으로 사전 인코딩 알고리즘을 기반으로 한다. 의미론을 기반으로 자주 사용되지 않는 용어를 식별하는 스키마를 도입했다. 그리고 시스템은 의미론적으로 관련된 데이터를 온톨로지 클래스로 조합하여 필요한 메모리 적재를 통해 로딩 시간을 더욱 줄여준다. 우리는 제안된 기법을 기존의 접근 방식과 실험을 통해 비교를 진행하고, 실험 결과 우리가 제안한 접근 방식이 기존 시스템보다 지식 베이스를 훨씬 더 효과적으로 압축하고 인코딩함을 확인한다.
그래프 신경망을 이용한 삭제 기반 한국어 문장 축약
http://doi.org/10.5626/JOK.2022.49.1.32
문장 축약은 주어진 문장의 요지를 담은 짧고 간결한 글을 생성하는 것으로 주로 삭제 기반의 축약 연구가 많이 진행되었다. 삭제 기반의 축약은 문장에서 덜 중요한 부분을 제거하여 문장을 축약하는 것이다. 본 연구에서는 딥러닝 모델을 이용하여 삭제 기반의 한국어 문장 축약 모델을 구축한다. 각각의 단어가 삭제될 것인지 축약에 포함될 것인지 이진 분류하는 기본 모델을 구축하고 여기에 LSTM과 어텐션 레이어를 추가한 모델을 설계한다. 그래프 신경망은 그래프 구조에 딥러닝 방법을 적용한 모델로 본 연구에서는 문장의 구문 구조를 축약에 사용할 수 있도록 그래프 신경망을 도입하였다. 그래프 신경망 중 대표적인 모델인 그래프 합성곱 신경망을 이용하여 의존 트리를 인코딩하고, 인코딩된 트리의 각 노드를 문장 축약 모델의 입력으로 사용한다. 일반적인 그래프 합성곱 신경망은 무방향 그래프만을 다루기 때문에 문장 축약에서 의존 트리의 부모, 자식 노드를 구분하기 위하여 유향그래프 합성곱 신경망을 제안한다. 실험 결과 기본 모델에 그래프 신경망을 적용했을 때 문장 축약의 정확도가 향상되었다. 또한 부모, 자식 노드를 구분할 수 있는 유향그래프 합성곱 신경망이 그렇지 못한 그래프 합성곱 신경망에 비해 높은 F1 점수를 얻었다. 실험을 통해 의존 구문 트리 구조를 명시적으로 반영하였을 때, 문장 축약에 더 좋은 성능을 발휘할 수 있음을 확인하였다.
Deep Neural Networks and End-to-End Learning for Audio Compression
Daniela N. Rim, Inseon Jang, Heeyoul Choi
http://doi.org/10.5626/JOK.2021.48.8.940
단일 딥러닝 모델에 대한 최근의 성과는 고도로 구조화된 데이터를 하나의 통합된 모델로 다루는 일들을 가능하게 했다. 하지만, 오디오 신호를 압축하기 위한 단일 딥러닝 모델을 학습하는 것은 내부적으로 신호에 대해 이산표현을 필요로 하기 때문에 어려운 작업이었다. 본 논문에서는 은닉공간에 이산표현을 가지는 변이 오토인코더 의 훈련 전략 내에서 순환 신경망(RNNs)를 결합하는 단일모델 기반 심층망 모델과 학습방법을 제시한다. 제안하는 방법에서는 베르누이(Bernoulli) 분포를 위한 재파라미터화 기법을 사용하여 이산표현에서 역전파를 가능하게 하도록 하였으며 그 결과 실제 오디오 압축에 필수적인 인코더와 디코더를 분리할 수 있었다. 우리가 아는 범위에서, 제안된 모델은 오디오 압축을 위해 RNN를 사용한 단일모델 학습의 최초의 구현으로써, 20.53dB의 SDR (신호 대 왜곡 비율)을 달성한다.
모델 전문화를 위한 조건부 지식 증류 기법
http://doi.org/10.5626/JOK.2021.48.4.369
최근 지식 증류기반의 신경망 압축 기법에 관한 연구가 활발히 진행되고 있다. 하지만, 사용자가 교사모델의 전체 클래스 중 일부만을 분류하기 원하는 경우 기존의 지식 증류기법은 불필요한 정보까지 전달하게 되어 비효율성이 발생한다. 또한, 기존의 지식 증류기법은 교사모델의 학습에 사용된 데이터를 필요로 하지만, 개인 정보 문제 등으로 큰 제약이 될 수 있다. 이에 본 논문에서는 교사모델의 전체 클래스 중 특정 클래스들의 분류만을 위한 전문화된 학생모델을 학습하는 조건부 지식 증류기법과 데이터가 없는 상황으로 확장된 조건부 지식 증류기법을 함께 제안한다. 아울러 사용자가 소량의 데이터만 수집한 경우, 위의 두 증류기법이 결합된 방식도 함께 제안한다. 제안하는 기법을 통해 학습된 전문화된 학생모델은 기존의 지식 증류를 통해 학습된 학생모델보다 높은 정확도를 달성하였으며 데이터가 없는 상황에서도 데이터를 사용한 지식 증류기법에 비해 대부분의 실험에서 높은 정확도를 달성하였다.
문장 분석과 단어 삭제를 통한 한국어 문장 축약 코퍼스 구축
http://doi.org/10.5626/JOK.2021.48.2.183
딥 러닝 기반의 문장 축약 시스템을 개발하기 위해서는 원 문장-축약 문장의 쌍으로 구성된 병렬 코퍼스가 필요하다. 본 연구에서 우리는 문장 축약 알고리즘을 제안한다. 축약 알고리즘의 기본 접근방법은 압축 문장의 문법성을 유지하면서 입력 문장의 구문 의존 트리로부터 일부 노드를 지우는 것이다. 알고리즘은 문장의 구문 트리 제약 조건과 의미적 필수 정보를 이용하여 삭제할 노드를 선택한다. 신문기사의 첫 문장과 헤드라인에 알고리즘을 적용하여 약 140,000 쌍의 원 문장-축약 문장의 코퍼스를 구축할 수 있었다. 한국어 축약 코퍼스의 품질을 평가하기 위하여 가독성과 정보전달력에 대해 수동 평가를 수행한 결과 5점 만점 중 가독성 4.75, 정보전달력 4.53을 받았다.
자원제약 내장형 시스템을 위한 컨볼루션 뉴럴 네트워크 모델 자동 경량화 프레임워크
http://doi.org/10.5626/JOK.2020.47.2.136
최근 다양한 컨볼루션 뉴럴 네트워크 응용프로그램을 사물인터넷과 같은 자원제약이 심한 내장형 시스템에서 직접 동작시키려는 시도가 증가하고 있다. 하지만 내장형 시스템은 연산 속도와 메모리가 매우 제한적이기 때문에 동작시킬 수 있는 뉴럴 네트워크 모델의 크기가 제약되고 실시간성을 만족하지 못 할 수 있다. 이를 위해 본 논문에서는 주어진 뉴럴 네트워크 모델을 메모리와 수행시간 요구사항을 만족 할 수 있도록 자동으로 경량화하고 타겟 내장형 시스템에서 수행 가능한 코드를 자동으로 생성하는 프레임워크를 제안한다. 제안하는 프레임워크를 활용하여, 다양한 수행시간과 메모리 요구사항을 만족할 수 있도록 뉴럴 네트워크 모델을 서로 다른 성능을 가진 STM32 Nucleo 보드들에 맞게 경량화 하였다.
깊이 범위 이동 및 압축을 이용한 실시간 필드심도 렌더링
http://doi.org/10.5626/JOK.2019.46.11.1106
컴퓨터 그래픽스에서 필드심도를 실시간에 근사하기 위한 후처리 기법이 많이 연구되었다. 멀티 레이어 기반 렌더링 기법은 단일 레이어 접근법에서 보이는 강도 누출이나 깊이 불연속과 같은 아티팩트를 해결했지만, 블러 된 폐색 픽셀이 가시화되는 경계 불연속과 같은 아티팩트를 보인다. GPU 기반 피라미드 이미지 보간법을 이용하면 실시간으로 경계 불연속을 제거할 수 있으나, 블러링된 레이어의 색이 초점 된 레이어로 흘러들어와 초점 영역이 흐려지는 문제점을 가진다. 이에, 본 논문은 피라미드 이미지 보간법을 이용한 멀티 레이어 기법을 기반으로 초점 영역이 흐려지는 아티팩트를 제거하는 기법과 물리기반 필드심도의 블러 정도와의 괴리를 줄이기 위한 블러링 기법을 제안한다. 초점 영역이 흐려지는 아티팩트는 오브젝트의 깊이 범위 이동과 압축으로 제거되고, 착란원에 비례한 블러 정도로 카메라의 물리적 특성을 반영하여 품질을 높였다.
