디지털 라이브러리[ 검색결과 ]
강화학습 기반 자율이동체의 학습 효율 향상을 위한 유사도 기반 다중 지식 전이 알고리즘
http://doi.org/10.5626/JOK.2025.52.4.310
본 논문은 강화학습 기반 자율이동체의 학습 효율을 향상시키기 위해 유사도 기반 다중 지식 전이 알고리즘(similarity-based multi-knowledge transfer, SMTRL)을 제안한다. SMTRL은 사전 학습된 모델과 현재 모델의 유사도를 계산하고, 그 유사도에 기반하여 지식 전이의 비율을 동적으로 조절하여 학습 효율을 극대화하는 방법론이다. 복잡한 환경에서 자율이동체가 단독으로 학습할 경우 많은 시간이 소요되므로, 지식 전이는 필수적이다. 하지만 사전 학습 모델과 실제 환경 간 차이가 클 경우, 학습 성능이 저하되는 부정 전이 현상이 나타날 수 있다. SMTRL은 이러한 부정 전이를 최소화하기 위해 유사도가 높은 사전 학습 모델의 지식을 반영 비율을 동적으로 조정함으로써 안정적으로 학습 속도를 가속화한다. 실험 결과, 제안된 알고리즘은 기존의 단일 지식 전이 및 전통적 강화학습 방법과 비교하여 수렴 속도 및 성능에서 우수한 결과를 나타냈다. 본 연구는 자율이동체의 효율적인 학습을 위한 새로운 지식 전이 방법을 제시하며, 복잡한 이동체 환경으로의 적용 가능성과 향후 연구 방향에 관해 논의한다.
텍스트 증강 기법과 전이학습을 활용한 의도 분류 방법 제안
http://doi.org/10.5626/JOK.2024.51.2.141
의도 분류는 목적지향 챗봇의 첫 번째 단계로 성능 향상을 위한 중요한 문제이지만 목적지향형 챗봇은 특정 도메인에 대한 데이터 부족 문제가 존재한다. 본 연구는 텍스트 증강 기법과 전이학습을 활용하여 데이터 부족 문제를 해결하고자 한다. 기존에 전이학습 및 텍스트 증강 기법을 활용한 연구는 존재하나 다양한 도메인에 적용 가능한 연구는 찾아보기 어려웠다. 본 연구는 다양한 도메인에 적용 가능한 텍스트 증강 기법 및 전이학습 방법을 제안한다. 실험을 위해 8개의 도메인에서 실제 발화 의도의 비율에 맞추어 데이터를 10,000개, 20,000개, 30,000개 미만으로 구축하였다. 실험 결과 도메인에 따라 차이는 존재 하였지만 8개의 도메인 모두 본 연구에서 제시한 방법이 우수함을 확인하였다. 학습 데이터의 크기가 작은 순서로 8개의 도메인에 대한 정확도는 평균적으로 10%, 3.4%, 1.9% 향상되었으며 F1-Score는 평균 30%, 12%, 7.5% 향상됨을 확인하였다.
피부 질환의 확인: 전이학습을 이용한 백반증 심각도 측정
http://doi.org/10.5626/JOK.2023.50.1.72
백반증은 표피에서 멜라닌 색소가 소실되어 발생하는 흔한 후천성 피부 질환이며 임상적으로 몸에 창백하거나 흰색 반점이 나타난다. 백반증은 조기 치료가 중요하지만 백반증은 통증이나 건강 문제를 일으키지 않는다. 따라서 백반증 환자는 피부 병변이 외부로 보일 때 치료한다. 백반증은 피부과 전문의의 주관적인 판단으로 치료되며, 의료 영상을 얻기 어렵기 때문에 영상을 통한 정량적, 객관적인 분석 방법이 제시되지 않았고, 소수의 의료 데이터 영상을 통해 많은 진단 방법이 개발되었다. 본 논문에서는 백반증 의료 데이터 수집의 한계를 극복하기 위해 전이 학습을 이용하여 영상 분할을 통해 백반증 부위를 진단하는 방법을 제안한다. 전이학습 모델은 U-net, FCN, Deeplab 등의 딥러닝 모델에 적용 가능성을 실험하여 선정하였다. 또한, 백반증 중증도를 측정하고자 RGB 피부 영상으로 변환하여 의료 현장에서 사용되는 VASI 점수를 이용하였다. 실험 결과, 불균형 백반증 이미지 데이터로 훈련했을 때 Deeplab에서의 F1-score와 IoU 점수가 기존 이미지 처리 방법 뿐만 아니라 U-net보다 우수했다. 또한, 이 논문에서 제안된 백반증 이미지에서 VASI 점수를 계산하는 방법은 백반증의 진단에 적용될 가능성을 보여 주었다.
회전 기계 고장 진단을 위한 적대적 순환 일관성 유지 학습기반 교차 도메인 적응 방법
http://doi.org/10.5626/JOK.2022.49.7.530
다양한 산업분야에서 데이터 기반의 고장 진단 모델에 대한 연구가 활발히 이루어지고 있다. 그러나 산업 장비의 경우 다양한 운행 조건이 발생하고, 이에 따른 충분한 훈련 데이터 확보가 어렵다는 문제가 있다. 이러한 문제를 해결하기 위해 교차-도메인 적응 기법을 활용할 수 있다. 본 연구에서는 회전체 진동 데이터를 사용하여 학습되지 않은 새로운 환경 데이터에 대해서도 고장 분류 일관성을 유지할 수 있는 적대적 일관성 유지 변환 학습 방법을 제안한다. 일관성 유지 학습을 통해 생성된 데이터는 새로운 운행 조건 데이터 분포와 이미 알고 있는 데이터 분포 간의 연속적인 불변 잠재 공간을 생성하고, 고장분류 특징 정보를 공유하는 적대적 학습 네트워크를 통해 고장 분류 성능을 유지하도록 학습한다. 따라서 제안된 방법은 도메인 데이터 간의 불일치를 최소화할 수 있는 잠재적 공간을 넓힘으로써 보다 안정적이고 일반적인 분류 성능을 확보할 수 있다. 제안한 모델의 실험결과는 약 88%내외의 성능 평가가 이루어졌으며, 기존 교차-도메인 적응 학습 기법들과 비교하여, 약 5～10%의 성능향상을 보였다. 이러한 연구결과로 실제 산업현장에서 겪는 장비 고장 진단 문제의 효과적인 해결방안이 될 것으로 기대된다.
레이블 기반의 핵심 자질 학습을 통한 문서 범주화에서의 효과적인 전이학습 방법론
http://doi.org/10.5626/JOK.2022.49.3.214
전이학습을 이용한 자연어처리는 대용량의 일반적인 데이터를 이용하여 사전학습된 모델을 downstream task에서 사용함으로써 성능이 향상되었다. 하지만 사전학습에서 사용되는 데이터는 적용 영역과 무관한 데이터이기에 적용 영역에 특화된 자질이 아닌 일반적인 자질을 학습하는 문제점이 있다. 따라서 본 논문에서는 사전 학습 모델의 임베딩이 downstream task에 특화된 자질들을 학습하도록 유도한다. 제안 방법으로는 샘플링된 data pair의 대조 학습과 더불어 label embedding과의 대조 학습을 통해 downstream task의 label정보를 학습하는 방법을 제안한다. 제안 방법의 성능입증을 위해 문장 분류 데이터셋에 대한 실험을 진행하고 임베딩에 대한 PCA(Principal component analysis)와 K-means clustering을 통하여 downstream task의 자질들이 학습되었는지 정성평가를 진행한다.
Dialog Response Selection을 위한 BERT의 Vertical & Horizonal Hidden Vector Attention 기반 전이학습 모델
http://doi.org/10.5626/JOK.2021.48.1.119
본 논문에서는 DSTC에서 제공하는 데이터를 기반으로 주어진 대화(Dialog)의 다음 문장을 찾는(100개 후보 중 1개의 정답) Dialog Response Selection System을 만드는 것을 목적으로 한다. 이를 위해 사전 학습 모델(Pre-trained Model)인 BERT를 활용하였다. BERT는 대용량 코퍼스에 대해 언어모델(Language Model)로 사전 학습이 되어있어 다목적으로 활용이 가능하고 높은 성능을 내는 장점이 있지만 모델 변형이 쉽지 않고, 입력 데이터 형태가 정해져 있어 성능 최적화를 위한 커스터마이징(Customizing)이 어렵다는 한계점이 있다. 이러한 특성을 보완하기 위해 BERT와 완전히 분리된 독립적 전이학습 모델을 제안한다. BERT를 파인-튜닝(Fine-tuning) 후 컨텍스츄얼 셀프-어텐션 벡터(Contextual Self-attention Vector)(수직(Vertical) & 수평(Horizonal) 히든 벡터(Hidden Vector)를 이용한 셀프-어텐션 벡터 추출)을 뽑아 전이학습 모델의 입력 데이터로 사용하였고 주어진 데이터를 효과적으로 사용하기 위해서 데이터 어그멘테이션(Data Augmentation)을 진행하였다. 이를 통해 최종적으로 22.85%의 성능개선을 달성할 수 있었다.
전이 학습과 어텐션(Attention)을 적용한 합성곱 신경망 기반의 음성 감정 인식 모델
http://doi.org/10.5626/JOK.2020.47.7.665
기존의 음성 기반 감정 인식 연구는 단일한 음성 특징값을 사용한 경우와 여러 가지 음성 특징값을 사용한 경우로 분류할 수 있다. 단일한 음성 특징값을 사용한 경우는 음성의 강도, 배음 구조, 음역 등 음성의 다양한 요소를 반영하기 어렵다는 문제가 있다. 여러 가지 음성 특징값을 사용한 경우에는 머신러닝 기반의 연구들이 다수를 차지하는데, 딥러닝 기반의 연구들에 비해 상대적으로 감정 인식 정확도가 낮다는 단점이 있다. 이러한 문제를 해결하기 위해 멜-스펙트로그램(Mel-Spectrogram)과 MFCC(Mel Frequency Cepstral Coefficient)를 음성 특징값으로 사용한 합성곱 신경망(Convolutional Neural Network) 기반의 음성 감정 인식 모델을 제안하였다. 제안하는 모델은 학습 속도 및 정확도 향상을 위해 전이학습과 어텐션(Attention)을 적용하였으며, 77.65%의 감정 인식 정확도를 달성하여 비교 대상들보다 높은 성능을 보였다.
욕설문장 분류의 불균형 데이터 해결을 위한 전이학습 방법
http://doi.org/10.5626/JOK.2017.44.12.1275
욕설문장을 지도학습 접근법으로 분류하기 위해서 욕설인지 아닌지 판별된 학습 문장이 필요하다. 문자수준의 컨볼루션 신경망이 각 문자에 대해 강건성을 가지기 때문에 욕설분류에 적합하지만, 학습에 많은 데이터가 필요하다는 단점이 있다. 본 논문에서는 이를 해결하기 위해 임의로 생성한 욕설/비욕설 문장 쌍을 컨볼루션 신경망을 기반으로 하는 분류기에 학습시켜 컨볼루션 신경망의 필터가 욕설의 특징을 분류하도록 조정한 후, 실제 훈련문장을 학습시킬 때 필터를 재사용하는 전이학습방법을 제안한다. 이로써 데이터 부족과 클래스 불균형으로 인한 영향이 감소하여 분류 성능이 향상될 것이다. 실험 및 평가는 총 3가지 데이터에 대해 수행되었으며, 문자수준 컨볼루션 신경망을 활용한 분류기는 모든 데이터에서 전이학습을 적용했을 때 더 높은 F1 점수를 획득하였다.
