디지털 라이브러리[ 검색결과 ]
신약 후보 물질의 ADMET 속성 예측을 위한 사전학습 모델 기반의 일반화 성능 향상 기법
http://doi.org/10.5626/JOK.2025.52.7.601
신약 개발 과정에서 ADMET(흡수, 분포, 대사, 배설, 독성) 속성의 정확한 예측은 임상 시험 실패율을 낮추고 개발 비용을 절감하는 데 중요한 역할을 한다. 본 연구에서는 그래프 트랜스포머 기반의 분자 임베딩과 사전 학습된 UniMol 모델 기반의 임베딩을 결합하여 신약 후보 물질의 ADMET 예측 성능을 높이는 방법을 제안한다. 제안된 모델은 분자의 그래프 구조에서 결합 유형 정보를 반영하여 보다 화학적으로 정교한 표현을 생성하며, UniMol의 사전 학습된 3D 임베딩을 활용하여 분자의 공간적 특성을 효과적으로 학습한다. 이를 통해 데이터 부족 문제를 보완하고, 모델의 일반화 성능을 향상시킬 수 있도록 설계하였다. 본 연구에서는 총 10개의 ADMET 속성을 대상으로 예측 실험을 수행하였다. 실험 결과, 제안된 모델은 기존 방법들보다 우수한 예측 성능을 보였으며, 원자의 결합 정보와 3D 구조를 효과적으로 통합함으로써 ADMET 속성 예측의 정확도를 향상시킬 수 있음을 확인하였다.
Gated Tab Transformer를 사용한 향상된 소프트웨어 결함 예측
http://doi.org/10.5626/JOK.2025.52.3.196
소프트웨어 결함 예측(SDP)은 소프트웨어 품질과 신뢰성을 확보하는 데 중요한 역할을 한다. 전통적인 기계 학습 및 딥 러닝 모델이 SDP에 널리 사용되었지만, 최근 자연어 처리 기술의 발전은 소프트웨어 공학 작업에 트랜스포머 기반 모델을 적용할 수 있는 가능성을 열었다. 본 논문에서는 Gated Tab Transformer(GTT)를 SDP에 적용하여 그 효과를 평가하였다. 15개의 소프트웨어 결함 데이터셋을 사용하여 실험을 진행하고, 최신 기계 학습 및 딥 러닝 모델과 비교한다. 실험 결과, GTT는 리콜, 균형, AUC 측면에서 각각 42.1%, 10.93%, 7.1%의 최첨단 머신 러닝 성능을 능가하는 것으로 나타났다. Cohen’s d 분석 결과, GTT는 이러한 성능 지표에서 큰 효과 크기 또는 중간 수준의 효과 크기를 나타냈다. 추가로, 하이퍼파라미터 변동이 성능에 미치는 영향을 분석한 소거 연구를 통해 GTT의 성능을 평가하였다. GTT의 뛰어난 성능은 SDP 문제 해결에 기여할 수 있으며, 이를 통해 테스트 자원의 효율적인 할당과 소프트웨어 품질 개선이 가능할 것으로 기대된다.
차세대 네트워크 UAV 데이터 효율 최대화: 트랜스포머 기반 mmWave 빔포밍 접근 방법
아비 데브 라하, 아푸르보 아디히카리, 무리튠조이 게인, 치아오 유, 김현수, 윤지수, 홍충선
http://doi.org/10.5626/JOK.2025.52.2.170
빔포밍은 초고속 데이터 속도를 달성하기 위해 테라헤르츠 및 밀리미터파(mmWave) 주파수 대역을 활용하는 차세대 무선 통신 분야의 발전에 있어서 중요한 역할을 한다. 하지만 이러한 주파수 대역은 빔 트레이닝과 관련된 비용으로 인해 문제가 발생할 수 있으며, 특히 드론 및 무인 항공기(UAV) 통신과 같이 높은 이동성을 필요로 하는 응용 분야에서 초신뢰 저지연 통신(URLLC)을 실현하는데 어려움이 있다. 본 논문에서는 UAV를 위한 상황 정보 기반 mmWave 빔포밍을 제안하며 이동성이 높은 UAV 환경에서 UAV의 데이터 전송률을 최대화하기 위한 최적화 문제를 정의한다. URLLC를 유지하면서 최적의 빔을 예측하기 위한 경량 트랜스포머를 설계한다. 트랜스포머의 self-attention 메커니즘은 모델이 상황 정보의 가장 중요한 특징에 선택적으로 집중할 수 있도록 한다. 경량 트랜스포머 모델은 UAV의 데이터 전송률을 개선하는 이상적인 빔을 정확하게 예측한다. 시뮬레이션 결과는 본 논문의 설계는 효과를 입증한다. 기준 방법과 비교할 때, 경량 트랜스포머 모델은 17.8%의 더 높은 Top-1 빔 정확도를 달성하며 평균 전력 손실을 96.79%까지 줄이며 기준 방법에 비해 12.49%에서 96.79%까지 개선되었다.
주제 인식 교차 주의를 활용한 대화 요약
http://doi.org/10.5626/JOK.2024.51.11.1011
대화 요약은 일반적인 문서 요약과는 다르게 비형식적, 구어체의 사용이 많고, 대화의 맥락과 흐름 파악, 대화의 주제들에 대한 고려가 필요하다. 본 연구에서는 이러한 대화의 특성을 반영하기 위해 교차 주의 기법에 주제 분포를 인식할 수 있도록 요소를 추가한 주제 인식 교차 주의 기법을 제안한다. 이 주제 인식 교차 주의 기법은 대화와 요약문의 주제 분포를 추출하여 이 주제 분포의 유사도를 BART 모델 디코더 내부의 교차 주의 기법에 적용하여 대화 요약을 진행한다. 본 연구에서 제안하는 주제 인식 교차 주의 기법은 주제 비율을 조정함으로써 주제 분포의 유사도를 기존 교차 주의 기법에 적용되는 정도를 조절할 수 있으며, DialogSum, SAMSum 데이터셋에서의 실험을 통해 대화 요약에 적절함을 확인할 수 있다.
자기 교사 학습 모델의 특장점 분석과 사진 분류 및 객체 탐지 성능 분석 연구
http://doi.org/10.5626/JOK.2024.51.7.609
최근, 교사 학습 기반의 인공지능 분야가 급속도로 발전하고 있다. 그러나 교사 학습은 정답 값이 지정된 데이터집합에 의존하기 때문에, 정답 값을 확보하기 위한 비용이 커진다. 이러한 문제점을 해 결하기 위해 정답 값없이 사진의 일반적인 특징을 학습할 수 있는 자기 교사 학습(Self-supervised learning)이 연구되고 있다. 본 논문에서는 다양한 자기 교사 학습 모델을 학습 방식과 백본 네트워크 기 준으로 분류하고, 각 모델의 장단점, 성능을 비교 분석하였다. 성능 비교를 위해 사진 분류 작업을 사용하 였다. 또한 전이 학습의 성능을 비교하기 위해 세밀한 예측 과업의 성능 또한 비교 분석하였다. 그 결과, 긍정적 쌍만 사용하는 모델이 노이즈를 최소화하여 부정적인 쌍을 같이 사용하는 모델들보다 높은 성능을 달성하였다. 또한 세밀한 예측의 경우 이미지를 마스킹하여 학습하거나 멀티스테이지 모델 등을 활용하여 지역적인 정보를 추가로 학습하는 방식이 더욱 높은 성능을 달성한 것을 확인하였다.
Blurry 클래스 증분 학습 환경에서의 효율적인 프롬프트 학습 방법
http://doi.org/10.5626/JOK.2024.51.7.655
연속 학습은 일련의 태스크로 구성된 데이터를 연속적으로 학습하면서 성능을 유지하는 것을 목표로 한다. 보편적 시나리오인 태스크 간 클래스가 겹치지 않는 disjoint 연속 학습과는 달리, blurry 연 속 학습은 태스크 간 클래스가 겹치는 보다 현실적인 시나리오를 다룬다. 기존 대부분의 연속 학습 연구는 disjoint 시나리오에 초점을 맞추어 진행되어 왔고, 최근에는 ViT(Vision Transformer) 모델에 프롬프트 메커니즘을 적용하는 프롬프트 기반 연속 학습이 많은 관심을 받고 있다. 본 논문에서는 프롬프트 기반 연 속 학습 방법을 기반으로 blurry 클래스 증분 학습에 적합한 유사도 함수를 적용시킴으로써 실험을 통해 그 성능을 분석한다. 이를 통해 우리의 방법이 더 효율적으로 blurry 데이터를 학습하는 것을 입증하면서 우수성을 확인한다.
패칭을 이용한 GRU 기반의 시계열 예측 방법
http://doi.org/10.5626/JOK.2024.51.7.663
시계열 예측은 기업, 현장에서 의사결정의 보조자 역할로 활용되어 매우 중요하다. 최근 트랜 스포머 구조의 patch time series Transformer(PatchTST)와 MLP 구조의 Long-term time series forecasting Linear(LTSF-Linear)가 시계열 예측에서 좋은 성능을 보여주었다. 하지만 PatchTST는 학습 및 추론시간이 오래 걸리고, LTSF-Linear는 구조의 단순함 때문에 훈련 데이터가 가지고 있는 정보를 제 한적으로 학습한다는 문제점이 있다. 이를 보완하기 위해 패칭된 데이터에 Gated Recurrent Unit(GRU)를 사용하여 학습시간 감소와 시계열 데이터에서 학습할 수 있는 정보를 담아낼 수 있는 patch time series GRU(PatchTSG)를 제안한다. PatchTSG는 PatchTST 대비 학습시간을 최대 82%, 추론시간을 최대 46%까지 감소시킨다.
비전 트랜스포머에서 효과적인 토큰 프루닝을 위한 토큰 선별 방법
http://doi.org/10.5626/JOK.2024.51.6.567
셀프 어텐션에 기반한 비전 트랜스포머 모델은 최근 컴퓨터 비전 분야에서 활발히 사용되고 있다. 해당 모델은 여러 태스크에서 우수한 성능을 보여주는 반면, 추론 시 토큰 수에 비례하여 연산량이 증가한다는 특징이 있어 많은 수의 토큰은 추론 속도의 저하를 야기한다. 특히 이러한 점은 모델을 실제 상황에 적용 및 배포 시에 많은 제약이 발생할 수 있다. 따라서 본 논문에서는 비전 트랜스포머에서 멀티 헤드 셀프 어텐션의 연산 구조를 수정함으로써 얻을 수 있는 새로운 토큰 중요도 평가 방법을 제안한다. 해당 방법을 통해 중요한 토큰만을 선별하여 추론함으로써 성능은 유지하되 추론 속도를 향상하였다. 또한 제안된 방법은 추가적인 파라미터를 필요로 하지 않기 때문에 미세 조정이 없을 때 더욱 강인하며 기존의 토큰 프루닝 방법들과 결합할 경우 성능을 극대화할 수 있음을 입증하였다.
ConTL: CNN, Transformer 및 LSTM의 결합을 통한 EEG 기반 감정인식 성능 개선
http://doi.org/10.5626/JOK.2024.51.5.454
본 논문은 EEG 기반 감정인식을 위해 convolutional neural network (CNN), Transformer, long short-term memory (LSTM)을 결합한 hybrid-network인 ConTL을 제안한다. 먼저, 입력된 EEG 로부터 지역적인 특징을 학습하기 위해 CNN을 활용한다. 이후 Transformer가 출력된 특징으로부터 전체 적인 시간 종속성을 학습한다. 추가로 순차적 시간 의존성 학습을 위해서 Transformer로부터 출력된 특징 을 bi-directional LSTM에 넣는다. 제안 모델의 성능 검증을 위해 5가지 state-of-art 모델과 분류 정확 도를 비교했고 그중 SEED-IV에서는 CCNN 대비 0.73%, DEAP에서는 valence와 arousal에서 각각 DGCNN 보다 0.97%, 0.68% 더 높은 성능을 나타냈다.
SCA: Cross-Attention 지도 학습에 기반한 문서기반 응답 생성 모델의 성능 향상
http://doi.org/10.5626/JOK.2024.51.4.326
문서 기반 응답 생성은 소비자 상담이나 보험 설계와 같이 정확한 사실에 기반한 근거가 되는 문서를 검색한 후, 해당 문서를 통해 대화 응답을 생성하는 작업을 의미한다. 이번 연구에서는 응답 생성 모델이 입력된 문서로부터 답변 생성에 필요한 부분을 찾아내어 반영하는 능력을 향상시키기 위해 Supervised Cross-attention을 제시했다. 이는 디코더의 Cross-attention에 대해 Attention Supervision을 적용하는 것으로, 입력 문서 중 실제 답변 생성에 포함되어야 하는 정보인 레퍼런스에 해당하는 부분에 Cross-attention 가중치가 집중되도록 지도학습 과정을 추가하는 것이다. 이 방법과 추가적인 성능 향상 방법을 도입한 결과 기존 SOTA 대비 F1 지표에서 1.13의 성능 향상을 확인하였고, Supervised Cross-attention을 통해 0.25의 성능 향상이 있었음을 확인했다.
