디지털 라이브러리[ 검색결과 ]
LLM 기반의 제로샷 문장 수준 단락 정제를 활용한 검색 증강 생성
http://doi.org/10.5626/JOK.2025.52.4.304
본 논문은 강화학습 기반 자율이동체의 학습 효율을 향상시키기 위해 유사도 기반 다중 지식 전이 알고리즘(similarity-based multi-knowledge transfer, SMTRL)을 제안한다. SMTRL은 사전 학습된 모델과 현재 모델의 유사도를 계산하고, 그 유사도에 기반하여 지식 전이의 비율을 동적으로 조절하여 학습 효율을 극대화하는 방법론이다. 복잡한 환경에서 자율이동체가 단독으로 학습할 경우 많은 시간이 소요되므로, 지식 전이는 필수적이다. 하지만 사전 학습 모델과 실제 환경 간 차이가 클 경우, 학습 성능이 저하되는 부정 전이 현상이 나타날 수 있다. SMTRL은 이러한 부정 전이를 최소화하기 위해 유사도가 높은 사전 학습 모델의 지식을 반영 비율을 동적으로 조정함으로써 안정적으로 학습 속도를 가속화한다. 실험 결과, 제안된 알고리즘은 기존의 단일 지식 전이 및 전통적 강화학습 방법과 비교하여 수렴 속도 및 성능에서 우수한 결과를 나타냈다. 본 연구는 자율이동체의 효율적인 학습을 위한 새로운 지식 전이 방법을 제시하며, 복잡한 이동체 환경으로의 적용 가능성과 향후 연구 방향에 관해 논의한다.
거대 언어 모델의 정치적 편향과 하위 작업에서의 영향
http://doi.org/10.5626/JOK.2025.52.1.18
거대 언어 모델 (Large Language Model; LLM)의 성능이 비약적으로 향상되며 인간과의 직접 상호 작용이 가능해짐에 따라 윤리 검증의 필요성이 대두된다. 본 연구에서는 LLM의 정치 성향이 얼마나 다양한 스펙트럼으로 변할 수 있는지와 생성된 정치 성향이 하위 작업에 끼치는 영향을 알아본다. 먼저 LLM의 내재된 정치 성향을 대조군으로, Jailbreak, 정치 페르소나, Jailbreak 페르소나를 실험군으로 선정하였다. 실험 결과, Jailbreak에서 가장 큰 변화를 보였으나, 대조군과 평균적으로 유사하여 LLM에 내재된 정치 성향에서 벗어나지 못하였다. 또한, 두 번째 실험을 통해 변화된 정치성이 하위 작업에 미치는 영향을 확인하였다. 이는 모델이 실제 사용될 때 개인화된 응답보다는 모델의 내재된 정치 성향에 벗어나지 못하는 응답을 생성하는 경향을 보이며, 이러한 특성은 모델의 정치성과 판단이 사용자에게 여과없이 노출될 수 있음을 시사한다.
분포 외 데이터 문제를 활용한 암묵적 언어폭력 탐지
http://doi.org/10.5626/JOK.2022.49.11.948
암묵적 언어폭력 탐지는 표현의 다양성과 명확한 기준의 부재로 인하여 해결하기 어려운 문제이다. 선행연구에 따르면 암묵적 언어폭력을 세세하게 분류하고 정의함과 동시에 이에 해당하는 데이터셋을 만드는 과정이 필요하다. 그러나 이는 효율적이지 않을 뿐만 아니라 언어의 변화에 유연하게 대처하기 어렵다는 단점이 있다. 본 연구는 이를 해결하기 위한 효율적이고 효과적인 방법론으로 암묵적 언어폭력을 분포 외 데이터로 처리하는 방법을 처음으로 제안한다. 암묵적 언어폭력 탐지에서 분포 외 데이터 방법론을 적용한 사전학습 모델이 일반 사전학습 모델과 어휘 기반 모델보다 효과적임을 실험을 통해 확인하였다. 또한 감성분석과 사례 연구를 통하여 암묵적 언어폭력의 특성을 살펴보았으며 일반 사전학습 모델과 본 연구에서 제안하는 모델의 차이를 자세히 분석하였다.
사전 학습된 한국어 언어 모델의 보정
http://doi.org/10.5626/JOK.2021.48.4.434
심층 학습 모델의 발전은 컴퓨터 비전, 자연언어 이해 문제들에서 인간을 뛰어넘는 성능을 보이고 있다. 특히 트랜스포머 기반의 사전 학습 모델은 질의응답, 대화문과 같은 자연언어 이해 문제에서 최근 높은 성능을 보인다. 하지만 심층 학습 모델의 급격한 발전 양상에 비해, 이의 동작 방식은 상대적으로 잘 알려져 있지 않다. 심층 학습 모델을 해석하는 방법으로 모델의 예측 값과 실제 값이 얼마나 일치하는지를 측정하는 모델의 보정이 있다. 본 연구는 한국어 기반의 사전 학습된 심층 학습 모델의 해석을 위해 모델의 보정을 수행했다. 그리고 사전 학습된 한국어 언어 모델이 문장이 내포하는 애매성을 잘 파악하는지의 여부를 확인하고, 완화 기법들을 적용하여 문장의 애매성을 확신 수준을 통해 정량적으로 출력할 수 있도록 했다. 또한 한국어의 문법적 특징으로 인한 문장의 의미 변화를 모델 보정 관점에서 평가하여 한국어의 문법적 특징을 사전 학습된 언어 모델이 잘 이해하고 있는지를 정량적으로 확인했다.
효율적인 자동 주석을 위한 단어 임베딩 인공 신경 정리 증명계 구축
본 연구는 전문기관에서 생산되는 검증된 문서의 정보를 웹상의 수많은 검증되지 않은 문서에 자동 주석하여 신뢰도를 향상하고 심화 정보를 추가하는 시스템을 제안한다. 제안하는 시스템은 국가암정보센터의 검증된 문서들에서 추출한 19,304개 명제를 위키피디아 암 관련 문서에서 추출한 1,486개 명제에 주석하는 과제를 수행하기 위해, 기존 인공 신경 정리 증명계의 순환 모듈을 단어 임베딩 모듈로 교체하였다. 이를 통해 기존의 근본적인 문제점이었던 학습 시간 문제를 해결하였고, 동일한 환경에서 기존 시스템의 학습 시간이 233.9일로 추정된 것에 비해 재구축한 시스템은 102.1분 내로 학습이 완료되었다. 제안하는 시스템의 장점은 명제를 텐서로 인코딩하여 미분 가능하게 전체적인 연산을 진행하는 인공 신경 정리 증명계가 단어의 정확한 일치를 파악하는 전통적인 정리 증명계를 포함하며 동시에 유사어 관계로부터의 논리 전개 역시 가능하게 한다는 점을 실제 문서 데이터에서 입증했다는 것이다.
말뭉치 자원 희소성에 따른 통계적 수지 신호 번역 문제의 해결
통계적 기계 번역을 이용한 구어-수화 번역 연구가 활발해짐에도 불구하고 수화 말뭉치의 자원 희소성 문제는 해결되지 않고 있다. 본 연구는 수화 번역의 첫 번째 단계로써 통계적 기계 번역을 이용한 구어-수지 신호 번역에서 말뭉치 자원 희소성으로부터 기인하는 문제점들을 해결할 수 있는 세 가지 전처리 방법을 제안한다. 본 연구에서 제안하는 방법은 1) 구어 문장의 패러프레이징을 통한 말뭉치 확장방법, 2) 구어 단어의 표제어화를 통한 개별 어휘 출현 빈도 증가 및 구어 표현의 번역 가능성을 향상시키는 방법, 그리고 3) 수지 표현으로 전사되지 않는 구어의 기능어 제거를 통한 구어-수지 표현 간 문장 성분을 일치시키는 방법이다. 서로 다른 특징을 지닌 영어-미국 수화 병렬 말뭉치들을 이용한 실험에서 각 방법론들이 단독으로 쓰일 때와 조합되어 함께 사용되었을 때 모두 말뭉치의 종류와 관계없이 번역 성능을 개선시킬 수 있다는 것을 확인할 수 있었다.
