디지털 라이브러리[ 검색결과 ]
멀티모달 그래프-SMILES 표현을 통한 거대 언어 모델에서의 분자 이해 향상
http://doi.org/10.5626/JOK.2025.52.5.379
최근 거대 언어 모델의 발전은 다양한 과업에서 뛰어난 성과를 보이며, 특히 멀티모달로 확장하는 연구도 활발히 진행되고 있다. 특히 BLIP-2는 Q-Former를 통해 이미지와 문자를 효율적으로 정렬하여 성능을 높였으며, 멀티모달 데이터로 사전 학습되어 고정된 이미지 인코더가 이를 지원한다. 이러한 발전에 영감을 받아 MolCA 모델은 분자 분야에 BLIP-2를 확장하여 성능을 높였지만, 그래프 인코더는 단일모달 데이터로 사전 학습되어 모델 학습 중 갱신이 필요한 한계가 있다. 따라서 본 논문에서는 이를 멀티모달 데이터로 사전 학습된 그래프 인코더로 대체하고 고정하는 방안을 제시한다. 실험 결과, 멀티모달 데이터로 사전 학습된 그래프 인코더를 사용할 때 성능이 대체로 향상되었으며, 단일모달 데이터로 사전 학습된 그래프 인코더는 갱신할 때 성능이 높은 것에 비해 멀티모달 데이터로 사전 학습된 그래프 인코더는 갱신하지 않을 때 모든 지표에서 성능이 더 좋은 것을 확인할 수 있었다.
한국어 소형 거대 언어 모델의 차트 이미지 설명 텍스트 생성 가능성에 관한 실험적 연구
http://doi.org/10.5626/JOK.2025.52.2.132
본 연구는 차트 이미지에서의 정보를 자동으로 생성하고 해석하는 데 있어 소형 거대 언어 모델(소형 거대 언어 모델)의 활용 가능성을 탐구하였다. 이를 위하여 차트 이미지로부터 텍스트 데이터를 생성하고 이에 대한 설명 데이터를 추가하여, 소형 거대 언어 모델 학습을 위한 인스트럭션 데이터셋을 구축하였다. 공개된 한국어 소형 거대 언어 모델을 대상으로 인스트럭션 튜닝을 진행하였으며, 해당 소형 거대 언어 모델에 대한 차트 이미지로 부터의 정보 추출 가능성을 실험하였다. 실험 결과, 구축된 인스트럭션 데이터셋을 통해 미세 조정된 소형 거대 언어 모델은 OpenAI의 gpt-4o-mini API와 유사한 수준에서의 설명 텍스트 생성이 가능한 것으로 나타났다. 본 연구를 통해 향후 한국어 소형 거대 언어 모델이 더욱 다양한 범위의 시각적 데이터를 대상으로 설명 텍스트 및 정보 제공에 사용될 수 있을 것으로 기대한다.
거대 언어 모델의 정치적 편향과 하위 작업에서의 영향
http://doi.org/10.5626/JOK.2025.52.1.18
거대 언어 모델 (Large Language Model; LLM)의 성능이 비약적으로 향상되며 인간과의 직접 상호 작용이 가능해짐에 따라 윤리 검증의 필요성이 대두된다. 본 연구에서는 LLM의 정치 성향이 얼마나 다양한 스펙트럼으로 변할 수 있는지와 생성된 정치 성향이 하위 작업에 끼치는 영향을 알아본다. 먼저 LLM의 내재된 정치 성향을 대조군으로, Jailbreak, 정치 페르소나, Jailbreak 페르소나를 실험군으로 선정하였다. 실험 결과, Jailbreak에서 가장 큰 변화를 보였으나, 대조군과 평균적으로 유사하여 LLM에 내재된 정치 성향에서 벗어나지 못하였다. 또한, 두 번째 실험을 통해 변화된 정치성이 하위 작업에 미치는 영향을 확인하였다. 이는 모델이 실제 사용될 때 개인화된 응답보다는 모델의 내재된 정치 성향에 벗어나지 못하는 응답을 생성하는 경향을 보이며, 이러한 특성은 모델의 정치성과 판단이 사용자에게 여과없이 노출될 수 있음을 시사한다.
지식 그래프의 링크 예측을 위한 거대 언어 모델 기반 관계 설명문 생성 방법
http://doi.org/10.5626/JOK.2024.51.10.908
지식 그래프는 개체들과 개체 사이의 관계들로 이루어진 네트워크로 수많은 자연어처리 문제 해결에 활용되고 있다. 불완전한 지식 그래프를 완성하기 위해 링크 예측과 관계 예측을 통한 그래프 완성 연구가 이루어지고 있다. 최근에는 개체와 관계에 대한 자연어 정보를 바탕으로 듀얼 인코더 구조를 활용 하는 모델이 등장하여 많은 관심을 받았다. 하지만, 링크 예측 데이터셋에는 관계에 대한 자연어 설명문은 존재하지 않기 때문에 개체에 대한 자연어 설명문에 지나치게 의존적이라는 문제점이 존재한다. 본 논문에 서는 이러한 문제 상황을 해결하기 위해서 거대 언어 모델인 GPT-3.5-turbo를 활용하여 관계에 대한 자 연어 설명문을 생성하여 기존의 모델이 관계에 대한 정보를 풍부하게 학습할 수 있도록 하였다. 또한 제안 방법을 통해 생성한 관계 설명문을 다른 언어 모델 기반 링크 예측 모델에 적용했을 때 성능 향상이 기대 된다. 링크 예측을 통한 성능 평가 결과, 제안 방법은 베이스라인 모델과 비교했을 때 한국어 ConceptNet, WN18RR, FB15k-237, YAGO3-10 데이터셋에 대해 MRR에서 각각 0.34%p, 0.11%p, 0.12%p, 0.41%p의 성능향상을 보였다.
