디지털 라이브러리[ 검색결과 ]
멀티모달 그래프-SMILES 표현을 통한 거대 언어 모델에서의 분자 이해 향상
http://doi.org/10.5626/JOK.2025.52.5.379
최근 거대 언어 모델의 발전은 다양한 과업에서 뛰어난 성과를 보이며, 특히 멀티모달로 확장하는 연구도 활발히 진행되고 있다. 특히 BLIP-2는 Q-Former를 통해 이미지와 문자를 효율적으로 정렬하여 성능을 높였으며, 멀티모달 데이터로 사전 학습되어 고정된 이미지 인코더가 이를 지원한다. 이러한 발전에 영감을 받아 MolCA 모델은 분자 분야에 BLIP-2를 확장하여 성능을 높였지만, 그래프 인코더는 단일모달 데이터로 사전 학습되어 모델 학습 중 갱신이 필요한 한계가 있다. 따라서 본 논문에서는 이를 멀티모달 데이터로 사전 학습된 그래프 인코더로 대체하고 고정하는 방안을 제시한다. 실험 결과, 멀티모달 데이터로 사전 학습된 그래프 인코더를 사용할 때 성능이 대체로 향상되었으며, 단일모달 데이터로 사전 학습된 그래프 인코더는 갱신할 때 성능이 높은 것에 비해 멀티모달 데이터로 사전 학습된 그래프 인코더는 갱신하지 않을 때 모든 지표에서 성능이 더 좋은 것을 확인할 수 있었다.
LLM 기반의 제로샷 문장 수준 단락 정제를 활용한 검색 증강 생성
http://doi.org/10.5626/JOK.2025.52.4.304
본 논문은 강화학습 기반 자율이동체의 학습 효율을 향상시키기 위해 유사도 기반 다중 지식 전이 알고리즘(similarity-based multi-knowledge transfer, SMTRL)을 제안한다. SMTRL은 사전 학습된 모델과 현재 모델의 유사도를 계산하고, 그 유사도에 기반하여 지식 전이의 비율을 동적으로 조절하여 학습 효율을 극대화하는 방법론이다. 복잡한 환경에서 자율이동체가 단독으로 학습할 경우 많은 시간이 소요되므로, 지식 전이는 필수적이다. 하지만 사전 학습 모델과 실제 환경 간 차이가 클 경우, 학습 성능이 저하되는 부정 전이 현상이 나타날 수 있다. SMTRL은 이러한 부정 전이를 최소화하기 위해 유사도가 높은 사전 학습 모델의 지식을 반영 비율을 동적으로 조정함으로써 안정적으로 학습 속도를 가속화한다. 실험 결과, 제안된 알고리즘은 기존의 단일 지식 전이 및 전통적 강화학습 방법과 비교하여 수렴 속도 및 성능에서 우수한 결과를 나타냈다. 본 연구는 자율이동체의 효율적인 학습을 위한 새로운 지식 전이 방법을 제시하며, 복잡한 이동체 환경으로의 적용 가능성과 향후 연구 방향에 관해 논의한다.
문법 기반 테스트 케이스 생성을 위한 Chain-of-Thought 와 Chain-of-Verification Prompting
http://doi.org/10.5626/JOK.2025.52.1.29
소프트웨어 테스팅은 소프트웨어 개발 과정에서 중대하며 비용이 많이 드는 작업으로 자리 잡고 있다. 특히, 자동 테스트 케이스 생성 도구는 수동 생성에 비해 올바른 해결책과 잘못된 해결책을 효과적으로 구분할 수 있는 방법을 제공한다. 최근, 많은 연구자들이 문제 또는 프로그램의 논리적 사양을 기반으로 테스트 케이스를 자동으로 생성할 수 있는 딥러닝 기반 방법을 제시하였다. 본 연구에서 우리는 Chain-of-Thought (CoT) 프롬프팅을 활용하여, 문제 사양에서 '테스트 케이스 문법'을 생성할 수 있도록 ChatGPT와 Google Gemini와 같은 대규모 언어 모델(LLMs)을 학습하는 것을 제안한다. 우리는 'Chain-of-Verification' (CoVe)이라 명명된 일반화된 규칙의 세부 정보를 LLMs에 검증하고 제공하기 위해 CoT를 활용하여 구현한다. 우리는 공개적으로 사용 가능한 데이터셋인 DeepMind CodeContests 데이터셋을 사용하여 우리의 방법론을 평가하였는데, 이 데이터셋은 프로그래밍 학습자들에 의해 제출된 초급부터 고급 수준까지 다양한 프로그래밍 문제와 해당 문제들의 정확성을 검증하기 위한 테스트 케이스로 구성되어 있다.
구름(KULLM): 한국어 지시어에 특화된 거대 언어 모델
http://doi.org/10.5626/JOK.2024.51.9.817
Large Language Models (LLM)의 출현은 자연어 처리 분야의 연구 패러다임을 전환시켰다. LLM의 핵심적인 성능 향상은 지시어 튜닝(instruction-tuning)기법의 결과로 알려져 있다. 그러나, 현재 대부분의 연구가 영어 중심으로 진행되고 있어, 다양한 언어에 대한 접근이 필요하다. 본 연구는 한국어 지시어(instruction-following)모델의 개발 및 평가 방법을 제시한다. 본 연구에서는 한국어 지시어 데이터 셋을 활용하여 LLM 모델을 튜닝하며, 다양한 데이터셋 조합의 효과에 대한 성능 분석을 수행한다. 최종 결과로 개발된 한국어 지시어 모델을 오픈소스로 제공하여 한국어 LLM 연구의 발전에 기여하고자 한다.
대규모 언어 모델의 소수 검증 능력 심층 평가: ChatGPT와 PaLM 2를 중심으로
http://doi.org/10.5626/JOK.2024.51.8.699
이연구는 ChatGPT와 PaLM2, 두 대규모 언어모델의 소수 검증 능력을 심층적으로 조사한다. 하나의 수에 대해 소수인지 합성수인지 반대 형태의 예/아니오 질문 두 개를 묻는다. 두 질문에 대해 모두 정답을 생성한 경우에만 언어 모델이 해당 수에 대해 성공적으로 검증을 수행한 것으로 간주한다. 또 한, 생성 프롬프트 내 나눗셈 연산에 오류가 발생하는지를 고려한다. 소수 664 개 및 합성수 1458 개 데이 터셋에 대한 추론 결과로부터, 대상 숫자의 난도가 증가함에 따라 검증 정확도가 감소함을 발견하였다. 연 산 오류를 반영한 후 검증 정확도는 두 모델에서 모두 감소하였으며, PaLM 2는 난도가 높은 네 자리 합 성수에 대한 검증을 모두 실패하였다. 이 결과는 단순한 질문에 기반한 언어 모델의 추론 능력 평가는 오 해의 소지가 있으며, 심층 평가가 필요함을 시사한다.
