디지털 라이브러리[ 검색결과 ]
LLMEE: 시각적 Token Attribution을 통한 대규모 언어 모델의 설명 가능성 및 평가 강화
http://doi.org/10.5626/JOK.2024.51.12.1104
대규모 언어 모델(LLM)은 자연어 처리(NLP)와 생성형 AI 분야에서 중요한 발전을 이루었지만 복잡한 구조로 인해 해석과 신뢰성 확보에 어려움이 있다. 이를 해결하기 위해 본 연구에서는 LLM의 예측 과정을 시각적으로 설명하고 평가하는 도구인 LLMEE를 제안한다. LLMEE는 입력된 각 토큰이 출력에 미치는 영향을 시각적으로 표현하여 모델의 투명성을 높이며 Summarization, Question Answering, Text Generation과 같은 다양한 NLP 작업에 적용 가능하다. 또한 ROUGE, BLEU, BLEURTScore와 같은 평가 지표를 통합한 결과를 제공하여 LLM의 출력 품질을 정량적·정성적으로 평가할 수 있도록 설계하였다. LLMEE는 LLM의 복잡한 작동 원리를 이해할 수 있게 하고 품질에 대한 추가적인 평가를 제공하므로 신뢰성 있는 LLM 평가 및 개선에 기여할 수 있을 것으로 기대된다.
설명 가능한 인공지능을 사용한 학습 데이터 전처리 방법
http://doi.org/10.5626/JOK.2023.50.2.133
인공지능 모델 생성은 학습 데이터 가공, 모델 학습, 모델 평가의 단계로 진행된다. 양질의 학습 데이터를 만드는 데이터 전처리 기법은 모델 정확도를 향상시키기 위한 방법 중 많은 기여를 한다. 기존의 전처리 기법은 모델 생성자의 경험에 많이 의존하는 경향이 있다. 경험을 기반으로 전처리를 수행하면 해당 전처리 기법을 선택한 근거를 설명하기 힘들다. 하지만 설계자가 경험에 의존할 수밖에 없는 이유는 학습 모델이 거대해지고 인간이 해석하기 힘든 수준으로 복잡해지기 때문이다. 따라서, 설명 가능한 인공지능을 도입하여 모델의 동작 방식을 설명하는 연구가 진행되고 있다. 본 논문에서는 설명 가능한 인공지능을 사용한 학습 데이터 전처리 시스템을 제안한다. 시스템 동작 과정은 전처리가 수행되지 않은 데이터로 학습시키며, 학습된 모델을 설명 가능한 인공지능 기법을 사용하여 동작 방식을 분석하여 그 정보를 기반으로 데이터 전처리 수행을 반복한다. 최종적으로 모델 성능을 향상시키고 전처리 신뢰성을 설명하며 시스템의 실용성을 보이겠다.
적대적 예제 생성을 통한 반사실적 예제 생성
http://doi.org/10.5626/JOK.2022.49.12.1132
인공지능 기술은 많은 편의를 가져다주었지만, 인공지능 모델의 복잡한 구조는 그 작동 원리를 이해하기 어렵게 만들었다. 반사실적 설명은 인공지능을 설명하는 방법으로, 인간이 인지할 수 있는 최소한의 변화가 반영되어 분류 결과를 바꾸는 반사실적 예제를 통해 설명한다. 적대적 예제는 인공지능 모델의 분류 결과를 바꿀 목적으로 변형된 데이터이며, 반사실적 예제와 다르게 반영된 변화를 인간이 인지하기 어렵다. 단순한 모델에서는 적대적 예제가 반사실적 예제처럼 생성될 수 있지만, 딥러닝 모델에서는 인간과 인공지능의 인지 차이가 크기 때문에 어렵다. 하지만, 우리는 일부 딥러닝 모델에서 생성된 적대적 예제가 반사실적 예제처럼 생성되는 것을 확인하였다. 본 논문에서, 우리는 적대적 예제가 반사실적 예제처럼 생성되는 딥러닝 모델의 모델 구조와 조건들을 분석한다. 우리는 부분 집중 변화도 메트릭을 제안하고 기존의 메트릭과 함께 활용해 서로 다른 모델에서 생성되는 적대적 예제를 비교해본다.
LEXAI : 설명 가능한 인공지능을 이용한 법률 문서 유사도 분석 서비스
http://doi.org/10.5626/JOK.2020.47.11.1061
최근 딥러닝 학습의 성능이 향상됨에 따라, 전문적인 분야에서 이 방법을 사용하려는 연구가 다양해지고 있다. 유사한 논리적 의미를 가진 법률 문서의 검색은 법률 분야에서 매우 중요한 부분이지만, 관련 분야의 전문적인 지식을 요구하기 때문에 전문가 시스템을 사용한 서비스에서 벗어나기 어려운 실정이다. 또한, 전문가 시스템을 구성하는 데는 전문 인력의 비용이 과다하게 발생하므로 자동화된 유사 법률 문서 검색환경을 구축하기에 어려운 점이 있다. 기존의 유사 문서 검색 서비스가 전문가 시스템과 통계적 시스템에 기반하는 환경을 제공하는데 비하여, 제안하는 방법은 분류 작업을 위한 뉴럴 네트워크를 학습하고 이를 사용하는 방법을 채택하였다. 우리는 설명 가능한 뉴럴 네트워크를 이용하여 의미적 유사도가 높은 법률 문서간의 검색을 제공하는 데이터베이스 시스템 구조를 제안하였다. 이러한 제안 기법의 특징은 유사 문서들 간의 의미적 관련성에 대한 시각적 유사도 평가 방법을 마련하고 이를 검증하는 성과를 보여준다.
