디지털 라이브러리[ 검색결과 ]
LLMEE: 시각적 Token Attribution을 통한 대규모 언어 모델의 설명 가능성 및 평가 강화
http://doi.org/10.5626/JOK.2024.51.12.1104
대규모 언어 모델(LLM)은 자연어 처리(NLP)와 생성형 AI 분야에서 중요한 발전을 이루었지만 복잡한 구조로 인해 해석과 신뢰성 확보에 어려움이 있다. 이를 해결하기 위해 본 연구에서는 LLM의 예측 과정을 시각적으로 설명하고 평가하는 도구인 LLMEE를 제안한다. LLMEE는 입력된 각 토큰이 출력에 미치는 영향을 시각적으로 표현하여 모델의 투명성을 높이며 Summarization, Question Answering, Text Generation과 같은 다양한 NLP 작업에 적용 가능하다. 또한 ROUGE, BLEU, BLEURTScore와 같은 평가 지표를 통합한 결과를 제공하여 LLM의 출력 품질을 정량적·정성적으로 평가할 수 있도록 설계하였다. LLMEE는 LLM의 복잡한 작동 원리를 이해할 수 있게 하고 품질에 대한 추가적인 평가를 제공하므로 신뢰성 있는 LLM 평가 및 개선에 기여할 수 있을 것으로 기대된다.
해석가능한 머신러닝을 위한 시각적 분석 시스템 제안
http://doi.org/10.5626/JOK.2023.50.1.57
해석가능한 머신러닝은 머신러닝 시스템의 행동과 예측을 사람이 이해할 수 있도록 돕는 기술을 말한다. 본 연구는 사용자가 쉽고 명확하게 머신러닝 모델을 해석할 수 있도록 지원하기 위하여 머신러닝 모델이 입력 데이터로부터 출력 결과를 어떻게 연결 짓는지에 대한 관계성을 해석하는 시각적 분석 시스템을 제안한다. 본 연구가 제안한 시각적 분석 시스템은 머신러닝 수행 결과를 입력 변수, 목표 변수, 예측 값에 따라 필터링하고 그룹 지어 해석할 수 있는 반복적인 조정 절차를 통해 효과적으로 머신러닝 모델을 해석할 수 있는 접근 방식을 취한다. 유스 케이스 분석과 사용자 심층 인터뷰를 통해 본 연구에서 제시한 시각적 분석 시스템이 머신러닝 모델의 복잡한 동작에 대한 통찰을 얻고, 입력 변수와 목표 변수 및 모델 예측에 대한 과학적 이해를 확보하고, 모델의 안정성과 신뢰성을 파악하는데 도움을 제공함을 확인했다.
범죄 수사를 위한 상호작용이 가능한 다중 뷰 시각적 분석 시스템
정석원, 신동화, 복진욱, 박석현, 전현, 서진욱, 이인수, 박수영
http://doi.org/10.5626/JOK.2023.50.1.47
수사해야 하는 데이터는 날이 갈수록 많아지며 복잡해지고 있지만, 아직 수사 환경이나 방법은 그 변화를 따라가지 못하고 있다. 본 연구에서는 수사관들의 수사 환경과 수사를 위해 사용하는 소프트웨어에 대해 분석하고, 수사 과정에서의 센스메이킹 측면에 주목하여 기존의 센스메이킹을 위한 시각화 분석기법을 수사에 적용함으로써 수사를 효율화할 수 있는 방법을 모색하였다. 분석 결과에 기반하여 과업과 디자인 요구사항을 도출하고, 이를 만족시키는 수사를 위한 다중 뷰 시각적 분석 시스템을 디자인하였다. 최종적으로, 제작한 프로토타입의 사례연구를 통하여 시각화 시스템의 활용 방법을 모색하였다.
교통 혼잡 원인과 영향을 분석하기 위한 시각적 분석 기술
http://doi.org/10.5626/JOK.2020.47.2.195
본 논문에서는 교통 흐름 이론을 기반으로 교통 혼잡의 원인을 분석하는 기술을 제시한다. 우리는 GPS 궤적 및 차량 감지기 데이터(VD)와 같은 교통 데이터에서 차량의 흐름을 추출한다. 또한 우리는 교통 데이터에 정보이론의 엔트로피를 사용하여 차량의 흐름 변화를 식별한다. 그런 다음 혼잡 지역의 차량 흐름을 정량화할 수 있는 누적 차량 수 커브(N-curve)를 추출한다. 교통 흐름 이론에 따르면 혼잡유형에 따라 고유한 N-curve 패턴을 관찰할 수 있다. 우리는 N-curve를 네 가지의 혼잡 패턴으로 분류할 수 있는 합성곱 신경망을 설계한다. 교통 혼잡의 원인과 영향을 분석하는 것은 어렵고 상당한 경험과 지식이 필요하다. 따라서 논문에서는 교통 혼잡의 원인과 영향을 분석하기 위한 일련의 프로세스를 효율적으로 수행할 수 있는 시각적 분석 시스템을 제시한다. 논문에서는 두 가지의 사례 연구를 통해 교통 혼잡의 원인을 분석할 수 있는 시스템을 평가한다.
산점도 진단분석과 분할 변수 선택 기법을 활용한 점진적인 시각적 분석
http://doi.org/10.5626/JOK.2018.45.8.801
본 논문에서는 산점도 진단분석의 일종인 분할 변수 선택 기법에 점진적 시각화를 접목한 시각적 분석 시스템을 제시한다. 기존 분할 변수 선택 기법의 한계인 확장성 및 성능의 문제를 극복하기 위해 인터페이스 요소들은 모두 분석 진행 상황을 실시간으로 갱신하도록 설계하였다. 인터페이스의 구성은 크게 두 부분으로 분석의 대상이 되는 산점도들을 하나의 점으로 표현한 개요 시각화(overview)와 흥미로운 산점도들을 더욱 자세히 살펴볼 수 있는 세부 시각화(detailed view)로 나누어 설계하였다. 이러한 설계의 목적과 이유를 소개하는 한편, 사용자가 어떻게 효과적으로 이 시스템을 사용할 수 있는지에 대한 데이터 분석 시나리오를 제시한다.
Seasonal-Trend Decomposition과 시계열 상관관계 분석을 통한 비정상 이벤트 탐지 시각적 분석 시스템
본 논문에서는 시공간 정보를 포함하는 트윗 스트림에서 비정상적인 이벤트에 대한 상관관계를 사용자에게 시각적으로 분석하는 방법을 다양한 실험을 통하여 제안한다. 제안하는 방법으로는 트윗에서 토픽 모델링을 수행한 다음 계절요인과 추세요인을 반영한 시계열 분석 기법을 이용하여 비정상적인 이벤트 후보군을 추출한다. 추출된 토픽이 포함되어 있는 데이터를 대상으로 다시 한 번 토픽을 추출하여 시계열 분석을 수행한 다음 앞서 추출한 토픽과의 상관관계를 분석하여 비정상적인 이벤트를 탐지할 수 있도록 하였다. 비정상 이벤트를 탐지하는 모든 과정에 시각적 분석 방법을 이용하여 단순한 수치 정보가 아닌 시각적 패턴 형태로 나타냄으로써 사용자는 직관적으로 비정상 이벤트의 동향과 주기적인 패턴을 분석할 수 있도록 하였다. 실험은 2014년 1월 1일부터 2014년 6월 30일까지 국내에서 발생한 트윗을 대상으로 2개의 사건[경주 마우나 리조트 붕괴 사건(2014.02.17.), 진도 여객선 침몰 사건(2014.04.16.)]에 대해 시각적 분석 시스템을 적용하여 사용자는 쉽게 데이터를 분석하고 이해할 수 있음을 보였다.
