디지털 라이브러리[ 검색결과 ]
대규모 언어 모델의 소수 검증 능력 심층 평가: ChatGPT와 PaLM 2를 중심으로
http://doi.org/10.5626/JOK.2024.51.8.699
이연구는 ChatGPT와 PaLM2, 두 대규모 언어모델의 소수 검증 능력을 심층적으로 조사한다. 하나의 수에 대해 소수인지 합성수인지 반대 형태의 예/아니오 질문 두 개를 묻는다. 두 질문에 대해 모두 정답을 생성한 경우에만 언어 모델이 해당 수에 대해 성공적으로 검증을 수행한 것으로 간주한다. 또 한, 생성 프롬프트 내 나눗셈 연산에 오류가 발생하는지를 고려한다. 소수 664 개 및 합성수 1458 개 데이 터셋에 대한 추론 결과로부터, 대상 숫자의 난도가 증가함에 따라 검증 정확도가 감소함을 발견하였다. 연 산 오류를 반영한 후 검증 정확도는 두 모델에서 모두 감소하였으며, PaLM 2는 난도가 높은 네 자리 합 성수에 대한 검증을 모두 실패하였다. 이 결과는 단순한 질문에 기반한 언어 모델의 추론 능력 평가는 오 해의 소지가 있으며, 심층 평가가 필요함을 시사한다.
한국어 음성 분리 실험을 위한 소음 환경 발화 중첩 데이터셋 개발
http://doi.org/10.5626/JOK.2024.51.6.513
음성 분리 기술은 화자의 발화와 소음이 중첩되어있는 음성 데이터셋을 활용하여 모델을 훈련 한다. 해외의 경우 중첩음 형식으로 제작된 데이터셋이 구축되어 음성 분리 기술 성능 발전을 도모하고 있 다. 하지만 국내의 경우, 한국어 발화 및 소음 중첩 데이터셋이 구축된 전례가 없으며 이는 한국어 음성 분리 기술 발전에 한계점으로 작용하고 있다. 따라서 본 논문에서는 한국어 대상의 단일 채널 음성 분리 모델에 적용할 수 있는 데이터셋 생성기를 개발하고, 이를 활용해 구축한 소음 환경 한국어 발화 중첩 데 이터셋을 제안한다. 실험에서는 구축한 데이터셋을 기반으로 Conv-TasNet 음성 분리 모델 훈련 및 평가 를 진행한다. 또한 사전 훈련된 음성 인식 모델을 활용하여 분리된 음성과 실제 발화 원음 간 음절 오인 식률(Character Error Rate, CER) 비교를 통해 데이터셋의 실효성을 검증한다.
자동화 팩트체킹을 위한 대조학습 방법
http://doi.org/10.5626/JOK.2023.50.8.680
최근 온라인 오정보 확산이 증가하면서 실시간 판단이 가능한 자동화 팩트체킹의 중요성이 강조되고 있다. 이 연구는 한국어 기반의 자동화 팩트체킹을 위한 대조학습 기술을 제안한다. 제안 방법은 주어진 주장의 진위 여부를 판단할 수 있도록 하는 근거 문장과 유사한 문장을 긍정 샘플로 사용한다. 성능 평가 실험을 통해 제안 방법이 사전학습 언어모델 미세조정, SimCSE 등 기존 방법에 비해 주어진 주장의 근거 문장을 찾는 문장 선택 단계에 있어 효과적임을 보였다. 이 연구는 자동화 팩트체킹을 위한 대조학습 기술의 가능성을 보인다.
인기 클립 탐지를 위한 트위치 이모트 임베딩 방법
http://doi.org/10.5626/JOK.2020.47.12.1153
실시간 스트리밍에서 시청자 반응을 효과적으로 이해하기 위해, 이 연구는 트위치(Twitch.tv) 이모트의 의미를 효과적으로 학습하는 임베딩 방법을 제시한다. 제안한 방법은 먼저 텍스트와 이모트 임베딩 행렬을 따로 학습한 뒤 두 임베딩 결과를 하나로 병합한다. 트위치에 공유된 2,220,761건의 클립 영상을 이용해, 이 연구는 두 가지 실험을 수행한다: 군집 및 클립 인기도 예측. 실험 결과는 이 방법이 비슷한 의미의 감정이 포함된 군집을 발견할 수 있을 뿐 아니라, 인기 클립을 잘 분류할 수 있음을 보인다. 미래 연구는 실시간 스트리밍 하이라이트 예측을 위해 제안한 이모트 임베딩 방법을 활용할 수 있을 것이다.
국방 무기 체계 SW 품질 향상을 위해 Concolic 테스팅을 통한 테스트 자동 생성
http://doi.org/10.5626/JOK.2019.46.9.926
국방 무기 체계 SW 품질 향상을 위해 노동집약적 수작업 SW 테스트 관행이 아닌, 테스트 입력을 자동으로 그리고 체계적으로 생성하는 것이 필요하다. 본 연구는 concolic 테스팅을 국방 무기 체계 SW에 적용해 높은 커버리지의 테스트 입력값을 효과적으로 생성하고, 결함을 발견하여 SW의 품질향상에 기여하였다. 프로그램의 복잡성이 크고 전체 실행 경로가 많은 프로그램의 경우, concolic 테스팅의 효율을 높일 수 있는 방법(4개의 탐색 전략, LIA 로직)을 제안하였다. 또한, 실무자들이 concolic 테스팅을 확장 적용할 수 있도록 심볼릭 모델링 방법을 예시로 제안하였다.
온라인 게임 내 최고 레벨 유저의 이탈 분석
대규모 다중 사용자 온라인 롤플레잉 게임 유저들은 시나리오를 따라 주어진 임무들을 수행하며 최고 레벨을 향해 캐릭터를 성장시킨다. 최고 레벨 유저를 보유하는 것이 온라인 게임의 성공적 운영에 중요함에도 불구하고 이들에 대한 연구는 크게 이루어지지 않았다. 이 연구에서는 5만여명 유저들에 의해 기록된 약 6천만 건의 게임 내 로그 데이터 분석을 통해 유저들이 최고 레벨에 도달하는 과정과 그 이후 게임 이탈 현상을 분석하며, 최고 레벨 유저의 이탈에 영향을 미치는 요인을 이해하고자 한다. 분석결과, 최고 레벨 이전의 행동 패턴을 이용해 최고 레벨 유저의 이탈을 예측할 수 있으며, 최고 레벨 이전에 사회적으로 활발하고 많은 사람들과 대화하는 게이머가 덜 떠난다는 것을 발견하였다(p<0.05). 이 연구는 유저간 소통 패턴이 최고 레벨에 도달한 유저들의 지속적인 사용에 주요한 요인임을 확인하며, 엘리트 유저의 지속적인 게임 이용을 유도하는 실무적 시사점을 제공한다.
