디지털 라이브러리[ 검색결과 ]
지식 추적 모델의 성능 개선을 위한 양자화된 정답률 임베딩 방법
http://doi.org/10.5626/JOK.2023.50.4.329
지식 추적이란 학습자의 문제풀이 기록을 바탕으로 학습 성취도를 추적하는 문제로, 일련의 문제풀이 기록과 목표 문제가 주어질 때 정답 여부를 예측하는 것을 목표로 한다. 본 연구에서는 문제별 난이도를 고려하지 않은 기존 딥러닝 기반 지식 추적 모델이 쉬운 난도의 문제를 틀리거나 어려운 난도의 문제를 맞히는 학습자를 잘 학습하지 못하는 문제를 해결하고자 한다. 이에 각 문제의 정답률을 바탕으로 학습자의 답변 정보를 양자화는 방식을 제안함으로써 문제의 난이도와 학습자의 답변을 함께 학습하도록 유도하여 성능을 개선한다. 결과적으로 본 연구에서는 정답률이 높은 음성 샘플과 정답률이 낮은 양성 샘플에 대하여 모델이 효과적으로 분별할 수 있는 방법을 제안한다. 이를 위해 잠재 공간상에서의 해당 샘플
들에 대한 임베딩 표현의 차이를 최대화할 수 있는 sinusoidal positional encoding 방법을 도입한다. 실험 결과, 제안 방법을 적용하였을 때 기존 방법 대비 AUC 값이 목표 구간에서 최대 17.89%까지 향상되는 것을 확인하였다.
역제곱 비균일 양자화 기법을 활용한 심층신경망의 에너지 효율성 개선
http://doi.org/10.5626/JOK.2020.47.1.27
심층신경망(DNN)의 연산 복잡성은 과도한 연산량과 에너지 소비를 초래하기 때문에 제한적인 자원을 가진 임베디드 디바이스로의 DNN 적용을 어렵게 만드는 주요한 요인이다. 이를 완화하기 위해 본 논문에서는 DNN의 가중치 정밀도를 감소시키면서 기존 양자화 기법에 비해 더 많은 희소성을 부여하여 연산량과 에너지 소비를 감소시킬 수 있는 역제곱 비균일 양자화 기법을 제안한다. 서로 다른 맵핑 정책을 가진 다양한 균일/비균일 양자화 기법을 AlexNet과 VGGNet 모델에서 구현하여 CIFAR-10과 ImageNet 데이터셋을 활용한 이미지 분류 작업을 통해 제안된 역제곱 양자화 기법의 정확도와 에너지 효율성을 입증하고, 이를 더욱 향상시킬 수 있는 추가적인 학습 기법도 제시한다. 실험 결과, 제안된 역제곱 비균일기법으로 양자화된 AlexNet과 VGGNet 모델의 비트폭이 2인 경우에 완전 정밀도 기법에 비해 정확도는 각각 2.2%와 2.5%의 손실이 있지만, 에너지 효율성 측면에서는 완전 정밀도 대비 각각 63.2%와 66.5% 정도로 에너지 소비를 감소시켰다.
