Tensor-Train Decomposition을 적용한 임베딩 레이어를 위한 연산 최적화 기법 


50권  9호, pp. 729-736, 9월  2023
10.5626/JOK.2023.50.9.729


PDF

  요약

개인 맞춤형 추천 시스템은 일상에 녹아 들어있다. 하지만 딥 러닝 기반 추천 시스템 모델에서 임베딩 레이어는 과거 유저가 상호 작용하는 아이템 수가 늘어남에 따라, 임베딩 테이블의 메모리 사용량이 늘어 산업용 AI 데이터 센터의 리소스 대부분을 차지하고 있다. 이 문제를 극복하기 위한 해결책 중 하나는 심층 신경망에서 유망한 압축 기법인 Tensor-Train (TT) 분해이다. 본 연구에서는 TT-분해 기법이 적용된 임베딩 레이어의 연산인 Tensor-Train Gather and Reduce (TT-GnR)에서 발생하는 불필요한 연산에 관해 분석하고 이를 해결하기 위해 아이템 벡터들을 하나로 묶는 연산 단위인 그룹을 정의하고 그룹 단위로 연산하여 불필요한 연산을 줄이는 Group Reduced TT-Gather and Reduce (GRT-GnR) 연산을 제안한다. 실험을 통해 기존 TT-GnR 연산에 비해 latency가 41% 감소한다.


  통계
2022년 11월부터 누적 집계
동일한 세션일 때 여러 번 접속해도 한 번만 카운트됩니다. 그래프 위에 마우스를 올리면 자세한 수치를 확인하실 수 있습니다.
  논문 참조

[IEEE Style]

S. Yu, H. Lee, D. Shin, "Optimizing Computation of Tensor-Train Decomposed Embedding Layer," Journal of KIISE, JOK, vol. 50, no. 9, pp. 729-736, 2023. DOI: 10.5626/JOK.2023.50.9.729.


[ACM Style]

Seungmin Yu, Hayun Lee, and Dongkun Shin. 2023. Optimizing Computation of Tensor-Train Decomposed Embedding Layer. Journal of KIISE, JOK, 50, 9, (2023), 729-736. DOI: 10.5626/JOK.2023.50.9.729.


[KCI Style]

유승민, 이하윤, 신동군, "Tensor-Train Decomposition을 적용한 임베딩 레이어를 위한 연산 최적화 기법," 한국정보과학회 논문지, 제50권, 제9호, 729~736쪽, 2023. DOI: 10.5626/JOK.2023.50.9.729.


[Endnote/Zotero/Mendeley (RIS)]  Download


[BibTeX]  Download



Search




Journal of KIISE

  • ISSN : 2383-630X(Print)
  • ISSN : 2383-6296(Electronic)
  • KCI Accredited Journal

사무국

  • Tel. +82-2-588-9240
  • Fax. +82-2-521-1352
  • E-mail. chwoo@kiise.or.kr