비전 트랜스포머에서 효과적인 토큰 프루닝을 위한 토큰 선별 방법 


51권  6호, pp. 567-573, 6월  2024
10.5626/JOK.2024.51.6.567


PDF

  요약

셀프 어텐션에 기반한 비전 트랜스포머 모델은 최근 컴퓨터 비전 분야에서 활발히 사용되고 있다. 해당 모델은 여러 태스크에서 우수한 성능을 보여주는 반면, 추론 시 토큰 수에 비례하여 연산량이 증가한다는 특징이 있어 많은 수의 토큰은 추론 속도의 저하를 야기한다. 특히 이러한 점은 모델을 실제 상황에 적용 및 배포 시에 많은 제약이 발생할 수 있다. 따라서 본 논문에서는 비전 트랜스포머에서 멀티 헤드 셀프 어텐션의 연산 구조를 수정함으로써 얻을 수 있는 새로운 토큰 중요도 평가 방법을 제안한다. 해당 방법을 통해 중요한 토큰만을 선별하여 추론함으로써 성능은 유지하되 추론 속도를 향상하였다. 또한 제안된 방법은 추가적인 파라미터를 필요로 하지 않기 때문에 미세 조정이 없을 때 더욱 강인하며 기존의 토큰 프루닝 방법들과 결합할 경우 성능을 극대화할 수 있음을 입증하였다.


  통계
2022년 11월부터 누적 집계
동일한 세션일 때 여러 번 접속해도 한 번만 카운트됩니다. 그래프 위에 마우스를 올리면 자세한 수치를 확인하실 수 있습니다.
  논문 참조

[IEEE Style]

J. Lee and D. Choi, "A Token Selection Method for Effective Token Pruning in Vision Transformers," Journal of KIISE, JOK, vol. 51, no. 6, pp. 567-573, 2024. DOI: 10.5626/JOK.2024.51.6.567.


[ACM Style]

Jaeyeon Lee and Dong-Wan Choi. 2024. A Token Selection Method for Effective Token Pruning in Vision Transformers. Journal of KIISE, JOK, 51, 6, (2024), 567-573. DOI: 10.5626/JOK.2024.51.6.567.


[KCI Style]

이재연, 최동완, "비전 트랜스포머에서 효과적인 토큰 프루닝을 위한 토큰 선별 방법," 한국정보과학회 논문지, 제51권, 제6호, 567~573쪽, 2024. DOI: 10.5626/JOK.2024.51.6.567.


[Endnote/Zotero/Mendeley (RIS)]  Download


[BibTeX]  Download



Search




Journal of KIISE

  • ISSN : 2383-630X(Print)
  • ISSN : 2383-6296(Electronic)
  • KCI Accredited Journal

사무국

  • Tel. +82-2-588-9240
  • Fax. +82-2-521-1352
  • E-mail. chwoo@kiise.or.kr