디지털 라이브러리[ 검색결과 ]
확장성 있는 분산 딥러닝 학습을 위한 데이터 불균형 최소화 기법
http://doi.org/10.5626/JOK.2023.50.10.836
심층 신경망의 학습은 계산 집약적이고 오랜 시간이 걸리기 때문에, 학습의 가속화를 위해 다수의 GPU가 장착된 GPU 클러스터를 사용하여 학습을 분산시키는 방법이 널리 사용되고 있다. 심층 신경망의 분산 학습은 계산이 가장 느린 straggler 노드에 의해 속도와 확장성이 저하되어 straggler 문제를 해결하기 위한 선행 연구들이 제안되었다. 그러나 기존의 방식은 이미지와 같이 모든 데이터 샘플들이 일정한 크기를 가지고 있다고 가정했기 때문에 영상이나 음성 데이터와 같이 데이터 샘플들의 크기가 서로 다른 불균형 데이터를 사용한 분산 학습의 문제점을 인지하지 못했다. 본 논문에서는 데이터 샘플들 간 크기의 차이로 인해 발생하는 straggler 문제를 발견하고 이를 해결하기 위해 데이터 불균형을 고려한 데이터 불균형 최소화 기법 (Data Imbalance Minimization, DIM) 을 제안한다. 여덟 대의 NVIDIA Tesla T4 GPU가 장착된 클러스터에서 DIM의 성능을 평가한 결과 DIM은 최신 시스템에 비해 최대 1.77배의 학습 속도 향상 및 비슷한 수준의 확장성을 가진다.
서버 응용프로그램 성능 향상을 위한 운영체제 스케줄러 변수 조정
http://doi.org/10.5626/JOK.2020.47.7.643
현대의 Linux 서버는 대규모 서버부터 소규모 IOT 분야까지 다양한 방면에서 활용되고 있고, 대부분의 머신들은 자신의 서비스를 Linux에서 제공하는 기본 설정의 스케줄러를 통해 동작시키고 있다. 특정 목적에 맞도록 최적화는 가능하지만, 일반적인 사용자가 다양해진 현대의 Linux application을 모두 최적화할 수 없는 문제가 존재한다. 이에 본 논문에서는 Linux 서버의 성능을 최대화할 수 있도록 스케줄러 설정을 자동으로 최적화해줄 수 있는 SCHEDTUNE을 제안하고자 한다. SCHEDTUNE 은 서버에서 수행하는 Application이나 기본 Kernel 소스에 별도의 수정 없이 성능을 향상할 수 있도록 해준다. 이를 통해 관리자는 자신들이 운영하는 서버에 특화되어 동작하는 스케줄러를 쉽게 구성할 수 있게 된다. 실험결과 SCHEDTUNE을 적용한 경우 최대 19% 높은 성능을 얻게 되었으며, 대부분의 경우 이에 준하는 성능 향상을 달성하였다.
오픈 채널 SSD에서 성능 간섭 제거를 위한 호스트 수준 I/O 스케줄러
http://doi.org/10.5626/JOK.2020.47.2.119
최근 솔리드 스테이트 드라이브(SSD)가 하드 디스크 드라이브(HDD)에 비해 높은 I/O 성능 및 낮은 에너지 소비를 제공함에 따라 여러 사용자가 자원을 공유하는 데이터센터 및 클라우드 컴퓨팅 환경에서 SSD의 사용이 확장되고 있다. 이러한 전환에 따라, 각 사용자에 서비스 품질(Quality of Service)을 보장하는 방법에 대한 연구가 활발히 이뤄지고 있다. 이전에 제안된 Workload-Aware Budget Compensation (WA-BC) 스케줄러는 NVMe SSD를 여러 가상머신이 공유하는 환경에서 각 가상머신의 QoS를 보장한다. 하지만 WA-BC 스케줄러는 가상머신별 워크로드 특징을 알아내기 위해 멀티 스트림 SSD를 부적절하게 사용한다는 점에서 취약하다. 우리는 이와 같은 취약점을 보완하여 오픈 채널 SSD를 여러 사용자가 공유하는 환경에서 사용자 간 성능 간섭을 제거하는 호스트 수준의 I/O 스케줄러를 제안한다. 제안된 스케줄러는 SSD 스트림을 사용자별로 할당하지 않고도 워크로드 특징을 I/O 요청의 연속성을 통해 파악한다. 이는 제안된 스케줄러가 호스트 수준의 스케줄러이나 오픈 채널 SSD의 특성을 활용하여 디바이스 내부의 정보를 스케줄링에 반영할 수 있기에 가능하다. 워크로드의 특성을 통해 SSD 내 I/O 간섭을 발생시키는 가비지 컬렉션에 대한 기여도를 파악하고, 기여도가 높은 사용자에 대해 처벌함으로써 우리는 스토리지 자원을 공유하는 여러 사용자 간에 발생하는 성능 간섭을 제거할 수 있음을 본 연구에서 보인다.
