디지털 라이브러리[ 검색결과 ]
고성능컴퓨팅 환경을 고려한 빅데이터플랫폼 운영관리시스템 개발
http://doi.org/10.5626/JOK.2020.47.3.240
전통적인 계산과학 분야와 빅데이터 분야의 소프트웨어 기술은 다른 형태로 발전되어 왔으나 빅데이터 기술의 성장과 최근의 인공지능 기술의 발전은 두가지 분야의 경계를 허물어트리고 고성능 컴퓨팅 환경을 일반화시키고 있다. 그러나 두가지 분야의 소프트웨어 스택은 독립적으로 구축되고 발전되어 왔기에 고성능 컴퓨팅 환경에서 이를 통합하여 투명하게 운영하거나 관리하는 것은 쉬운 일은 아니다. 본 논문에서는 이를 극복하기 위해서 고성능 컴퓨팅 환경을 고려한 빅데이터 플랫폼 운영 관리 시스템을 개발하였다. 본 시스템은 오픈소스 기반의 Hadoop 플랫폼 운영관리시스템인 Ambari를 확장하여 구현하였으며 Lustre에 대한 설치 관리 및 Hadoop on Lustre 실행 환경 구성 기능, 모니터링 요소의 동적인 확장이 가능한 YARN 작업 모니터링 기능, 고성능컴퓨팅 자원 모니터링을 위한 웹기반 인터페이스를 제공한다.
PARPA: 고성능 컴퓨팅을 위한 이기종 아키텍처 동시 사용 프레임워크
http://doi.org/10.5626/JOK.2019.46.9.876
GPU는 높은 연산 성능으로 인하여 단순히 그래픽 연산에만 국한되지 않고, 연산 중심의 작업에도 널리 활용되고 있다. CPU와 GPU를 동시에 사용하는 것 자체는 어려운 일이 아니지만, 이기종 프로세서 사이에서 작업을 분배하고 연산에 대한 분담 비율을 조정하는 것은 쉽지 않으며 이는 성능 향상의 중대한 척도이다. 본 논문에서는 이러한 어려움을 쉽게 해결하기 위해 고안한 새로운 프레임워크인 PARPA 프레임워크를 제안한다. PARPA 프레임워크는 간단한 방법으로 애플리케이션의 CPU, GPU 동시 사용을 가능하게 하며, 이를 통해 전반적인 시스템 자원을 효율적, 효과적으로 사용할 수 있도록 한다. 또한, 실행중인 애플리케이션의 특성 및 각 아키텍처 유닛의 특성과 실시간 부하도에 따라 자동으로 로드 밸런싱을 수행한다. 실험 결과에 따르면 PARPA 프레임워크를 적용한 애플리케이션은 최대 3.48배 높은 성능을 달성하였다.
