디지털 라이브러리[ 검색결과 ]
베어메탈 및 가상화 환경에 따른 CERN EOS 분산 파일 시스템의 I/O 성능 분석
http://doi.org/10.5626/JOK.2022.49.3.189
대용량의 데이터를 저장하기 위한 분산 파일 시스템은 대형 연구시설을 위한 데이터센터에서 데이터를 처리하는 데 활발하게 활용되고 있다. 기존의 분산 파일 시스템은 서버의 운영체제에 직접 분산파일 시스템 소프트웨어를 설치하는 베어메탈 방식으로 구성되었다. 하지만 최근에는 관리의 편의성과 신속한 장애복구 능력을 갖추고 있는 가상화 기능을 통해 분산 파일 시스템을 구성하여 제공하는 사례가 많아지고 있다. 이러한 추세에 따라 본 논문에서는 가상화 환경이 분산 파일 시스템 성능에 미치는 영향을 파악하기 위해 세계 최대 규모의 대용량 실험데이터를 생산하고 있는 CERN EOS 분산 파일 시스템을 베어메탈 방식과 리눅스의 KVM 가상화 방식으로 구성하였다. 각 환경을 벤치마크하여 구성 방식에 따른 성능을 측정하였고, 결과를 토대로 환경 간의 I/O 성능 비교 및 특징에 대해 분석하였다. 이를 통해 이러한 분산 파일 시스템을 가상화 방식으로 구성할 때 I/O 성능에 미치는 영향과 장점을 제시한다.
하둡 시스템의 네트워크 자원 사용량 감소를 위한 스트리밍 압축 기법
http://doi.org/10.5626/JOK.2018.45.6.516
최근, 하둡 시스템의 사용 빈도가 높아지면서 처리해야 하는 데이터의 양이 증가함에 따라 하둡 클러스터의 규모 또한 커지고 있다. 하둡 클러스터의 노드를 구성하는 프로세서, 메모리, 스토리지 등의 자원은 다른 노드들로부터 독립된 자원이며, 이는 하나의 노드에서 데이터 처리량이 많아져 노드 내부의 자원에 대한 사용량이 증가하여도 다른 노드의 데이터 처리 성능에 영향을 주지 않음을 의미한다. 하지만, 하둡 클러스터의 노드들을 연결하는 네트워크는 모든 노드가 사용하는 공유 자원이며, 이로 인해, 일부 노드의 네트워크 사용량이 증가하면 다른 노드가 사용할 수 있는 네트워크 자원이 줄어 하둡 시스템의 전체성능을 감소시킬 가능성이 있음을 의미한다. 본 논문에서는 하둡 시스템에서 쓰기 요청으로 발생되는 네트워크 사용량을 줄이기 위한 스트리밍 압축 기법을 제안하고 성능과 오버헤드를 측정한다. 실험 결과, 스트리밍 압축 기법을 사용함에 따라 네트워크 트래픽이 최대 56% 줄어드는 것을 확인하였다.
