디지털 라이브러리[ 검색결과 ]
SSD의 수명 및 성능 향상을 위한 F2FS 파일 시스템의 DISCARD 명령어 관리 기법
http://doi.org/10.5626/JOK.2024.51.8.669
DISCARD 명령어는 유효하지 않는 파일 시스템의 블록 정보를 SSD에 전달함으로써 SSD의 수명과 성능을 향상시키는데 도움이 되는 인터페이스이다. 그러나, F2FS 파일 시스템에서 DISCARD 명 령어는 유휴 시간에만 처리되기 때문에 수명과 성능의 향상에 한계를 보인다. 본 논문에서는 짧은 유휴 시 간에 DISCARD 명령어를 효율적으로 처리하기 위한 EPD 기법과 DISCARD 명령어를 덮어쓰기 명령으 로 대체하기 위한 세그먼트 할당 기법인 PSA기법을 제안한다. 제안 기법의 효과를 평가하기 위해 다양한 워크로드를 기반으로 실험을 진행하였으며 실제 SSD에서의 수명과 성능을 확인하였다. 그 결과, 제안 기 법이 기존 F2FS 대비 Write Amplification Factor (WAF)를 최대 40%, 처리량을 최대 160% 향상시킬 수 있음을 확인하였다.
Lustre 기반 스토리지 시스템에서 IO500 벤치마크 실행 및 최적 파라미터 적용
http://doi.org/10.5626/JOK.2024.51.6.483
본 논문에서는 분산 병렬파일시스템인 Lustre 기반 스토리지 환경에서 다양한 튜닝 요소를 변경 하면서 IO500 벤치마크를 실행한 비교 연구를 수행한다. 본 논문의 기여는 다음과 같다. 1) IO500 벤치마크 와 Lustre 파일시스템에 대한 사용자 이해를 증진시키고, 2) 대규모 Lustre 환경을 직접 구축하여 IO500 성능을 향상시킬 수 있는 요소를 세가지 측면에서 분석하고, 실험을 통해 적용한 결과를 보여준다. 실험은 Data-on-MDT (DoM), MPI 프로세스 개수 (NP), 및 MPI CPU 친화도 파라미터에 대해 수행하였으며, DoM 을 설정한 경우, 적정 MPI 프로세스를 사용할 경우, CPU 친화도의 --bind-to core-overload-allowed 옵 션을 함께 사용할 경우 성능이 더 좋음을 보였다.
베어메탈 및 가상화 환경에 따른 CERN EOS 분산 파일 시스템의 I/O 성능 분석
http://doi.org/10.5626/JOK.2022.49.3.189
대용량의 데이터를 저장하기 위한 분산 파일 시스템은 대형 연구시설을 위한 데이터센터에서 데이터를 처리하는 데 활발하게 활용되고 있다. 기존의 분산 파일 시스템은 서버의 운영체제에 직접 분산파일 시스템 소프트웨어를 설치하는 베어메탈 방식으로 구성되었다. 하지만 최근에는 관리의 편의성과 신속한 장애복구 능력을 갖추고 있는 가상화 기능을 통해 분산 파일 시스템을 구성하여 제공하는 사례가 많아지고 있다. 이러한 추세에 따라 본 논문에서는 가상화 환경이 분산 파일 시스템 성능에 미치는 영향을 파악하기 위해 세계 최대 규모의 대용량 실험데이터를 생산하고 있는 CERN EOS 분산 파일 시스템을 베어메탈 방식과 리눅스의 KVM 가상화 방식으로 구성하였다. 각 환경을 벤치마크하여 구성 방식에 따른 성능을 측정하였고, 결과를 토대로 환경 간의 I/O 성능 비교 및 특징에 대해 분석하였다. 이를 통해 이러한 분산 파일 시스템을 가상화 방식으로 구성할 때 I/O 성능에 미치는 영향과 장점을 제시한다.
비휘발성 메모리의 동적 활용을 통한 서버 시스템 성능 및 사용성 향상
http://doi.org/10.5626/JOK.2021.48.10.1077
본 연구는 DIMM 인터페이스 기반의 비휘발성 메모리(PM)를 사용하는 컴퓨팅 시스템에서 PM을 관리하기 위한 메모리 관리 시스템을 개발하는 연구이다. PM은 메인 메모리, 스토리지, 또는 스토리지 캐시 레이어로 사용될 수 있다는 전제에서 연구되어 왔다. 본 연구에서는 이러한 역할을, 각각이 아니라, 동시에 할 수 있도록 하는, PM을 위한 메모리 관리 시스템을 개발한다. 이 관리 시스템을 하이브리드 메모리 관리 시스템(Hybrid Memory Management System, HMMS)이라 부른다. HMMS는 DRAM과 PM이 공존하는 환경을 가정하며 컴퓨팅 시스템 상태와 사용자의 요구 성질을 반영하여 이 세 가지 역할을 동적으로, 적절하게 배분한다. HMMS의 도입을 통해서 다양한 스케일의 컴퓨팅 시스템의 기능적, 성능적인 향상을 목표로 한다.
IoT 기기 플래시 메모리의 Ext4 파일 시스템을 위한 디지털 포렌식 절차
http://doi.org/10.5626/JOK.2021.48.8.865
최근 급격한 통신기술의 발달에 따라 IoT(Internet of Things)의 확산이 가속화되고 있으며 IoT 기기는 인간의 삶과 밀접한 분야에서 활용되어 범죄 및 사고 경황 정보 조사에 적극적으로 활용되고 있다. 이에 따라 디지털 포렌식의 중요성이 부각되며 그 수행 절차에 관한 연구들이 진행되고 있다. 하지만 IoT 기기는 상이한 규격으로 인해 실제 현장에서 사용될 수 없는 추상적인 방법론을 제시하는 연구가 대부분이다. 또한 펌웨어 분석 도구로 활발히 사용되는 binwalk 분석 도구는 ext4 파일 시스템에 대한 분석 및 추출을 제대로 수행하지 못하고 있다. 이에 본 논문에서는 이러한 문제점을 해결하기 위해 binwalk의 올바른 ext4 파일 시스템 추출 및 분석 방안을 제시하고 이를 이용해 IoT 기기의 플래시 메모리로부터 ext4 파일 시스템을 추출하는 절차를 제안한다. 또한, DJI Phantom 4 Pro V2.0 드론으로 PoC를 구현하여 제안하는 절차를 검증한다.
압축 기반 파일 시스템 데이터 일관성 유지 기법
http://doi.org/10.5626/JOK.2019.46.9.885
데이터 일관성 메커니즘은 시스템 오류 및 정전으로 인해 데이터가 손상되지 않도록 방지하기 위한 파일 시스템의 중요한 컴포넌트이다. 그러나, Ext4 파일 시스템의 기본 저널 모드는 성능상의 이유로 일반 데이터를 제외한 메타 데이터에 대한 일관성만을 보장한다. 즉, 기본 저널 모드는 파일 시스템의 전체 데이터에 대한 일관성을 완벽하게 보장하지 않는다. 이에, 본 논문에서는 파일 시스템의 데이터 일관성을 완벽하게 보장하면서 Ext4의 기본 저널 모드에 비해 향상되거나 유사한 성능을 제공하는 새로운 데이터 일관성 유지 기법을 제안한다. 제안 기법은 압축을 통해서 저널 영역에 요청되는 쓰기 요청의 양을 감소시키고 fsync() 시스템 콜 호출 횟수를 반으로 감소시킨다. 제안 기법을 평가하기 위해, 우리는 jbd2의 일부 코드를 수정하였으며, SSD와 HDD 환경에서 제안 기법의 성능을 Ext4의 두가지 저널 모드와 비교하였다. 실험 결과, 제안 기법이 기본 저널 모드 대비 최대 8.3배 시스템의 성능을 향상시킨다는 사실을 확인하였다.
하둡 시스템의 네트워크 자원 사용량 감소를 위한 스트리밍 압축 기법
http://doi.org/10.5626/JOK.2018.45.6.516
최근, 하둡 시스템의 사용 빈도가 높아지면서 처리해야 하는 데이터의 양이 증가함에 따라 하둡 클러스터의 규모 또한 커지고 있다. 하둡 클러스터의 노드를 구성하는 프로세서, 메모리, 스토리지 등의 자원은 다른 노드들로부터 독립된 자원이며, 이는 하나의 노드에서 데이터 처리량이 많아져 노드 내부의 자원에 대한 사용량이 증가하여도 다른 노드의 데이터 처리 성능에 영향을 주지 않음을 의미한다. 하지만, 하둡 클러스터의 노드들을 연결하는 네트워크는 모든 노드가 사용하는 공유 자원이며, 이로 인해, 일부 노드의 네트워크 사용량이 증가하면 다른 노드가 사용할 수 있는 네트워크 자원이 줄어 하둡 시스템의 전체성능을 감소시킬 가능성이 있음을 의미한다. 본 논문에서는 하둡 시스템에서 쓰기 요청으로 발생되는 네트워크 사용량을 줄이기 위한 스트리밍 압축 기법을 제안하고 성능과 오버헤드를 측정한다. 실험 결과, 스트리밍 압축 기법을 사용함에 따라 네트워크 트래픽이 최대 56% 줄어드는 것을 확인하였다.
커널 버전 별 Ext4 파일 시스템의 fsync()에 대한 고찰
Ext4 파일시스템은 리눅스를 기반으로 하는 PC, 서버, 임베디드 시스템 등에 널리 사용되고 있고, 동작 분석 및 성능 향상에 대한 많은 연구들이 진행되어왔다. 하지만, 버퍼를 활용한 입출력을 사용하는 Ext4에서 특정 파일에 대한 즉시 내구성을 요구하는 fsync() 시스템 콜을 커널 버전 별로 자세히 분석한 연구는 찾아보기 힘들다. fsync() 시스템 콜의 분석을 통해 커널 3.4.0 ∼ 4.6.4 버전 중 3.4.0, 3.8.0, 그리고 4.6.2 세 개의 버전에서 fsync() 동작에 차이가 있음을 발견하였다. 커널 3.4.0 버전은 3.7.10 이후 버전에 비해 긴 지연시간을 가지는 특징이 있다. 3.8.0 버전은 Ext4 저널링의 순차 모드가 깨질 수 있는 단점을 가지고 있으며, 해당 문제는 4.6.2 버전에서 해결되었다.
클라우드 스토리지를 최종 저장 장치로 사용하는 인메모리 파일 시스템
네트워크 기술의 발달에 따라 고속으로 인터넷에 연결 가능한 장치의 수가 증가하면서 언제어디서나 쉽게 접근이 가능한 클라우드 스토리지의 사용량이 증가하고 있다. 대표적인 클라우드 스토리지의 형태 중 하나인 오브젝트 스토리지는 비용이 저렴하고 높은 가용성과 지속성을 보장해주지만, HTTP 기반 인터페이스인 RESTful API로만 데이터에 접근가능하다는 제약이 있다. 본 논문에서는 이러한 점을 해소하고자, 기존 POSIX 인터페이스를 지원하며 클라우드 오브젝트 스토리지와 데이터를 주고받을 수 있는 인메모리 파일 시스템을 제안한다. 특히 본 연구의 클라우드 스토리지로 파일을 보내는 플러시 기법은 리눅스 시스템의 스왑 모듈을 활용하여 개발함으로써 기존 애플리케이션들과 높은 호환성을 가지며, 기존 클라우드 스토리지를 사용하는 시스템이 가지는 오버헤드를 최소화하였다. 제안하는 파일 시스템은 S3QL 보다는 약 57% 빠른 쓰기 성능을 보이며, tmpfs와 매우 근접한 읽기 성능을 보인다.
클라우드 기반 파일 시스템의 오브젝트 크기별 성능 분석
오늘날, 클라우드 인프라 서비스는 일정한 성능을 보장해주면서도 사용한 만큼 비용을 지불하는 과금체계를 통해 많은 인터넷 서비스들의 운영비용을 개선시켜 주고 있다. 특히 오브젝트 스토리지는 필요한 만큼 파일을 저장할 수 있고, 언제 어디서나 접근할 수 있다는 점에서 각광받고 있다. 이에 따라, 최근에는 오브젝트 스토리지를 HTTP 기반의 RESTful API 방식이 아닌 POSIX 기반 파일 액세스가 가능한 클라우드 기반 파일 시스템 연구들이 등장하고 있다. 하지만 이러한 파일 시스템들은 오브젝트 스토리지에 저장되는 모든 파일을 동일한 크기의 단위 오브젝트로 분할하기 때문에 데이터 접근 시 비효율적인 입출력이 발생할 여지가 있다. 따라서 본 연구에서는 파일 및 워크로드의 특성을 구별하여 오브젝트 스토리지에 저장되는 단위 오브젝트의 적합한 크기를 추정하고, 각 파일의 접근 성능을 향상시킬 수 있다는 점을 검증한다. 제안하는 기법은 S3QL에 비해 평균 18.6% 빨라진 것으로 나타났다.
