디지털 라이브러리[ 검색결과 ]
Re-Identification에서의 대조 연합 학습 시스템
http://doi.org/10.5626/JOK.2024.51.9.841
방대한 데이터 수집과 컴퓨팅 파워의 발전으로 AI 기술이 다양한 서비스에 활발히 적용되고 있다. 전통적인 중앙 집중형 클라우드 데이터 처리 방식은 민감한 사용자 데이터의 노출에 대한 우려를 불 러일으킨다. 이러한 문제를 해결하기 위해 연합 학습(FL)이 분산형 학습 방법으로 부상했다. FL은 클라이 언트가 로컬 데이터로 모델을 학습한 후, 로컬에서 업데이트된 모델을 중앙 서버로 보내는 방식이다. 중앙 서버는 이러한 업데이트된 모델을 집계하여 로컬 데이터를 직접 접근하지 않고도 글로벌 모델을 학습할 수 있게 한다. 본 논문에서는 다양한 도메인에서 재식별(Re-ID) 작업을 위해 특별히 설계된 새로운 FL 프레임워크인 FedCON을 제시한다. FedCON은 FL에 대조 학습을 적용하여 특징 표현을 향상시키며, 이 는 Re-ID 분야에서 특징 벡터의 유사성을 강조하여 동일한 ID를 가진 객체를 다른 이미지에서도 동일하 게 식별하는 데 유용하다. 특징 유사성에 중점을 둠으로써 FedCON은 데이터 이질성 문제를 효과적으로 해결하고 Re-ID 응용에서 글로벌 모델의 성능을 향상시킨다. 인물 및 차량 Re-ID 데이터셋에 대한 실증 연구는 FedCON이 기존의 Re-ID를 위한 FL 방법들을 능가함을 보여준다. 다양한 CCTV 데이터셋을 사 용한 인물 Re-ID 실험에서 FedCON은 여러 baseline과의 비교에서 우수한 성능을 보였다. 또한, FedCON은 VeRi-776 및 VRIC와 같은 실제 데이터셋에서 차량 Re-ID 성능을 크게 향상시켜 실제 응용 가능성을 보여준다.
대규모 자연어 모델의 병렬 학습 가속화를 위한 서버 할당 최적화 알고리즘 비교 연구
http://doi.org/10.5626/JOK.2024.51.9.783
최근 대규모 언어모델(LLM)이 다양한 분야에 활용됨에 따라 보다 높은 성능을 보유한 모델 개발에 대한 수요가 증가하고 있다. 지금까지 대부분의 사용자들은 모델 학습에 필요한 계산 능력과 메모리 용 량을 충족시키기 위해 GPU가 장착된 다수의 서버를 활용하고 있고, 이들을 효율적으로 이용하는 방법론으로 3D 병렬화 방법론을 대표적으로 채택하고 있다. 그러나 3D 병렬화는 빈번하게 진행되는 서버간 대규모 데이 터 전송 시간이 길어 전체 학습 시간을 지연시키는 문제가 있다. 이를 해결 하기 위해 비균일한 클러스터 네 트워크 상태를 사전에 파악하여 서버 및 GPU를 최적화된 병렬 구성으로 배치하는 방법론이 기존 연구에서 제안되었으나, 이 역시 고전적인 최적화 알고리즘인 SA(Simulated Annealing)가 매핑을 위해 사용되었다는 한계가 있다. 이에 이러한 문제를 해결하고자 본 연구에서는 유전(Genetic) 알고리즘, SAT(Satisfiability) 알 고리즘을 해당 문제에 추가 적용하여 다양한 실험 환경에서 각 알고리즘의 성능을 비교 분석하였다.
