주영석  이민수  장병탁

10.5626/JOK.2026.53.1.32

liquid state machine 스파이킹 신경망 보상-조절 STDP 강화 학습

Liquid State Machine(LSM)은 계산 신경과학 관점에서 제안된 순환형 스파이킹 신경망 모델로, 풍부한 시간적 동역학과 낮은 학습 복잡도, 생물학적 타당성을 특징으로 한다. 기존의 LSM은 일반적으로 고정된 시냅스 가중치를 사용하지만, 레저버 층(reservoir layer)의 시냅스 가중치를 STDP를 통해 조정하는 방식은 성능 향상에 기여하는 것으로 보고되고 있다. 또한, 출력층 학습에 별도 분류기를 사용하는 기존 방법은 온라인 및 실시간 학습에는 적합하지 않다. 본 논문에서는 도파민-조절 STDP(DA-STDP)를 이용하여 LSM을 학습시키는 강화 학습 프레임워크를 제안한다. 제안된 시스템은 피드백 신호에 따라 시냅스 가중치를 조정하는, 생물학적으로 영감을 받은 보상 기반의 학습 메커니즘을 구현한다. MNIST 데이터셋을 통해 다양한 학습 조건에서 본 방법의 유효성을 검증했으며, DA-STDP가 LSM 프레임워크 내 학습 메커니즘으로 적용 가능함을 보였다.