New Transformer Model to Generate Molecules for Drug Discovery

Yu-Bin Hong, Kyungjun Lee, DongNyenog Heo, Heeyoul Choi

http://doi.org/10.5626/JOK.2023.50.11.976

다양한 생성모델 기반의 신약 후보 생성 방법 중, 회귀적 신경망 (RNNs) 기반의 모델이 최고 성능을 보여왔다. RNN의 장기 의존성 문제를 해결하기 위해 Transformer 기반의 모델이 제안되어왔으나, RNN 기반 모델에 비해서 낮은 성능을 보였는데, Transformer 모델의 과적합 문제가 그 원인일 수 있다. 해당문제를 완화하도록, 본 논문에서는, 큰 decoder 모델을 간단한 순방향 신경망으로 변환하는 모델을 제안한다. 실험결과, 제안된 모델이 기존 최고 성능 모델을 주요 지표들에서 앞서며, 다른 지표에서도 유사한 성능을 보이는 것을 확인했다. 또한, 제안하는 모델을 SARs-CoV-2 (COVID-19) 바이러스에 대항할 수 있는 신약 후보 생성에 적용하였고, 그렇게 생성된 신약 후보군들이 현재 시장에서 사용되는 약들인 Paxlovid, Molnupiravir, Remdesivir들 보다 더 효과적인 실험결과를 확인하였다.