멀티모달 그래프-SMILES 표현을 통한 거대 언어 모델에서의 분자 이해 향상

http://doi.org/10.5626/JOK.2025.52.5.379

최근 거대 언어 모델의 발전은 다양한 과업에서 뛰어난 성과를 보이며, 특히 멀티모달로 확장하는 연구도 활발히 진행되고 있다. 특히 BLIP-2는 Q-Former를 통해 이미지와 문자를 효율적으로 정렬하여 성능을 높였으며, 멀티모달 데이터로 사전 학습되어 고정된 이미지 인코더가 이를 지원한다. 이러한 발전에 영감을 받아 MolCA 모델은 분자 분야에 BLIP-2를 확장하여 성능을 높였지만, 그래프 인코더는 단일모달 데이터로 사전 학습되어 모델 학습 중 갱신이 필요한 한계가 있다. 따라서 본 논문에서는 이를 멀티모달 데이터로 사전 학습된 그래프 인코더로 대체하고 고정하는 방안을 제시한다. 실험 결과, 멀티모달 데이터로 사전 학습된 그래프 인코더를 사용할 때 성능이 대체로 향상되었으며, 단일모달 데이터로 사전 학습된 그래프 인코더는 갱신할 때 성능이 높은 것에 비해 멀티모달 데이터로 사전 학습된 그래프 인코더는 갱신하지 않을 때 모든 지표에서 성능이 더 좋은 것을 확인할 수 있었다.

New Transformer Model to Generate Molecules for Drug Discovery

Yu-Bin Hong, Kyungjun Lee, DongNyenog Heo, Heeyoul Choi

http://doi.org/10.5626/JOK.2023.50.11.976

다양한 생성모델 기반의 신약 후보 생성 방법 중, 회귀적 신경망 (RNNs) 기반의 모델이 최고 성능을 보여왔다. RNN의 장기 의존성 문제를 해결하기 위해 Transformer 기반의 모델이 제안되어왔으나, RNN 기반 모델에 비해서 낮은 성능을 보였는데, Transformer 모델의 과적합 문제가 그 원인일 수 있다. 해당문제를 완화하도록, 본 논문에서는, 큰 decoder 모델을 간단한 순방향 신경망으로 변환하는 모델을 제안한다. 실험결과, 제안된 모델이 기존 최고 성능 모델을 주요 지표들에서 앞서며, 다른 지표에서도 유사한 성능을 보이는 것을 확인했다. 또한, 제안하는 모델을 SARs-CoV-2 (COVID-19) 바이러스에 대항할 수 있는 신약 후보 생성에 적용하였고, 그렇게 생성된 신약 후보군들이 현재 시장에서 사용되는 약들인 Paxlovid, Molnupiravir, Remdesivir들 보다 더 효과적인 실험결과를 확인하였다.