문법 기반 테스트 케이스 생성을 위한 Chain-of-Thought 와 Chain-of-Verification Prompting

아디띠, 고상기

http://doi.org/10.5626/JOK.2025.52.1.29

소프트웨어 테스팅은 소프트웨어 개발 과정에서 중대하며 비용이 많이 드는 작업으로 자리 잡고 있다. 특히, 자동 테스트 케이스 생성 도구는 수동 생성에 비해 올바른 해결책과 잘못된 해결책을 효과적으로 구분할 수 있는 방법을 제공한다. 최근, 많은 연구자들이 문제 또는 프로그램의 논리적 사양을 기반으로 테스트 케이스를 자동으로 생성할 수 있는 딥러닝 기반 방법을 제시하였다. 본 연구에서 우리는 Chain-of-Thought (CoT) 프롬프팅을 활용하여, 문제 사양에서 '테스트 케이스 문법'을 생성할 수 있도록 ChatGPT와 Google Gemini와 같은 대규모 언어 모델(LLMs)을 학습하는 것을 제안한다. 우리는 'Chain-of-Verification' (CoVe)이라 명명된 일반화된 규칙의 세부 정보를 LLMs에 검증하고 제공하기 위해 CoT를 활용하여 구현한다. 우리는 공개적으로 사용 가능한 데이터셋인 DeepMind CodeContests 데이터셋을 사용하여 우리의 방법론을 평가하였는데, 이 데이터셋은 프로그래밍 학습자들에 의해 제출된 초급부터 고급 수준까지 다양한 프로그래밍 문제와 해당 문제들의 정확성을 검증하기 위한 테스트 케이스로 구성되어 있다.