웹 페이지 스케치기반 HTML코드 자동생성

김바다, 박상민, 원태연, 허준영

http://doi.org/10.5626/JOK.2019.46.1.9

웹 응용 개발에서 GUI 스케치를 자동으로 코드화하려는 다양한 연구가 진행되어왔다. 과거 연구에서는 컴퓨터 비전을 이용한 객체의 위치인식 연구와 딥 러닝을 기반으로 한 객체인식 연구가 진행되었다. 과거 연구는 객체를 잘못 인식하거나 아예 인식하지 못한다는 한계가 존재한다. 본 논문에서는 두 가지 기술을 함께 적용하여 기존 객체 인식의 한계를 줄인다. 레이아웃 검출에 컴퓨터 비전을, GUI 객체인식은 딥 러닝을 적용한다. 이러한 기술들을 기반으로 인식한 레이아웃과 GUI객체를 HTML코드로 변환한다. 결과적으로 GUI객체 인식의 정밀도와 재현율은 각각 91%, 86%를 보였으며 HTML코드로 변환이 가능했다.