대립적 네트워크를 이용한 비지도적 영상 색상 개선

Abstract

본 논문에서는 비지도적 딥러닝 방법 중 하나인 대립적 생성 네트워크 (generative adversarial network) 구조를 이용해 영상의 색상을 개선하는 방법을 제시한다. 기존의 딥러닝 기반의 영상 색상 개선 기술을 학습하기 위해서는 영상 편집 전문가에 의해 편집된 입력/출력의 쌍 데이터를 필요로 하며, 학습을 위한 대규모 데이터셋 생성에는 많은 비용과 시간이 소요된다. 본 논문에서 제안한 방법은 비지도적 딥러닝 방법을 이용해 입력/출력 쌍 데이터 없이 독립적으로 각각 쉽게 수집 가능한 저품질/고품질 영상 데이터를 통해 영상 개선을 위한 네트워크를 학습한다. 이를 위해 영상의 내용과 디테일을 유지하기 위한 아핀 (affine) 색상 변환 모델을 이용한 생성 네트워크를 제시하고, 이를 순환 대립적(cycle adversarial) 구조를 통해 학습하는 방법을 설명한다. 실험 결과를 통해 학습된 생성 네트워크를 통해 입력 저품질 영상을 자동으로 고품질 영상으로 개선할 수 있음을 보인다.