[논문 요약37] [21] C.Ledig,L.Theis,F.Husza ́r,J.Caballero,A.Aitken,A.Tejani, J. Totz, Z. Wang, and W. Shi. Photo-realistic single image super- resolution using a generative adversarial network. arXiv preprint arXiv:1609.04802, 2016. 2

[업데이트 2018.09.24 14:21]

1. 베이스 논문

[논문 요약17] Perceptual Generative Adversarial Networks for Small Object Detection

(http://arclab.tistory.com/172)

GANs were also applied to image super- resolution in [21].

2. 레퍼런스 논문

[21] C.Ledig,L.Theis,F.Husza ́r,J.Caballero,A.Aitken,A.Tejani, J. Totz, Z. Wang, and W. Shi. Photo-realistic single image super- resolution using a generative adversarial network. arXiv preprint arXiv:1609.04802, 2016. 2

(https://arxiv.org/pdf/1609.04802.pdf)

3. 주요 내용 요약

3.1 레퍼런스 논문 주요 내용

- 연구 배경

저해상도(low-resolution) 이미지를 고해상도(high-resolution)로 변경하는 것은 매우 어려운 작업이며, 이러한 방법을 super-resolution(SR)이라고 부릅니다. SR은 컴퓨터 비전 연구 커뮤니티에서 상당한 주목을 받았으며 다양한 응용 분야를 가지고 있습니다.

- 당면 과제

기존의 SR 작업을 통해 생성된 이미지의 경우 원본 이미지와 비교하였을 때 부자연스러운 문제가 발생하며, 특히 SR 이미지를 업스케일링 시 텍스쳐 디테일이 떨어지는 문제가 두드러지게 나타나게 됩니다.

- 연구 당위성

기존에는 지도 학습 방식의 SR 알고리즘을 통해 생성된 SR 이미지가 ground truth(정답) 이미지에 근사하도록 mean squared error(MSE)를 최소화 되도록 학습하는 것이 일반적이었습니다. 이 방법은 MSE를 최소화하면서 SR 알고리즘을 평가하고 비교하는 데 사용되는 일반적인 측정 방법인 peak signal-to-noise ratio (PSNR)를 최대화하여 사용하기 손쉬운 방법입니다. 그러나 MSE 와 PSNR를 사용해 생성한 SR 이미지의 텍스쳐 디테일은 떨어지게 되는데, 그 이유는 픽셀 단위의 이미지 차이를 기반으로 정의되기 때문입니다. 이것은 가장 높은 PSNR이 반드시 지각적으로 우수한 SR 결과를 반영하지 않으며, SR 이미지가 원본 이미지와 비교했을때 사실적이지 않다는 것을 의미합니다.

- 연구 문제

저해상도의 이미지를 고해상도로 변환 시 변환된 SR 이미지의 텍스쳐 디테일을 떨어트리는 요소.  

- 연구 중요성

SR을 통해 저해상도 이미지를 고해상도로 변환시, 텍스쳐의 디테일을 잃는 것을 최소화하는 연구 분야에 활용 될 수 있습니다.

- 제안된 방법

SRGAN이란 방법을 제안하고 있으며, perceptual loss function을 정의합니다. perceptual loss function은 adversarial loss와 content loss로 구성됩니다.  adversarial loss의 경우 GAN과 같이 original image와 GAN의 방법을 통해 생성된 super-resolved image사이에 최대한 비슷해지도록 loss를 줄여나갑니다. content loss의 경우 pixel space에서의 유사성을 이용해 loss를 줄여나가지 않고 perceptual 유사성을 가지고 줄여나가게 됩니다.

- 연구 결과 

본 논문의 SRGAN을 통해 공개 되어 있는 다운샘플링된 이미지를 실제 원본 사진처럼 사람이 지각적으로 인식하기에 자연스럽게 고해상도 이미지로 복원하게 됩니다. (Figure 1)

3.2 베이스 논문에서 인용한 내용

GAN이 super-resolution 작업에 응용 될 수 있다는 것을 인용하고 있습니다.