[논문 요약38] [22] C. Li and M. Wand. Combining markov random fields and con- volutional neural networks for image synthesis. arXiv preprint arXiv:1601.04589, 2016. 2

[업데이트 2018.09.24 14:22]

1. 베이스 논문

[논문 요약17] Perceptual Generative Adversarial Networks for Small Object Detection

(http://arclab.tistory.com/172)

2. 레퍼런스 논문

[22] C. Li and M. Wand. Combining markov random fields and con- volutional neural networks for image synthesis. arXiv preprint arXiv:1601.04589, 2016. 2

(https://arxiv.org/pdf/1601.04589.pdf)

In [22] and [40], GANs were employed to learn a mapping from one manifold to another for style transfer and inpainting, respectively.

3. 주요 내용 요약

3.1 레퍼런스 논문 주요 내용

<Introduction>

- 연구 배경

어떤 이미지들의 콘텐츠를 합성하는 것은 컴퓨터 비전 및 그래픽스 분야에 있어서 고전적인 문제입니다. 콘텐츠의 합성은 사진 편집 기능이 있는 크리에이티브 툴 등 많은 응용 프로그램에 있어서 중요한 부분을 차지하고 있습니다.

- 당면 과제

기존에 제안된 Neural Style Transfer(Gatys 외)를 통해 인상적인 콘텐츠 이미지 합성 결과를 얻을 수 있었습니다. 그러나 여전히 합성된 이미지의 일부분에는 사람이 지각적으로 느끼기에 부자연스러운 합성 결과를 보여주고 있습니다.

- 연구 당위성

1) 기존의 Neural Style Transfer 방법의 경우 여전히 합성된 이미지에 지역적으로 부자연스러운 합성 결과가 존재합니다.

2) 생성 이미지 모델링에 대한 고전적인 데이터 중심 접근법인 MRF를 사용하는데, MRF를 사용한 텍스처 합성의 경우도 그럴듯하게 이미지 패치의 분포를 학습하는 것이 어렵습니다.

- 연구 문제

이미지 합성시 지역적으로 부자연스러운 합성을 만드는 요소.

- 연구 중요성

본 연구를 통해 이미지 합성을 그럴듯하게 합성해야 하는 여러 응용 프로그램들에 활용될 수 있습니다.

- 제안된 방법

본 논문에서는 마르코프 랜덤 필드 (MRF) generative 모델과 deep convolutional neural networks(dCNNs) discrimnative 모델을 결합하여 2D 이미지를 합성합니다.

- 연구 결과 

기존 연구에 대비 자연스러운 이미지 합성 결과를 보여주고 있습니다.

3.2 베이스 논문에서 인용한 내용

본 논문에서 GAN은 style transfer로 응용 될 수 있습니다.