-

드디어 프로젝트에 적용할 수 있는 논문을 찾았다! 

야호

1. 기존 연구의 한계

• 기존 카메라 보정 연구들은 핀홀 카메라 모델을 가정하고 내부 및 외부 파라미터(roll, pitch, FoV 등)를 추정했다. 하지만 이미지가 크롭되거나 왜곡되면서 중심 주점(principal point)이 중앙에서 벗어나면 기존 방법들은 이를 고려하지 못해 원근 정보를 잘못 해석하고 큰 오차를 발생시켰다. 
• 또한, 기존 연구들은 중심 주점이 항상 이미지 중앙에 위치한다고 가정했지만, 실제로는 이미지가 편집되면서 중심 주점이 이동할 수 있어 기존 방법들의 성능이 저하됐다. 
• 단일 이미지 기반 방법들은 수평선과 소실점 정보를 활용하여 카메라를 보정하지만, 이미지가 크롭되거나 왜곡될 경우 정확도가 크게 떨어지는 한계가 있었다.

2. 기여

이 논문은 기존 카메라 보정 연구들이 가진 중심 주점 가정, 이미지 크롭 및 왜곡에 대한 취약성, 전역적 예측 방식의 한계 등을 해결하기 위해 Perspective Fields(원근 필드)라는 새로운 표현 방식을 제안했다. 기존 연구들이 전역적인 카메라 파라미터를 직접 예측하는 방식을 사용한 반면, 이 논문에서는 각 픽셀의 지역적인 원근 정보를 활용하여 더 정확하고 강건한 카메라 보정을 가능하게 했다.

1. Perspective Fields
   • 기존의 전역적인 카메라 보정 방식과 달리, 각 픽셀마다 Up-vector(업 벡터)와 Latitude(위도 값)를 저장하여 이미지의 지역적인 원근 정보를 나타내는 방식을 도입했다.
   • 이 표현은 카메라 모델과 독립적이며, 크롭·회전·왜곡 등의 이미지 편집에도 강건한 성능을 보인다.
2. PerspectiveNet
   • 신경망 기반의 Perspective Fields 예측 모델로, 단일 RGB 이미지를 입력받아 각 픽셀의 Perspective Fields를 예측하도록 학습했다.
   • 이 모델은 360° 파노라마 데이터에서 크롭된 이미지를 학습 데이터로 활용하여, 다양한 카메라 투영 모델에서 강건한 성능을 유지하도록 설계됐다.
3. ParamNet
   • Perspective Fields를 입력으로 받아 카메라의 Roll, Pitch, Field of View(FoV), 중심 주점(principal point) 등을 복원하는 신경망을 학습했다.
   • 기존 방법들은 단일 이미지를 입력받아 전역적인 카메라 파라미터를 직접 추정했지만, 이 논문에서는 지역적인 Perspective Fields를 먼저 예측한 후 이를 바탕으로 카메라 파라미터를 복원하는 방식을 사용했다.
4. Perspective Fields를 활용한 이미지 합성(Image Compositing) 및 AR 응용을 제시했다.
   • Perspective Fields를 활용하여 배경과 객체 간의 원근 일치 여부를 평가하는 Perspective Field Discrepancy(PFD) 메트릭을 개발했다.
   • 이 메트릭을 활용하여 객체 합성, 증강 현실(AR) 효과 적용, 3D 객체 삽입 등의 다양한 응용 가능성을 검증했다.

3. 방법론

Perspective Fields 

Perspective Fields는 이미지의 각 픽셀마다 업 벡터(Up-vector)와 위도 값(Latitude)을 저장하는 표현 방식이다.

• Up-vector(업 벡터): 해당 픽셀에서 3D 공간의 중력 방향이 이미지에 투영된 방향을 나타냄.
• Latitude(위도 값): 해당 픽셀의 입사 광선과 수평면 간의 각도를 의미함.

이러한 표현을 사용하면 기존 카메라 모델 가정 없이도 이미지의 원근 정보를 저장할 수 있다.

PerspectiveNet

PerspectiveNet은 CNN 기반의 신경망 모델로, 단일 이미지에서 각 픽셀의 Perspective Fields를 예측하는 역할을 한다.

• 입력: RGB 이미지
• 출력: 각 픽셀에 대한 Up-vector와 Latitude 값
• 학습 데이터:
  • 360° 파노라마에서 크롭한 다양한 카메라 시점의 이미지
  • 여러 가지 카메라 모델(핀홀, 어안 렌즈 등)을 포함
  • 크롭·왜곡·회전 등 다양한 데이터 증강 기법 적용

PerspectiveNet은 기존의 전역적인 카메라 파라미터 예측 방식과 달리, 각 픽셀의 원근 정보를 직접 예측하기 때문에 이미지 크롭이나 왜곡에도 강건한 성능을 보인다.

ParamNet

Perspective Fields를 활용하여 카메라의 전역적인 파라미터(Roll, Pitch, FoV, 중심 주점)를 복원하는 신경망이다.

• 입력: Perspective Fields (Up-vector + Latitude)
• 출력: 카메라 파라미터(Roll, Pitch, FoV, 중심 주점)
• 기존 방법과 차이점:
  • 기존 방법들은 단일 이미지에서 직접 카메라 파라미터를 예측했지만, 이 논문에서는 Perspective Fields를 먼저 예측한 후 이를 기반으로 파라미터를 복원하는 방식을 사용했다.
  • 이를 통해 크롭된 이미지에서도 중심 주점을 정확히 복원할 수 있도록 설계됐다.

4. Perspective Fields를 활용한 응용

1. 이미지 합성(Image Compositing)에서 원근 정합성 평가
   • Perspective Fields를 이용해 배경과 객체의 원근이 일치하는지 평가하는 Perspective Field Discrepancy(PFD) 메트릭을 제안했다.
   • 기존의 수평선 기반 매칭 방식보다 인간의 원근 감각과 더 높은 상관관계를 가진다는 점을 사용자 실험으로 검증했다.
2. 증강 현실(AR) 효과 적용
   • Perspective Fields의 Up-vector를 활용하여, 이미지 내 중력 방향을 반영한 이펙트(예: 비 시뮬레이션, 천장에 매달린 물체) 생성이 가능하다.
3. 3D 객체 삽입
   • Perspective Fields를 이용해 배경과 3D 객체의 원근을 일치시켜 더욱 자연스러운 합성이 가능하다.
   • 기존 방법보다 정확한 카메라 추정이 가능해져 3D 모델을 실제 사진에 자연스럽게 삽입하는 것이 가능하다.

4. 실험결과

• Perspective Fields 기반 방법(Ours)이 기존 방법들보다 훨씬 정확한 Up-vector 및 Latitude 예측 성능을 보였다.
• 특히, 크롭된 이미지(uncentered principal point)에서도 기존 방법들과 비교했을 때 성능 저하가 거의 발생하지 않았다.
• 기존 방법들은 중심 주점이 이미지 중앙에 있다고 가정하여 크롭된 이미지에서 성능이 크게 저하되었지만, Ours는 지역적인 Perspective Fields를 활용하여 더 강건한 성능을 보였다.
• Latitude(위도 값) 예측에서도 기존 방법 대비 최대 40% 이상의 향상된 정확도를 기록했다.

• Perspective Fields 기반 방법(Ours)이 기존 방법들보다 더 정확한 원근 표현을 제공했다. 
• 기존 방법들은 중심 주점(principal point)이 중앙에 있다고 가정하거나, 전역적인 카메라 파라미터만을 예측하기 때문에 크롭되거나 왜곡된 이미지에서 성능이 저하됐다. 
• 반면, Perspective Fields는 각 픽셀마다 원근 정보를 직접 저장하고 예측하기 때문에, 복잡한 원근 구조를 가진 이미지에서도 더욱 자연스러운 보정이 가능했다. 
• 특히, 건물, 자동차 같은 구조물이 포함된 이미지에서 Perspective Fields가 더 높은 정합성을 보였으며, Perceptual과 CTRL-C보다 강건한 성능을 유지했다. 

5. 결론

• Perspective Fields는 각 픽셀마다 Up-vector(업 벡터)와 Latitude(위도 값)를 저장하는 지역적 표현을 사용하여 더 정확하고 강건한 카메라 보정을 가능하게 했다. 이는 크롭된 이미지나 중심 주점이 이동한 이미지에서도 기존 방법보다 정확한 성능을 보였다.
• Perspective Fields는 이미지 합성, 증강 현실(AR), 3D 객체 삽입 등 다양한 응용에도 활용될 수 있음을 보였다. Perspective Field Discrepancy(PFD) 메트릭을 개발하여 배경과 객체 간의 원근 정합성을 평가하는 방법을 제시했다
• 사용자 실험을 통해 기존의 수평선 기반 방법보다 더 인간의 원근 감각과 높은 상관관계를 가진다는 점을 검증했다.