실감 3D 콘텐츠 제작을 위한

영상 기반 객체 모델링 연구 동향

이원우*․우운택**

※ 교신저자(Corresponding Author) : 우운택, 주소 : 광주광역시 북구 오룡동 광주과학기술원 정보통신 공학과(500-712), 전화 : 062)970-2226, FAX : 062)970-2249,

E-mail : wwoo@gist.ac.kr

* 광주과학기술원 정보통신공학과

(wlee@gist.ac.kr)

** 광주과학기술원 정보통신공학과

※ 본 연구는 한국전자통신연구원 광통신연구센터의 광가입자망(FTTH) 서비스개발 실험사업 연구지원으로 수행되었습니다.

1. 서  론

[특 집]	한국멀티미디어학회지 제10권 제3호 2006년 9월

최근 디지털 기기의 빠른 발달과 더불어 인터넷과 유비쿼터스 컴퓨팅 패러다임은 새로운 방송 개념을 만들어내었다. 기존의 방송 개념이 TV를 통해 방송을 시청하는 단방향의 특성을 가진 것이었다면, 새로운 방송 개념은 시청자가 직접 보고 느끼고 양방향 상호작용 할 수 있는 실감 방송이라 할 수 있다. 방송 개념의 변화와 함께 기존의 실감 콘텐츠에서 중요시되던 사실성과 더불어 지능성과 이동성의 특징을 갖는 u- 콘텐츠[1]가 새로운 개념의 실감 콘텐츠로서 등장하게 되었다.

유비쿼터스 지능 공간 (USS: Ubiquitous Smart Space)에서 제공되는 u-콘텐츠는 개인화 된 오감 기반 사실성을 위한 사실성, 서로 다른 사용자 간의 선택적 콘텐츠 공유를 가능케 하는 이동성, 사용자와 콘텐츠 사이의 감성적 교감을 위한 지능성의 특징을 갖는다. 이러한 u-콘텐츠의 특징들이 복합적으로 제공됨으로써 u-콘텐츠는 기존의 콘텐츠에 비해 보다 높은 사실성을 제공한다.

u-콘텐츠와 같은 실감 콘텐츠가 제공하는 인간의 오감에 대한 자극들 중 시각은 콘텐츠의 사실성에 가장 큰 영향을 미치는 요소이다. 시각적으로 보다 높은 콘텐츠를 만들기 위한 많은 기술들이 있으나 그 중에서도 영상 기반 객체 모델링 기술은 실제 환경에서 획득한 영상으로부터 3D 콘텐츠를 만들어내므로 보다 실감 있는 콘텐츠 제작에 적합하다. 또한 모델링 과정의 자동화가 가능하므로 3D 모델링 소프트웨어를 이용하는 경우에 비해 시간과 노력을 절약할 수 있다. 그 외에도 영상 기반 객체 모델링 기술은 거리 센서를 이용하는 방법에 비해 낮은 비용으로 모델링 시스템을 꾸밀 수 있다는 장점을 갖는다.

대부분의 영상 기반 객체 모델링은 그림 1과 같이 영상 획득, 카메라 보정, 3D 데이터 추정, 메쉬 생성, 텍스쳐 매핑 등의 과정을 통해 이루어진다. 영상 획득 단계에서는 모델링의 대상에 대한 영상을 여러 시점에서 획득한다. 그 후 카메라 보정을 통해 영상을 획득한 카메라들의 내/외부 파라미터를 추정하고, 추정된 파라미터를 이용해 대상물의 3D 데이터를 추정한다. 추정된 3D 데이터로부터 메쉬 모델을 생성하고 입력으로 사용된 영상을 통해 만들어진 텍스쳐를 모델에 적용함으로써 실감성을 높인다.

그림 1. 영상 기반 객체 모델링 과정

영상 기반 객체 모델링은 영상 획득과 카메라 보정을 따로 수행하고, 그 이후 과정에 대한 입력으로 획득한 영상들과 각 영상의 카메라 파라미터를 사용하는 것이 일반적이다. 본 논문에서는 영상 기반 객체 모델링의 단계들 중 영상 기반 모델링의 중요한 요소 기술인 3D 데이터 추정 및 텍스쳐 매핑의 연구 동향에 대해 살펴보고 영상 기반 객체 모델링의 응용 사례를 알아본다.

실감 3D 콘텐츠 제작을 위한  영상 기반 객체 모델링 연구 동향	한국멀티미디어학회지 제10권 제3호 2006년 9월

본 논문은 다음과 같이 구성된다. 2장에서는 모델링의 대상이 되는 물체의 3D 데이터를 추정하는 방법들의 연구 동향을, 3장에서는 실사 영상들로부터 텍스쳐를 생성하는 연구들에 대해 다룬다. 4장에서는 영상 기반 객체 모델링의 응용 분야에 대해 알아보고, 5장에서는 결론 및 향후 전망에 대해 논한다.

2. 3D 데이터 추정

표 1. 3D 데이터 추정 알고리즘 비교
	장점	단점
Shape from Silhouette	구현이 쉽고 모델링 시간이 짧다.	물체의 완전한 형태를 복원하는 것은 불가능함.
Shape from Photo-consistency	영상 간 대응점 매칭이 불필요함.	복셀 공간을 이용하므로 정밀도가 낮고 조명 변화의 영향이 큼.
Shape from Stereo/Multiview Stereo	높은 정밀도의 3D 데이터 추정 가능.	3D 데이터 추정 결과가 물체 표면의 특성에 영향을 많이 받음.
Multiple-cue fusion	높은 수준의 모델링이 가능함.	모델링 시간이 오래 걸림.

객체의 3D 모델을 만들어내기 위해서는 객체가 갖는 3D 형태를 알아야 한다. 한 장면에 대해 두 장 이상의 영상이 있는 경우 해당 장면의 3D 정보를 추정해 낼 수 있으므로 물체의 전 방향에 대해 여러 장의 영상이 있는 경우 3D 형태를 복원할 수 있다.　3D 데이터 추정을 위한 방법은 사용하는 제약 조건에 따라 물체의 실루엣을 이용한 방법(Shape from Silhouettes), 3D 모델과 영상과의 일관성을 이용하는 방법(Shape from Photo- consistency), 스테레오/다시점 스테레오를 이용한 방법(Shape from Stereo / Multiview Stereo), 서로 다른 제약 조건을 결합한 방법(Multiple-cue fusion) 등이 있다. 표 1은 각 모델링 방법의 장점과 단점을 보인 것이다.

본 장에서는 3D 데이터 추정을 위한 각 방법들의 연구 동향에 대해 살펴본다.

2.1 Shape from Silhouettes

실루엣 기반 모델링 방법은 서로 다른 여러 시점에서 모델링의 대상이 되는 물체의 실루엣 영상을 획득하고 이를 통해 3차원 모델을 얻는다. 실루엣에서 얻을 수 있는 3D 데이터는 물체를 근사화한 Visual hull 이다. 실루엣 영상들은 각각 3차원 공간에 원뿔 형태의 volume을 생성하게 되며, 모든 volume들 사이의 AND 연산을 통해 Visual hull을 구한다.

Visual hull을 복원하는 방법들 중 가장 단순한 방법은 복셀(Voxel) 기반 방법[2] 이다. 알고리즘이 간단하고 구현이 쉬운 장점이 있으나, 복셀의 크기에 따라 복원된 모델의 정밀도가 결정되므로 근사화 된 복원만이 가능하다. Boyer 와 Franco는 silhouette 영상으로부터 polyhedral surface를 직접 생성하였다[3]. 복셀 기반의 방법이 갖는 높은 계산 복잡도를 피하기 위해 Tarini는 Marching Intersections 데이터 구조를 이용하여 polyhedral surface를 복원하는 알고리즘을 제안하였다[4]. 물체의 Visual hull을 3D로 모델링하는 대신 임의의 시점에서 Visual hull을 렌더링 하는 연구도 Matusik 등에 의해 수행되었다[5].

실루엣 기반 방법은 비교적 쉽게 물체의 3D 모델링이 가능하지만, Visual hull이 갖는 한계 때문에 물체의 완전한 형태를 복원할 수 없다는 단점이 있다. 그림 2와 같이 물체의 일부분이 오목한 경우, 오목한 부분은 실루엣에 나타나지 않는 경우 오목한 부분은 모델링이 불가능하다.

이러한 단점을 보완하기 위해 실루엣의 외곽선을 이용한 제약 조건을 통해 Visual hull을 개선하여 보다 실제 물체에 가까운 형태를 복원하는 것에 대한 연구도 이루어지고 있다[6]. 최근 컴퓨터의 성능이 향상됨에 따라 GPU(Graphics Processing Unit)을 통해 빠르게 Visual hull을 복원하거나 움직이는 물체를 실시간에 모델링하는 것에 대한 연구들도 이루어지고 있다[7,8].

그림 2. 실제 물체와 Visual hull 사이의 차이

2.2 Shape from Photo-Consistency

Photo-consistency는 3D 모델링된 물체를 카메라 파라미터를 통해 투영하였을 경우 생성되는 가상의 영상과 3D 모델링에 사용된 원영상과 동일하게 나타나야 한다는 제약 조건이다. Photo- consistency 제약 조건을 만족하는 물체는 물체 표면의 한 점이 각 시점의 영상들로 투영되었을 때 모든 영상에 대해 동일한 컬러값을 가져야 한다.

Photo-consistency를 이용하는 대표적인 연구로는 Seitz 와 Kutulakos가 제안한 Voxel Coloring 과 Space Carving 알고리즘이 있다[9, 10]. Generalized Voxel Coloring 알고리즘은 복셀의 가시성(Visibility) 판정을 효율적으로 하기 위해 카메라에서 가장 가까운 복셀을 저장하는 데이터 구조를 사용하였다[11].

Photo-consistency에 기반한 방법은 스테레오와 같이 영상 간의 대응점이나 조밀한 매칭을 계산할 필요한 없다는 장점이 있다. 그러나 물체의 표면이 Lambertian 성질을  갖는 것으로 가정하기 때문에 주변 환경에 존재하는 조명 조건에 따라 모델링이 어려운 경우도 있다. 이와 같은 문제점을 에너지 최소화(Energy minimization) 또는 확률적인 방법을 통해 해결하고자 하는 연구들이 제안되었다[12].  그 외에도 주변 환경의 조명 조건에 강건한 Photo-consistency 측정 방법들을 통해 알려지지 않은 조명 조건 아래서 물체의 3D 모델링을 수행하는 알고리즘들도 개발되었다[13,14]. 그림 3은 입력 영상에 밝은 영역(Highlight)이 존재하는 영상들로부터 Photo- consistency를 이용한 모델링 결과를 보인 것이다.

(a) 입력 영상들 중 2장

(b) 복원된 3D 모델

그림 3. Photo-consistency 조건을 이용해 영상으로부터 복원된 모델[14]

2.3 Shape from Stereo / Multiview Stereo

스테레오 알고리즘은 두 대 이상의 카메라들로부터 얻은 양안차 맵으로부터 영상의 픽셀들에 대응하는 3D 점 데이터를 얻음으로써 영상에 획득된 장면의 3D 정보를 복원한다. 스테레오 기반의 모델링 알고리즘들은 크게 두 장의 영상으로부터 3D 데이터를 추정하는 양안 스테레오와 두 장 이상의 영상들을 이용하는 다시점 스테레오로 분류된다. 양안 스테레오 분야는 지금까지 많은 연구가 이루어져 왔으며, 주로 하나의 깊이맵을 계산하는 것을 목적으로 한다[15]. 양안 스테레오는 정지 영상 뿐만 아니라 비디오 시퀀스에 대해서도 각각 프레임 별로 적용이 가능하다는 장점을 갖는다. 그러나 텍스쳐의 변화가 적고 균일한 부분이나, 깊이의 불연속이 있는 부분, 차폐 영역에 대해서는 정확한 3차원 정보를 구하지 못하는 단점이 있다.

이에 반해 다시점 스테레오는 복원하려는 물체의 완전한 3D 모델을 생성하는 것이 목적이다. 다시점 스테레오는 연속된 영상 시퀀스로부터 인접한 영상들 사이의 단일 양안차 맵을 구하고 이들 양안차 맵들 사이의 최적화를 통해 물체의 전 방뱡에 대한 3D 데이터를 얻는다. 양안 스테레오에 비해 보다 정확한 깊이맵을 얻을 수 있으므로, 영상 기반 객체 모델링에서는 다시점 스테레오가 주로 쓰인다. 그림 4는 다시점 스테레오를 이용하여 3D 복원을 수행한 결과를 보인 것이다.

다시점 스테레오에 기반한 객체 모델링 방법들은 3D 볼륨 공간으로부터 비용 함수(cost function)을 계산하고 볼륨으로부터 곡면을 추출하는 방법[16], 반복적으로 3D 모델을 개선하여 비용 함수의 오차를 최소화하는 방법[17-19], 다시점 영상에서 여러 개의 깊이맵을 생성하고 이들 사이의 일관성을 제약 조건으로 이용하는 방법[20], 영상들 사이의 특징점을 복원하고 특징점들을 이용해 물체의 곡면을 맞추어가는 방법[21] 등으로 분류할 수 있다. 최근에는 GPU를 통해 빠른 성능을

(a) 입력 영상들 중 3 장

(b) 복원된 3D 모델

그림 4. 다시점 스테레오를 이용한 3D 모델링 결과 [22]

보이는 알고리즘도 개발되고 있다[22].

2.4 Multiple-cue Fusion

하나의 제약 조건 만을 적용하여 3D 모델링을 수행하는 경우는 각 조건들이 갖는 한계 때문에 물체의 형태를 완전하게 복원하기 어렵다. 이 때문에 두 가지 이상의 제약 조건을 융합하여 3D 모델링에 적용함으로써 보다 나은 3D 모델링 결과를 얻기 위한 연구들이 진행되어 왔다.

주로 함께 사용되는 제약 조건은 실루엣과 다시점 스테레오이다. 실루엣을 통해 물체의 대강의 형태를 알아내고, 다시점 스테레오 정보를 이용해서 초기 모델을 개선함으로써 보다 세밀한 부분의 모델링이 가능하다. 이와 같은 접근 방법은 크게 실루엣을 통해 Visual hull을 복원하고, 이를 개선하는 방법과 실루엣 정보와 Photo-consistency 정보를 융합하여 메쉬 모델을 최적화하는 방법으로 나눌 수 있다.

Isidoro는 텍스쳐 공간에서 현재 복원된 모델이 갖는 영상과의 오차를 계산하고 MAP (Maximum a Posteriori)를 통해 물체의 형태를 반복적으로 최적화하였다[24]. Esteban은  3D 깊이맵을 계산하고 이를 볼륨 기반의 비용 함수에 적용하였다. Gradient Vector Flow(GVF[25])를 통해 메쉬 모델을 변형함으로써 보다 개선된 3D 객체 모델을 생성하였다[26].

Sinha는 물체의 3D 형태를 최적화하는 과정에서 실루엣 정보와 photo-consistency 정보를 함께 사용하여 보다 정밀한 모델링이 가능하게 하였다[27]. Furukawa는 물체의 특징점들을 스테레오 매칭을 통해 3D로 복원하고 Graph-cut을 이용한 에너지 최소화를 통해 반복적으로 Visual hull을  최적화 하였다[28].  메쉬 변형 알고리즘의 경우 메쉬의 해상도에 따라 보다 세밀한 부분의 표

(a) 초기 Visual hull

(b) 중간 단계 모델

(c) 최종 모델

그림 5. 메쉬 변형을 통한 메쉬 모델의 개선[25]

현이 가능하게 되므로 Sub-division과 같이 메쉬를 동적으로 조절하는 것이 필요하다.

그림 5는 초기 Visual hull이 단계적으로 개선되는 과정을 보여준다. 최적화 과정을 반복함에 따라서 Visual hull이 점차 실제 형태에 가깝게 변형되는 것을 볼 수 있다.

3. 텍스쳐 생성 및 매핑

복원된 3D 메쉬 모델의 실감성을 높이기 위해서는 3D 모델링에 사용된 실제 영상을 이용해서 텍스쳐 매핑을 한다. 메쉬의 삼각형을 영상으로 투영하고, 해당 삼각형이 영상에서 점유하는 영역을 텍스쳐로 사용하는 것이 일반적이다. 그러나 조명 조건이 영상마다 다르고, 영상 획득시 부분적인 폐색(Occlusion)으로 인해 텍스쳐 매핑이 불가능한 경우가 있다. 다시점 영상을 이용한 텍스쳐 매핑은 시점에 따라 텍스쳐를 변화시키는 view-dependent 방식과 시점과 무관하게 텍스쳐를 적용하는 view-independent 방식이 있다.

3.1. View-dependent 텍스쳐 매핑

View-dependent 방식은 현재 사용자가 모델을 바라보는 시점이 변함에 따라 텍스쳐도 변화하는 방식이다. 사용자의 시점과 가까운 몇 장의 영상에서 얻은 텍스쳐를 블렌딩 하여 현재 시점에서 모델을 바라보았을 때의 텍스쳐를 얻는다[29].

그러나 이 방법은 복원된 3D 모델이 실제 대상물과 차이가 있는 경우 텍스쳐가 잘못 매핑될 수 있다. 그 외에도 서로 다른 영상의 텍스쳐가 겹치는 부분이 생길 수 있으므로 겹침에 의해 텍스쳐들 사이의 이질감이 나타날 수 있다. 그림 6은 view-dependent 텍스쳐 매핑을 모델에 적용한 결과를 보인 것이다.

3.2 View-independent 텍스쳐 매핑

View-independent 방식은 모델링에 사용된 영상들 중 메쉬의 삼각형에 가장 알맞은 영상을 선택하여 텍스쳐를 생성한다  View-independent 방식은 사용자의 시점에 관계없이 텍스쳐가 일정하다는 장점이 있다. 그러나 서로 인접하고 있는

그림 6. View-dependent 텍스쳐 매핑[29]

삼각형들도 서로 다른 영상에서 텍스쳐를 가져올 수 있으므로 텍스쳐 사이의 경계가 나타나는 문제점이 있다.

이 때문에 메쉬의 삼각형의 텍스쳐를 보간하여 경계를 보이지 않도록 하는 알고리즘이 제안되었다[7]. Carranza 등은 픽셀 단위로 가시성을 판단하는 대신 점(vertex) 단위로 가시성을 판단하여 텍스쳐 매핑의 에러를 줄였다. 또한 여러 시점에서 가져온 텍스쳐를 보간할 때 손상되는 세밀한 부분을 보존하기 위해서 점의 노멀 벡터와 카메라의 시점 벡터를 이용해 가중치를 계산하는 방법을 제안하였다. 그림 7은 View-independent 방식을 이용한 텍스쳐 매핑 결과이다. 각각의 그림에서 작은 그림은 실제 입력 영상 중 하나이고 큰 그림은 텍스쳐가 입혀진 3D 모델을 입력 영상과 동일한 시점에서 바라본 것이다.

3.3 텍스쳐 혼합(Blending) 알고리즘

앞서 설명한 두 가지 방법의 텍스쳐 매핑 모두 서로 다른 영상에서 가져온 텍스쳐들을 혼합함으로써 보다 부드러운 텍스쳐 매핑을 수행한다. 텍스쳐 혼합은 각 영상에서 가져온 텍스쳐 사이의 가중치를 통해 이루어진다.

가중치는 삼각형의 법선 벡터와 카메라의 시점 벡터가 이루는 각도, 삼각형의 법선 벡터와 현재 시점 벡터가 이루는 각도, 또는 텍스쳐를 획득한

그림 7. View-independent 텍스쳐 매핑[30]

카메라의 시점 벡터와 현재 시점 벡터 사이의 각도 등을 이용하여 결정한다. 가중치는 점 단위 또는 폴리곤 단위로 계산된다[33,34]. Matsuyama는 폴리곤을 구성하는 점들의 컬러를 결정하고 점들 사이의 컬러를 보간하여 폴리곤 내부의 컬러를 결정하는 방법을 제안하였다[35].  이러한 보간법은 구현이 쉽지만 크기가 큰 폴리곤의 경우 내부의 세밀한 부분은 표현이 어렵다.

4. 영상 기반 객체 모델링의 응용

4.1 문화재 및 유적지 복원

기술과 하드웨어 성능의 발달과 더불어 영상 기반 객체 모델링의 응용 분야는 점차 다양해지고 있다. 그 중에서도 많이 쓰이는 곳은 문화재 또는 유적지를 3D 모델로 복원하는 분야이다[26,31]. 크기가 큰 유적지의 경우 거리 센서를 사용하는 경우 데이터 획득에 많은 시간을 필요로 하므로 넓은 영역을 모델링을 할 수 있는 영상 기반 모델링과 함께 복합적인 방법을 적용한다. 그림 8는 영상 기반 모델링을 통한 문화재 복원의 예를 보인 것이다.

(a)	(b)	(c)
그림 8. 영상 기반 모델링을 이용한 문화재 복원 (a) 입력 영상 (b) 복원된 3D 모델 (c) 텍스쳐가 입혀진 모델[26]

영상 기반 모델링은 비접촉식이고, 빛이나 초음파 등을 사용하지 않는 수동적인 방식으로 모델링하므로 문화재나 유적지를 훼손하지 않고 모델링이 가능하다.

4.2 방송 분야

가상현실 및 증강현실 기술의 적용이 늘어나면서 방송 분야에서도 영상 기반 모델링 기술을 적극적으로 도입하고 있다. 방송 분야에서의 영상 기반 모델링은 가상 스튜디오에 삽입되는 가상 공간을 생성하거나  배우의 3D 모델링에 쓰이고 있다[32]. 3D 모델링 된 콘텐츠를 통해 사용자는 시점에 제한을 받지 않고 다양한 시점에서 콘텐츠를 감상할 수 있다.그림 9는 실루엣 기반으로 배우를 3D로 실시간 모델링하고 텍스쳐 매핑된 배우와 가상 공간을 합성한 것을 보여준다.

그 외에도 높은 하드웨어 성능을 이용해 실시간 모델링이 가능하게 되면서 가상 공간에서의 3D 상호작용 인터페이스로도 사용되고 있다[8].

4.3 UCC(User-Created Contents) 분야

UCC는 사용자가 직접 만들어낸 콘텐츠를 인터넷을 통해 타인과 공유하는 개념이다. 사용자 자신이 콘텐츠의 소비자이면서 콘텐츠를 제공하는

(a)	(b)
그림 9. 영상 기반으로 구성된 가상환경 (a) 3D 모델링된 배우 (b) 영상 기반 가상 환경에 합성된 배우[32]

두 가지 역할을 동시에 하게 된다. 영상 기반 객체 모델링 기술은 많은 부분의 자동화가 가능하므로 사용자가 많은 지식이 없어도 모델링을 직접할 수 있다.  이러한 측면에서 영상 기반 객체 모델링 기술을 UCC를 위한 콘텐츠 제작 방법으로 적용하려는 연구가 진행 중이다[36].

VR@Home 플랫폼[36] 은 사용자로 하여금 영상 기반 객체 모델링 모듈을 통해 3D 콘텐츠를 만들고 이를 가상 공간 속에 합성할 수 있도록 한다. VR@Home 플랫폼의 영상 기반 객체 모델링 모듈은 모델링의 자동화를 위해 특별히 제작된 패턴을 이용해서 카메라 보정을 수행한다. 영상에서 모델링의 대상만을 분리하는 것은 정규화된 RGB 컬러 공간을 이용하여 이루어진다. 그림 10은 패턴 영상 및 물체 분리 결과를 보여준다.

3D 객체 모델 생성에 있어서는 가정용 PC에서도 빠른 모델링이 가능하도록 GPU를 이용하여 초기 모델을 생성하고, 초기 모델을 실루엣과 컬

(a)	(b)
그림 10. 카메라 보정을 위한 패턴 및 물체 분리 결과 (a) 패턴 영상 (b) 물체 분리 결과

(a)	(b)	(c)
그림 11. 가상 데이터를 이용한 모델링 결과 (a) 실루엣 영상 (b) 초기 모델 (c) 개선된 모델[36]

러 영상을 이용하는 Multiple-cue fusion 방법을 통해 초기 모델을 개선함으로써 최종 모델을 생성한다. 그림 11은 가상 데이터를 사용한 모델링 결과를 보인 것이다.

5. 결 론

영상 기반 객체 모델링 기술은 시각적으로 높은 사실감을 제공할 수 있으므로 실감 방송 콘텐츠 제작에 중요한 요소 기술들 중의 하나이다. 영상 기반 객체 모델링은 영상획득, 카메라 보정, 3D　데이터 추정,  메쉬 모델 생성, 텍스쳐 매핑의 단계로 구성되어 있다. 본 논문에서는 영상 기반 모델링 과정 중 3D 데이터 추정, 메쉬 생성, 텍스쳐 매핑의 3 단계에 대해 연구 동향을 살펴보았다. 영상 기반 객체 모델링은 문화재 등의 복원에 많이 쓰이고 있으며, 방송, 영화 등으로 응용 분야가 확대되어 가고 있다.  그 외에도 UCC 분야에서의 3D 콘텐츠 제작에도 적용되고 있다. 하드웨어의 발달과 더불어 보다 높은 사실성을 지니면서도 빠른 모델링 성능을 지니는 알고리즘들이 제안되고 있으므로 보다 많은 분야에서 활용될 수 있을 것이다.

참 고 문 헌

[ 1 ]  SJ. Oh, W. Lee, Y. Park, W. Woo, “u-Contents : A New Kinds of realistic contents in ubiquitous smart space,” Int. Symposium on Ubiquitous VR, pp. 23-26, 2006.

[ 2 ]  R. Szeliski, “Rapid octree construction from image sequences,” Computer Vision, Graphics and Image Processing: Image Understanding, 58(1):23-32, 1993.

[ 3 ]  J. S. Franco, E. Boyer, “Exact Polyhedral Visual Hulls,” BMVC, pp. 329-338, 2003.

[ 4 ]  M. Tarini, M. Callieri, C. Montani, C. Rocchini, K. Olsson, T. Persson, “Marching Intersections: An Efficient Approach to Shape-from- Silhouette,” VMV2002, 2002.

[ 5 ]  Matusik, W., Buehler, C., Raskar, R., McMillan, L., and Gortler, S., Image-Based Visual hulls, In Proc. of SIGGRAPH 2000.

[ 6 ]  J. S. Franco, M. Lapierre, E. Boyer, “Visual Shapes of Silhouette Sets,” 3DPVT '06, 2006.

[ 7 ]  M. Li, M. Magnor, H. P. Seidel, “Hardware Accelerated Visual hull Reconstruction and Rendering,” Graphics Interface, pp. 65-71, 2003.

[ 8 ]  J. M. Hasenfratz, M. Lapierre, F. Sillion, “A real-time System for Full Body Interaction with Virtual Worlds,” Eurographics Symposium on Virtual Environments, pp. 147-156, 2004.

[ 9 ]  S. M. Seitz, C. R. Dyer, “Photorealistic scene reconstruction by voxel coloring,” IJCV, pp. 17-24, 1998.

[10]  K. N. Kutulakos, S. M. Seitz,  “A theory of shape by space carving,” IJCV, 38(3): 199-218, 2000.

[11]  W. B. Culbertson, T. Malzbender, G. Slabaugh, “Generalized Voxel Coloring,”  Int’l Workshop on Vision Algorithms, LNCS, ISBN 3-540- 67973-1, pp. 100-115, 1999.

[12]  A. Broadhurst, R. Cipolla, “A statistical consistency check for the space carving algorithm,” BMVC, pp. 282-291, 2000.

[13]  R. Yang, M. Pollefeys, G. Welch, “Dealing with Textureless Regions and Specular Highlight: A Progressive Space Carving Scheme Using a Novel Photo-consistency Measure,” ICCV, pp. 576-584, 2003.

[14]  A. Hornung, L. Kobbelt, “Robust and Efficient Photo-Consistency Estimation for Volumetric 3D Reconstruction,” ECCV, LNCS, vol. 3952, pp. 179-190, 2006.

[15]  D. Scharstein and R. Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. IJCV, 47(1):7.42, 2002.

[16]  G. Vogiatzis, P. Torr, and R. Cipolla. Multi-view stereo via volumetric graph-cuts. In CVPR, pp. 391.398, 2005.

[17]  P. Fua, Y. Leclerc, “Object-centered surface reconstruction: Combining multi-image stereo and shading,” IJCV, 16:35.56, 1995.

[18]  L. Zhang, S. Seitz. “Image-based multi -resolution shape recovery by surface deformation,” In SPIE: Videometrics and Optical Methods for 3D Shape Measurement, pp. 51-61, 2001.

[19]  T. Yu, N. Xu, N. Ahuja, “Shape and view independent reectance map from multiple views,” ECCV, pp. 602-616, 2004.

[20]  P. Gargallo, P. Sturm. “Bayesian 3D modeling from images using multiple depth maps,” CVPR, Vol. II, pp. 885-891, 2005.

[21]  C. J. Taylor, “Surface reconstruction from feature based stereo,” ICCV, pp. 184-190, 2003.

[22]  P. Labatut, R. Keriven, J. P. Pons, “Level set multi-view stereo on graphics hardware,” 3DPVT06, 2006.

[23]  S. M. Seitz, B. Curless, J. Diebel, D. Scharstein, R. Szeliski, “A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms,” CVPR, Vol. 1, pp. 519-526, 2006.

[24]  J. Isidoro, S. Sclaroff, “Stochastic Refinement of the Visual hull to Satisfy Photometric and Silhouette Consistency Constraints,” ICCV, pp. 1335-1342, 2003.

[25]  C. Xu, J.L. Prince, “Snakes, Shapes, and Gradient Vector Flow,” IEEE Trans. on Image Processing, 359-369, March, 1998.

[26]  C. H. Esteban and F. Schmitt, “Silhouette and Stereo Fusion for 3D Object Modeling,” CVIU, Vol. 96, No. 3, pp. 367-392, 2004.

[27]  Sinha, M. Pollefeys, “Multi-view Reconstruction using Photo-consistency and Exact Silhouette Constraints: A Maximum-Flow Formulation,” ICCV, 2005.

[28]  Y. Furukawa and J. Ponce, “Carved Visual hulls for Image-Based Modeling,” ECCV, LNCS 3951, Vol. 1, pp. 564-577, 2006

[29]  F. Remondino, J. Niederoest, “Generation of High-Resolution Mosaic for Photo-Realistic Texture-Mapping of Cultural Heritage 3D Models,” VAST2004, pp. 85-92, 2004.

[29]  P.E. Debevec, C. J. Taylor, J. Malik, “Modeling and rendering architecture from photographs: A hybrid geometry- and image-based approach,” Computer Graphics, 30:11-20, 1996.

[30]  J. Carranza, C. Theobalt, M. Magnor, H. P. Seidel, “Free-viewpoint video of human actors,” ACM Trans. on Computer Graphics, 22(3):569-577, July, 2003.

[31]  S. Tosovic and R. Sablatnig, “3D modeling of archaeological vessels using shape from silhouette,” 3DIM, pp. 51-58, 2001.

[32]  O. Grau, T. Pullen, G.A. Thomas, “A combined studio production system for 3D capturing of live action and immersive actor feedback,” IEEE Trans. on Circuits and Systems for Video Technology. Vol. 14, No. 3, March 2003.

[33]  P. E. Debevec, Y. Yu, G. D. Borshukov, “Efficient view-dependent image-based rendering with projective texture mapping,” EuroGraphics Workshop on Rendering, 1998.

[34]  B. Goldlucke, M. Magnor, “Real-time microfacet billboarding for free-viewpoint video rendering,” ICIP, Vol. 3, pp. 713-716, 2003.

[35]  T. Matsuyama, T. Takai, “Generation, visualization, and editing of 3D video,” 3DPVT, pp. 234, 2002.

[36]  W. Lee, K. Kim, C. R. Babu, J. Yu, J. Lee, K. Lee, W. Woo, “VR@Home : A Personal VR Studio Platform,” Int'l Symposium on Ubiquitous VR, pp. 63-66, 2006.

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

이  원  우

∙2003년 한양대학교 기계공학부(공학사)

∙2004년 광주과학기술원 정보통신공학과 (공학석사)

∙2004년～현재 광주과학기술원 정보통신공학과 박사과정

∙관심분야 : 영상 기반 모델링, 가상/증강현실, HCI

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

우  운  택

∙1989년 경북대학교 전자공학과 (학사)

∙1991년 포항공과대학교 전기전자공학과 (석사)

∙1998년 University of Southern California, Electrical Engineering-System (박사)

∙1999년～2001년 ATR. 초빙 연구원

∙2001년～현재 광주과학기술원 정보기전공학부 부교수

∙2005년～현재 광주과학기술원 문화기술연구센터장

∙관심분야 : 3D 컴퓨터비전, 증강현실, HCI, 유비쿼터스 컴퓨팅, 컨텍스트 인식, 문화기술 등

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□