개인형 가상 스튜디오 플랫폼 구현을 위한 요소기술 연구 동향

본 연구는 한국전자통신연구원 광통신연구센터의 FTTH 서비스개발 실험사업 연구지원으로 수행되었음.

A Survey on Technologies for Developing a Personal VR Studio Platform

요 약

인터넷과 컴퓨터 성능의 발달에 따라 수동적인 콘텐츠 소비자였던 사람들이 콘텐츠 생산자로서의 역할까지 함께 수행하게 되었다. 이와 함께 개인 라디오 방송국과 같은 개인 방송이 대중화 되고 있다. 본 논문에서는 멀티미디어 개인 방송을 위한 개인형 가상 스튜디오 플랫폼 구축을 위해 필요한 요소 기술들과 그들의 연구 동향을 살펴보고 개인형 가상 스튜디오 플랫폼으로 개발된 VR@Home과 이를 이용한 개인 방송국 시스템을 소개한다. 개인형 가상 스튜디오 플랫폼을 통해 사용자는 개인화된 콘텐츠를 만들고 이를 인터넷을 통해 다른 사람들에게 실시간으로 방송 및 공유 할 수 있다. 개인형 가상 스튜디오 플랫폼은 개인의 콘텐츠 제공자로서의 역할을  더욱 증대시킬 것으로 기대되며, 원거리 교육, 엔터테인먼트 및 소호(SOHO)와 같은 분야에 효과적으로 쓰일 수 있다.

Abstract

Increasing usage of the Internet and PCs in our life, changes the role of people from the passive contents consumer to the active contents provider. With this trend, personal broadcasting, such as internet radio is popularized. In this paper, we survey on the technologies for developing a personal VR Studio platform. In addition, we propose VR@Home as our prototype of the personal VR studio platform and a personal broadcasting system exploiting VR@Home. A user can create personalized contents and share them on the internet through the personal VR studio system. The proposed VR studio system is applicable to Internet applications, such as on-line education, entertainment, remote collaboration and SOHO for on-line marketing.

Keyword : VR Studio(가상스튜디오), 3D Modeling, Background Subtraction(배경 분리), Light Source Estimation(광원 추정), Image Composition(영상 합성)

I. 서론

전통적으로 사람들은 콘텐츠 제공자(Contents provider)가 제공하는 신문, 라디오, TV 뉴스 등과 같은 콘텐츠들을 수동적으로 받아들여 왔다. 그러나 최근에는 수동적인 콘텐츠의 소비 주체에서 벗어나 스스로 콘텐츠를 만들고, 다른 사람들에게 배포하는 콘텐츠의 생산자로서의 역할도 함께 수행하고 있다. 사람들이 만들어내는 콘텐츠는 문자 위주의 콘텐츠뿐만 아니라 블로그나 구글의 비디오 서비스와 같이 사진, 음악 및 동영상 등 멀티미디어 콘텐츠가 주류를 이루고 있다. 이와 같이 멀티미디어 콘텐츠를 웹(Web)에 게시하고 다른 사람들과 공유하는 것이 보편화되어 가고 있으며, PodCast[1] 나 아프리카[2] 와 같은 개인 방송 형태의 서비스도 제공되고 있다. 일상생활 속에서 컴퓨터와 인터넷의 활용도가 높아지고, 보급형 컴퓨터의 성능이 비약적으로 향상됨에 따라 이러한 현상은 더욱 가속화 되고 있다. 이와 함께  멀티미디어 개인 방송을 위한 솔루션에 대한 요구가 증가하고 있다.

멀티미디어 개인 방송이 이루어지는 장소가 가정이라는 한정된 공간임을 고려할 때 가상/증강현실 기술은 실세계와 가상 공간의 합성을 통해 가정이라는 공간의 제약을 벗어나게 할 수 있다. 가상/증강 현실 기술은 이미 TV 방송국 등에서 광고, 스포츠 중계, 다큐멘터리와 같은 프로그램에 성공적으로 쓰이고 있다 [3, 4]. 방송에서의 응용 외에도 가상/증강현실 기술을 점차 개인용 솔루션에 도입하는 움직임도 나타나고 있다 [5]. 기존의 방송사에서 사용하는 시스템과 방송 장비는 규모가 큰 스튜디오를 대상으로 제작되었고, 시스템 구축에 비용이 많이 들어가므로 개인 방송용 솔루션으로서 개인이 가정에서 운용하기에는 무리가 있다. 또한 기존의 가상 스튜디오에서 제공하는 기능들을 가정용 PC를 기반으로 구현하는 경우 여러 가지 문제점들이 발생하게 되므로 멀티미디어 개인 방송에 알맞은 기술과 시스템의 개발이 필요하다.

이와 같은 관점에서, 본 논문에서는 멀티미디어 개인 방송을 위한 개인형 가상 스튜디오 플랫폼의 개발을 위해 필요한 요소 기술 및 연구 동향을 살펴보고 개인형 가상 스튜디오  플랫폼(VR@Home)과 이를 활용한 개인 방송국 시스템에 대해 소개한다.  VR@Home 시스템은 영상 기반 모델링을 통해 실사 기반으로 생성된 2.5D 가상 환경과 3D 객체 및 배경으로부터 분리된 사용자를 합성한다. 실사 기반의 가상 공간은 보다 높은 사실성을 제공하며 실세계의 광원 정보를 반영해 가상의 공간에 생성된 그림자는 사용자와 3D 가상 객체가 가상 공간과 보다 자연스럽게 합성되도록 한다. VR@Home 시스템은 3D 객체와 배경을 생성하기 위한 카메라 보정 모듈, 영상 기반 3D 객체 및 배경 모델링 모듈, 실시간 사용자 분리를 위한 배경/객체 분리 모듈, 실제 공간의 광원 추정을 위한 광원 추정 모듈, 부드러운 그림자의 실시간 생성을 위한 그림자 생성/렌더링 모듈, 그리고 증강 현실 기반의 감각형 사용자 인터페이스로 구성된다. 개인형 가상 스튜디오 플랫폼을 통해 사용자는 개인화된 콘텐츠를 만들고 이를 인터넷을 통해 다른 사람들에게 실시간으로 방송 및 공유 할 수 있다.

본 논문의 구성은 다음과 같다. 2 장에서는 가정에서 개인형 가상 스튜디오 플랫폼을 구축할 때 대두되는 문제점들과 각 문제점들을 해결하기 위한 기술들의 연구 동향에 대해 살펴본다. 3 장에서는 VR@Home 시스템과 이를 응용한 개인 방송 시스템에 대해 설명하고, 4 장에서는 결론 및 향후 연구에 대해 논한다.

II. 개인형 가상 스튜디오 구현을 위한 요소 기술

개인형 가상 스튜디오 플랫폼은 기본적으로 가상 스튜디오와 같이 사용자를 분리 및 합성 하는 기능을 가져야 한다.  가상의 장면과 사용자를 합성 할 때에도 일정 수준의 사실성을 갖도록 하여 보는 이가 느낄 수 있는 이질감을 최소화할 수 있는 합성 기술이 필요하다. 그 외에도 개인화된 방송을 위해서 사용자가 자신만의 콘텐츠를 만들 수 있어야 하며, 가상의 객체와 사용자가 상호작용을 할 수 있는 인터페이스를 제공하여 사용자가 방송을 적극적으로 진행할 수 있어야 한다. 이 장에서는 이러한 기능들을 구현하기 위해 필요한 기술들과 연구 동향에 대해 설명한다.

2.1. 카메라 보정 기술

카메라 보정은 카메라의 초점거리, 주점(Principal point)과 같은 내부 파라미터(Intrinsic parameter)와 카메라의 위치 및 회전을 나타내는 외부 파라미터(Extrinsic parameter)를 추정하는 것이다. 카메라 보정은 가상 객체의 합성 및 3D 콘텐츠 생성을 위한 영상 기반 모델링 과정에서 반드시 선행되어야 한다.

일반적으로 카메라 보정은 미리 알려진 패턴을 이용해 영상을 획득하고 이로부터 비선형 오차함수를 최소화함으로써 카메라 파라미터를 추정한다 [6, 7]. Zhang은 데스크톱 비전 시스템 (Desktop Vision System: DVS)을 위해 비전에 비전문가라 하더라도 용이하게 카메라를 보정 할 수 있는 방법을 제안하였다 [8]. 패턴을 이용하는 방법들은 근거리에 대해서는 만족할 만한 결과를 얻을 수 있지만, 거리가 멀어질수록 정확도가 급격히 저하된다. 이는 한 화소가 차지하는 영역이 거리가 멀어짐에 따라 증가하고, 그에 따라 보정 패턴의 격자점 (Grid point)를 검출할 때 오차가 증가하기 때문이다.

그 외에도 패턴을 사용하기 어려운 실외 환경에서의 카메라 보정을 위해 패턴을 사용하지 않고 일반적인 장면에서 카메라 보정을 하는 카메라 자동 보정 방법들도 제안되어왔다 [9, 10]. [그림 1]은 일반 영상 시퀀스로부터 카메라 자동 보정을 수행한 후, 추정된 카메라의 외부 파라미터를 이용해 카메라의 위치를 나타낸 것이다.

(a)
(b)
[그림 1] 카메라 자동 보정 결과 (a) 영상 시퀀스 중 두 장의 영상 (b) 카메라 보정의 결과로 복원된 카메라의 위치

2.2 영상 기반 3D 모델링 기술

가상 현실에서 주로 많이 사용되는 3D CG 모델들은 3DS Max 나 Maya 와 같은 고가의 3D 모델링 소프트웨어를 이용해 전문 인력이 제작해왔다. 그러나 일반 사용자가 복잡한 소프트웨어의 기능을 익히기 위해서는 많은 시간과 노력이 필요하므로 모델링 소프트웨어를 이용한 3D 콘텐츠 제작 방법은 개인형 가상 스튜디오에 부적합하다. 이에 반해 영상 기반 모델링은 3D 모델 생성 과정의 많은 부분을 자동화 할 수 있으므로 사용자의 조작을 최소화하여 3D CG 모델을 생성할 수 있게 할 수 있다. 또한 실사로부터 만들어진 3D 모델은 높은 사실성을 지닌다는 장점이 있다.

2.2.1 2.5D/3D 배경 모델링 기술

실제 환경을 모델링하여 가상 공간을 생성하는 방법에는 거리 센서와 같은 하드웨어를 이용하여 데이터를 얻은 후 모델링하는 방법 [11], 2D 영상으로부터 3D 정보를 복원하여 모델링하는 순수 영상 기반 방법 [12], 그리고 앞의 두 가지를 혼합한 복합적인 방법[13] 등이 있다.

거리 센서는 정밀도가 높은 대신 한 번에 데이터를 얻을 수 있는 범위가 작다. 영상 기반 방법은 정밀도는 거리 센서에 비해 낮지만 넓은 영역을 모델링하는 것이 가능하다. 복합적인 방법은 건물의 일부분과 같이 정밀한 모델링이 필요한 부분은 거리 센서를 이용하고 높은 정밀도가 필요치 않은 전체 형태는 영상 기반 모델링 방법을 사용한다. 그 결과 높은 수준의 결과물을 얻을 수 있으나 두 가지의 모델링 방법을 각각 따로 수행해야 하므로 자동화가 어렵다.

(a)	(b)
[그림 2] 배경 모델링을 통해 생성된 가상 환경 (a) 거리 센서 기반 방법을 이용해 생성된 가상 환경 [11] (b) 영상 기반 방법을 통해 생성된 가상 환경 [12]

2.2.2 영상 기반 3D 객체 모델링 기술

영상 기반 객체 모델링 기술에는 영상으로부터 추출하는 제약 조건에 따라 실루엣 기반 방법 [14], 스테레오 영상이나 다시점 스테레오 영상을 이용하는 방법[15, 16] 등이 주로 쓰인다. 실루엣 기반 방법은 물체의 형태를 빠르게 복원할 수 있으나, 실루엣이 갖는 물체의 불확실성 때문에 완전한 형태를 복원할 수 없다. 스테레오 기반 방법은 영상의 3D 정보를 직접 얻을 수 있으나 물체의 표면 특성에 따라 3D 데이터의 정밀도가 달라진다는 단점이 있다. 물체의 표면이 갖는 텍스쳐(Texture)가 변화가 없고 균일한 색을 갖는 경우는 스테레오 영상에서 서로 대응하는 픽셀을 찾기 어려우므로 깊이 데이터의 정밀도가 감소한다.

단일 제약 조건을 사용하는 경우 물체의 완전한 형태를 복원하기 어렵기 때문에 이를 극복하기 위해서 최근에는 2개 이상의 제약조건을 사용하는 복합적인 방법도 제안되고 있다. [17]. [그림 4]는 실루엣으로부터 메쉬 변형을 통해 생성된 3D 모델을 보인 것이다.

(a)
(b)	(c)
[그림 4] 영상 기반 객체 모델링 결과 (a) 실루엣 영상 (b) 복원된 초기 visual hull (c) 메쉬 변형을 통해 생성된 최종 모델

2.3 영상 합성을 위한 광원 추정 및 실시간 그림자 생성 기술

사용자가 만든 3D 모델, 배경으로부터 분리된 사용자, 그리고 가상의 CG 배경 등이 준비되면 실제로 방송이 이루어질 장면을 만들기 위해서 합성 과정을 거치게 된다. 사실적인 합성을 위해 필요한 많은 요소들이 있으나 그 중에서 그림자는 실시간에 적용이 가능하면서 공간감을 제공하여 사실감을 높일 수 있는 요소이다. 그림자는 물체들 간의 상대적인 위치와 크기 관계를 알려주며, 그림자의 모양을 통해 그림자를 만드는 물체의 형상이나 그림자가 맺히는 곳의 기하학적인 모양을 파악할 수 있다.

사실감을 높이기 위해 영상 합성 시 적절한 그림자를 생성하기 위해서는 현재 사용자가 있는 실제 환경의 조명 조건과 가상 공간의 조명 조건을 일치시킬 필요가 있다. 이를 위해 실제 환경의 조명 조건을 추정하여 가상 공간에 적용하는 기술들이 개발되었다.

실제 환경의 광원을 추정하는 방법은 주로 파노라마 영상을 얻은 후, 이로부터 추정을 하는 것이 일반적으로 널리 쓰이고 있다 [18]. 그 외에, Xiaochun 등은 지면에 수직으로 막대형 오브젝트를 설치하여 생성되는 그림자와 형상정보를 이용하여 파노라마 영상 대신 일반 영상으로부터 광원을 추정하였다 [19].

추정된 광원 정보를 이용해 자연스러운 합성을 하기 위해서는 보는 사람이 실제와 비슷한 느낌을 가질 수 있는 그림자를 만들어야 한다. 실시간 그림자 생성은 단순한 그림자(Hard shadow)를 만드는 것이 기본적인 방법이다 [20]. 이들은 알고리즘의 구현이 쉬운 장점이 있으나, 그림자의 계단현상(Aliasing effect)의 문제가 있고 선분이나 실루엣과 같은 부가 정보의 계산이 필요하다. 단순한 그림자의 문제점을 해결하기 위해 부드러운 그림자(Soft shadow)를 생성하는 방법들도 제안되었다. 부드러운 그림자를 실시간에 생성하는 방법은 영상 기반(Image-based)의 방법과 객체 기반(Object-based) 방법이 있으나 많은 계산을 필요로 하게 된다 [21]. [그림 5]는 실세계의 광원 정보를 추정하고, 이를 반영하여 가상의 물체를 영상에 합성한 결과이다.

(a)	(b)
[그림 5] 가상의 물체와 실제 영상의 합성 결과 [18] (a) 배경 영상 (b) 추정된 광원 정보를 반영한 합성 결과

2.4 실시간 사용자 분리 기술

일반적으로 가상 스튜디오에서는 실제 배우를 가상의 장면에 삽입하기 위해 블루 스크린과 같은 단색 배경과 크로마키 기법 (Chroma-keying)을 이용한다. 그러나 가정에서 운용되는 개인형 가상 스튜디오 플랫폼에서 블루 스크린 장비를 사용하는 것은 시스템의 운용 측면에서나 경제적인 측면에서 바람직하지 않다. 따라서 개인형 가상 스튜디오 플랫폼에서는 특별한 장비가 없이 일반적인 배경으로부터 사용자를 분리해 내는 기술이 필요하다.

일반적인 배경에서 물체를 분리하는 기술에 대한 연구로는 분리할 물체와 배경 영상의 컬러 밀도 차이를 이용하는 방법[22],  스테레오 영상을 이용한 방법[23], 그리고 이들을 조합한 방법[24] 등이 제안되었다. 그 외에도 특정 컬러 공간을 이용하는 방법, 컬러의 유사성에 기반한 방법[25] 등의 알고리즘들도 제안되었다. 배경 분리의 속도를 높이기 위해 최근에는 그래픽스 하드웨어를 이용하여 기존 알고리즘을 실시간으로 빠르게 수행하는 방법들도 개발되었다 [26]. 그 외에도 배경으로부터 물체를 강건하게 분리하기 위해 배경에 존재하는 물체의 그림자를 찾고 이를 배경과 객체의 구분에 활용하는 연구도 이루어지고 있다 [27].

(a)	(b)
[그림 6] 일반적인 배경으로부터 사람을 분리한 결과 [25] (a) 입력영상 (b) 정규화된 RGB 공간에서의 분리 결과

2.5 상호작용 인터페이스 기술

기존의 가상 스튜디오에서는 블루 스크린을 통해 삽입된 배우가 가상 객체와 상호작용 하기 위해서 미리 정해진 원고에 따라 행동을 하거나 마치 가상 객체가 그곳에 있는 것처럼 행동을 해야만 했다 [28]. 이러한 방식의 상호작용은 배우의 부자연스러운 움직임을 유발하며, 가상 객체와의 상호작용 역시 부드럽지 못하다. 개인형 가상 스튜디오는 방송을 진행하는 사용자가 배우의 역할을 수행해야 하므로, 기존의 가상 스튜디오에서 사용되던 상호작용 방식은 적합하지 않다.

기존의 가상현실 시스템들은 사용자와 가상 객체 사이의 상호작용을 위해서 데이터 글로브나 위치 추적 시스템과 같은 장비를 활용해 왔다. 그러나 이와 같은 장비는 일반인이 쉽게 사용하기에는 아직 어려움이 있고 가격이 고가인 경우가 대부분이므로, 편리성 측면이나 경제적인 측면에서 개인형 가상 스튜디오 플랫폼에는 알맞지 않다. 이에 반해 컴퓨터 비전 기반의 상호작용 방법들은 특정 장비가 필요하지 않으며, 추가 비용 없이 시스템을 보다 단순하게 구성할 수 있다.

증강현실에 기반한 감각형 사용자 인터페이스(Tangible User Interface)는 가상 공간 속에 삽입된 사용자가 가상 객체에 대응하는 물체를 통해 가상 객체와 상호작용 할 수 있도록 한다. 감각형 객체를 이동, 회전 하는 것에 따라 그에 대응하는 가상 객체가 함께 이동 또는 회전하므로 방송을 진행하면서 배우의 역할을 하는 쪽에서는 가상 객체가 있는 것처럼 연기할 필요가 없다. 개인 방송을 TV로 시청하는 시청자의 입장에서는 TV 리모콘 대신 감각형 객체를 움직임으로써 현재 방송 중인 가상 환경을 내비게이션 하는 것과 같은 상호작용을 자연스럽게 할 수 있다.

감각형 사용자 인터페이스는 Ishii에 의해 처음 제안되었으며 [29], 증강 현실 분야에 도입되면서 교육, 엔터테인먼트 등에서 많은 연구가 이루어져왔다 [30, 31]. [그림 7]은 사용자가 가상의 객체를 조작하기 위해 사용하는 증강현실 기반의 감각형 인터페이스의 예를 보인 것이다.

[그림 7] 증강현실 기반 감각형 사용자 인터페이스 [78]

III. 개인형 가상 스튜디오 플랫폼

본 장에서는 2장에서 서술된 다양한 요소 기술을 바탕으로 한 개인형 가상 스튜디오 플랫폼인 VR@Home과 VR@Home을 활용한 개인 방송국 시스템의 설계에 대해 소개하고,  FTTH/xDSL 망 등을 통한 저작 컨텐츠의 스트리밍 과정을 설명한다.

VR@Home 시스템의 하드웨어는 일반 가정에서 사용하는 컴퓨터와 USB 카메라, 그리고 증강현실 기반의 사용자 인터페이스 등으로 구성된다. VR@Home 시스템은 3D 객체와 배경을 생성하기 위한 카메라 보정 및 영상

[그림 8] VR@Home 시스템 구성 요소 및 흐름도

기반 3D 객체 및 배경 모델링 모듈, 실시간 사용자 분리를 위한 배경/객체 분리 모듈, 실제 공간의 광원 추정을 위한 광원 추정 모듈, 부드러운 그림자의 실시간 생성을 위한 그림자 생성/렌더링 모듈, 그리고 증강 현실 기반의 감각형 사용자 인터페이스로 구성된다.

카메라 보정과 영상 기반 3D 객체 및 배경 모델링, 그리고 광원 추정 모듈은 알고리즘 수행 시간이 필요하므로 오프라인 상에서 동작한다. 움직이는 사용자를 배경에서 분리 및 삽입 작업과 그림자를 생성하고 합성하는 작업은 실시간에 이루어진다. [그림 8]은 VR@Home 시스템의 구성 요소들 및 그들 간의 정보의 흐름을 나타낸 것이다. 실사 기반으로 생성된 2.5D 가상 환경에 CG로 만들어진 3D 객체와 배경으로부터 분리된 사용자가 합성된다. 실세계로부터 추정된 광원 정보를 바탕으로 3D 객체들의 그림자가 생성된다. 실사 기반의 가상 공간은 보다 높은 사실성을 제공하며 가상의 공간에 생성된 그림자는 사용자와 3D 가상 객체가 가상 공간과 보다 자연스럽게 합성되도록 한다.

[그림 9]는 VR@Home을 응용한 개인 방송국 시스템의 흐름도를 나타낸 것이다. 개인형 가상 스튜디오에서 렌더링 결과로 생성된 2D 영상은 개인 방송국 시스템의 인코딩 및 스트리밍 모듈로 전달된다. 전달된 2D 영상은 MPEG-4로 인코딩되어, MPEG-2 TS로 분할된 후 RTP(Real Time Protocol)/UDP/IP로 네트워크에 스트리밍된다. Unicast 스트리밍을 기본으로 사용하며, 네트워크 구조에 따라 중앙 서버의 도움으로 multicast 스트리밍도 지원 가능하다. 사용자가 방송을 시작하면, 방송의 존재 유무 및 송신자의 IP 주소를 공지하기 위하여, 중앙 서버에서 TV anytime[32]의 방송 메타데이터를 기반으로 EPG(Electronic Program Guide)를 매개한다. IP방송 수신자의 셋톱박스에서는 스트리밍 수신부에서 RTP/UDP/IP의 역스트리밍과 MPEG-4 디코딩 단계를 거쳐서, 개인 방송 시청자의 TV에 화면을 보여주게 된다.

[그림 9] VR@Home이 탑재된 개인 방송국 시스템

IV. 결론 및 향후 연구

본 논문에서는 개인형 가상 스튜디오 플랫폼 구축을 위한 요소 기술들의 연구 동향 및 개인형 가상 스튜디오 플랫폼인 VR@Home과 이를 응용한 개인 방송국 시스템에 대해 소개하였다.  개인형 가상 스튜디오의 구축을 위해서는 콘텐츠 생성을 위한 영상 기반 3D 모델링 기술, 실시간 사용자 분리 기술, 주변 환경의 광원 추정 기술, 자연스러운 합성을 위한 실시간 그림자 생성 및 합성 기술 등이 필요하다. 그 외에도 사용자와 가상 객체의 자연스러운 상호작용을 위해 증강 현실 기반의 인터페이스 기술도 요구된다. 개인형 가상 스튜디오 플랫폼을 통해 사용자는 개인화된 콘텐츠를 만들고 이를 인터넷을 통해 다른 사람들에게 실시간으로 방송 및 공유 할 수 있다. 개인형 가상 스튜디오 플랫폼은 개인의 콘텐츠 제공자로서의 역할을  더욱 증대시킬 것으로 기대되며, 원거리 교육, 엔터테인먼트 및 소호(SOHO)와 같은 분야에 효과적으로 쓰일 수 있다. 향후에는 앞서 언급한 요소 기술들을 통해 VR@Home 플랫폼의 완성도를 높이고, FTTH(Fiber To The Home) 서비스를 기반으로 제공되는 개인 방송국 서비스에 활용할 예정이다.

참 고 문 헌

[1] http://www.podcast.net

[2] http://afreeca.pdbox.co.kr

[3] V. Lalioti and A. Woolard, “Mixed Reality Productions of the Future,” Proc. of International Broadcasting Convention, 2003.

[4] Ju-hyun Oh, Seung-jin Nam, Sung-choon Park, “Development of a Virtual Imaging System, ‘VIVA’”, IWAIT2003, pp.87-90, Jan. 2003.

[5] Logitech Video Effects, http:// www.logitech.com

[6] R. Tsai, “A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses,” IEEE Journal of Robotics and Automation, Vol. 3, no. 4, pp. 323-344, 1987.

[7] Heikkilä, J, “Geometric Camera Calibration Using Circular Control Points,” IEEE Trans. on PAMI, Vol. 22, no. 10, pp. 1066-1077, 2000.

[8] Z. Zhang, “Flexible camera calibration by viewing a plane from unknown orientations,” ICCV99, Vol. 1, pp. 666-673, 1999

[9] M. Pollefeys, L. V. Gool, M. Vergauwen, F. Verbiest, K. Cornelis, J. Tops, R. Koch, “Visual modeling with a hand-held camera,” IJCV 59(3), 207-232, 2004.

[10] Hemayed, E.E, “A survey of camera self-calibration,” IEEE Conf. on Advanced Video and Signal Based Surveillance, pp. 351-357, 2003.

[11] V. Sequeira, K. C. Ng, E. Wolfart, J. Gonçalves, D. Hogg., “Automated 3D reconstruction of interiors with multiple scan-views,” Proc. of SPIE, Electronic Imaging, 1999.

[12] S. Kim, W. Woo, “Indoor Scene Reconstruction using a Projection based Registration Technique of Multiview Depth Images,” PCM2005, pp. 759-771, 2005.

[13] El-Hakim, S.F. Beraldin, Picard M., and Vettore A., “Effective 3D modeling of heritage sites,” 3DIM2003, PP. 302- 309, 2003.

[14] J. S. Franco, E. Boyer, “Exact Polyhedral Visual Hulls,” BMVC03 , pp. 329-338, 2003.

[15] D. Scharstein and R. Szeliski, “A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms,” IJCV 47(1/2/3):7-42, April-June 2002.

[16]	T. Kanade, M. Okutomi, and t. Nakahara, “A Multiple-baseline Stereo Method,” Proc. of ARPA Image Understanding Workshop, pp. 409-426, 1992.

[17] C. Hernandez Esteban and F. Schmitt, “Silhouette and Stereo Fusion for 3D Object Modeling,” Computer Vision and Image Understanding, Vol. 96, No. 3, pp. 367-392, December 2004.

[18] P. Debevec, “Image-based lighting,” IEEE Computer Graphics and App., 22(2):26-34, March, 2002.

[19] XIAOCHUN C., and MUBARAK S., “Camera calibration and light source estimation from images with shadows,” IEEE CVPR, 2005.

[20] S. Brabec, H.P. Seidel, “Shadow volumes on programmable graphics hardware,” Eurographics2003, 25(3), 2003.

[21] J.M. Hasenfratz, M. Lapierre, N. Holzschuch and F.X. Sillion, “A survey of Real-Time Soft Shadows Algorithms,” EuroGraphics State of the Art Report, pp.753-774, 2003.

[22] C. Chu and K. Aggarawal, “The integration of image segmentation maps using region and edge information,” IEEE Trans. on PAMI, vol. 15, no. 12, pp. 1241-1252, Dec. 1993.

[23] E. Francois and B. Chupeau, “Depth -based segmentation,” IEEE Trans. on CSVT, pp. 237-239, Feb. 1997.

[24] W. Woo, N . Kim and Y. Iwadate, “Object Segmentation for Z-keying Using Stereo Images,” in Proc. IEEE WCC-ICSP'00, vol.2, pp. 1249-1254, Aug. 2000.

[25] D. Hong and W.Woo, “A 3D Vision-based Ambient User Interface,” IJHCI, 20, paper 3, pp. 271-284, 2006.

[26] A. Griesser, S. Roeck, A. Neubeck L. V. Gool, “GPU-Based Foreground -Backround Segmentation using an Extended Colinearity Criterion,” VMV2005, 2005.

[27] Julio C.S.J, Claudio R.J, Soraia R.M, “Background Subtraction and Shadow Detection in Grayscale Video Sequences,” CGIP2005. pp. 189-196, 2005.

[28] N. Kim, W. Woo, G. J. Kim, and C. Park, “3D Virtual Studio for Natural ‘Inter-Acting’,” IEEE TRANS. ON Systems, Man, AND Cybernetics, PART A: SYSTEMS AND HUMANS, 2004.

[29] H. Ishii and B. Ullmer, “Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms,” ACM CHI '97, pp. 234-241, 1997.

[30] Morten F., Benedikt M. Voegtli, “Augmented Chemistry : An Interactive Educational Workbench,” ISMAR02, 2002.

[31] W. Lee, W. Woo, “TARBoard: Tangible Augmented Reality System for Table-top Game Environment”, PerGames2005, 2005.

[32] http://www.tv-anytime.org

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

이  원  우

∙2003년 한양대학교 기계공학부(공학사)

∙2004년 광주과학기술원 정보통신공학과 (공학석사)

∙2004년～현재 광주과학기술원 정보통신공학과 박사과정

∙관심분야 : 3D 컴퓨터 비전, 가상/증강현실

유  재  덕

∙2005년 한림대학교 컴퓨터공학과(공학사)

∙2005년～현재 광주과학기술원 기전공학과 석사과정

∙관심분야 : 실시간 렌더링, 환경 맵핑, 광원추정

김  낙  우

∙1997년 중앙대학교 제어계측공학과 졸업(공학사)

∙2002년 중앙대학교 영상공학과 졸업(공학석사)

∙2006년 중앙대학교 영상공학과 졸업(공학박사)

∙2006년～현재 ETRI 광대역통합망연구단 선임연구원

∙관심분야 : 영상처리, 영상정보기술, FTTH, IPTV

이  종  원

∙2002년 USC Computer Science (공학박사)

∙2002년～2002년 미국 IMSC Research Associate

∙2002년～현재 세종대학교 컴퓨터공학부 교수

∙관심분야 : 증강현실, 컴퓨터그래픽, 컴퓨터게임 등

이  관  행

∙1976년 서울대학교 섬유공학과 (공학사)

∙1982년 서울대학교 산업공학과 (공학석사)

∙1985년 North Carolina State Univ. 산업공학(공학석사)

∙1988년 North Carolina State Univ. 산업공학(공학박사)

∙2006년 현재 광주과학기술원 기전공학과 교수

∙관심분야 : 실감모델링, 실감방송, 실시간 렌더링

이 병 탁

∙1992년 연세대학교 전자공학과 졸업(공학사)

∙1994년 KAIST 전자공학과 졸업(공학석사)

∙2000년 KAIST 전자공학과 졸업 (공학박사)

∙2000년～현재 ETRI 광대역통합망연구단 선임연구원

∙관심분야 : 광통신, FTTH, IPTV

우  운  택

∙1989년 경북 대학교 전자공학과 (공학사)

∙1991년 포항공대 전기전자공학과 (공학석사)

∙1998년 University of Southern California, Electirical Engineering System (공학박사)

∙1999년～2001년 ATR MIC Lab. 객원 연구원

∙2001년～2005년 광주과학기술원 정보통신공학과 조교수

∙2006년～현재 광주과학기술원 정보통신공학과 부교수

∙관심분야 : 가상/증강현실, 3D 컴퓨터비전, HCI, 유비쿼터스 컴퓨팅, 웨어러블 컴퓨팅

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□