미(美)서 흔들린 영상 바로잡는 3차원 보정 소프트웨어 개발
자동차 번호판 식별 등 범죄 수사에 효과 클 듯
캠코더가 대중화되면서 직접 동영상을 촬영하는 사람이 흔한 세상이 됐다. 하지만 아마추어가 흔들리지 않는 안정된 화면을 촬영하기는 쉽지 않다. 최근 촬영자의 동선(動線)을 파악해 흔들리는 영상을 바로잡아주는 소프트웨어가 개발됐다. 우연히 촬영한 사고 현장 영상도 같은 방법으로 처리할 수 있어 범죄 수사에도 큰 도움을 줄 전망이다.
- ▲ 자료 : 美 위스콘신대
미 위스콘신대 마이클 글라이처(Gleicher) 교수와 소프트웨어기업인 어도비(Adobe)사의 수석연구원 아심 아가왈라(Agarwala) 박사 공동연구진은 비디오 영상 3차원 보정 기술을 개발, 다음 달 뉴올리언스에서 열리는 컴퓨터그래픽 국제전시회 '시그라프(SIGGRAPH)'에 발표한다.
복원은 두 가지 단계로 이뤄진다. 연구진은 먼저 '부두 카메라 트래커(Voodoo Camera Tracker)'라는 소프트웨어로 카메라를 든 촬영자의 움직임을 추적했다. 소프트웨어는 카메라에 찍힌 사물의 윤곽에 점 표시를 한다. 이 점들이 어디로 움직이는지를 확인해 역으로 촬영자의 동선을 알아낸다.
가정에서도 한자리에 서서 비디오를 촬영하면 흔들림이 덜하다. 하지만 움직이는 아기를 따라가며 찍거나 거리를 이동하며 풍경을 찍을 때는 화면이 흔들리는 정도가 아니라 아예 상하좌우로 왔다 갔다 한다. 갑자기 계단이라도 만나면 화면에서 촬영하던 대상이 사라지기도 한다. 이 문제를 해결하려면 촬영자의 동선 확인이 필수적이다.
영화에서 움직이는 장면은 보통 카메라를 고정시키고 레일 위로 이동시키면서 촬영한다. 이러면 화면이 흔들리지 않는다. 연구진은 비디오 촬영자가 레일 위에서 카메라를 고정한 채 앞서 확인한 동선을 따라 움직인다고 가정했다.
다음은 이른바 '화면 뒤틀기'다. 각각의 화면을 모두 보정하려면 엄청난 컴퓨터 작업이 필요하다. 연구진은 대신 우리 눈의 착시현상을 이용했다. 즉 고정된 카메라가 동선을 따라 움직이면서 촬영했을 때와 크게 차이 나는 장면들만 골라내 뒤튼다. 이를테면 화면이 옆으로 빠져 있다면 당기고 위로 솟았다면 아래로 내리는 식이다. 이렇게 수정한 영상을 연속으로 보여주면 우리 눈은 화면이 흔들리지 않고 부드럽게 이동한다고 느끼게 된다.
- ▲ 흔들린 비디오 화면을 매끄럽게 보정하는 기술은 범죄 수사에도 활용될 수 있다. 왼쪽 사진은 비디오 영상 보정 프로그램을 처음 개발한 NASA의 과학자들이며, 오른쪽은 이들이 한 영상 보정의 한예. 원 영상(아래)은 흔들려 번호판이 보이지 않았지만 보정 후(위) 식별이 가능해졌다./NASA 제공
동영상 보정 소프트웨어는 미 항공우주국(NASA)에서 시작됐다. 바로 '비디오 이미지 안정 및 조절(VISAR)'이라는 프로그램이다. 당시 NASA 과학자들은 천체망원경으로 찍은 태양 사진이나 기상위성 영상을 이 프로그램으로 보정했다. 미 연방수사국(FBI)은 이들에게 1996년 애틀랜타올림픽에서 발생한 폭발사고 촬영 영상 보정을 의뢰했다.
원리는 간단하다. 사물의 테두리 선을 기준으로 앞뒤 화면의 수평·수직을 맞춘다. 또 버튼을 잘못 눌러 갑자기 확대되거나 축소된 화면도 직전과 직후 화면에 맞춘다. NASA 과학자들은 이 방법으로 지금까지 50여건의 범죄 수사에 참여해 유괴범을 촬영한 영상 등을 복원했다. 최근에는 의학연구에서 그전에 볼 수 없던 세포의 움직임을 확인하기도 했다.
국내에서는 폐쇄회로TV(CCTV)에 찍힌 범인의 얼굴을 선명하게 보정하는 연구가 진행 중이다. 한국전자통신연구원(ETRI) 문기영 휴먼인식기술팀장은 "CCTV에 찍힌 영상 중 얼굴이 많이 드러난 장면들만 골라 공통된 정보를 모으면 선명한 사진을 만들 수 있다"고 말했다. 이를테면 정면을 보는 장면 중 턱 선이 잘 나왔거나 코가 선명하게 찍힌 것처럼 얼굴 각 부분이 선명한 장면들을 모으는 식이다.
하지만 이제까지 나온 보정 기술은 고정된 사물에 대한 2차원 보정에 그친다. 즉 촬영자가 거의 같은 자세로 찍은 영상들이다. 3차원 보정도 시도됐으나 자연스러운 움직임을 위해 없는 화면을 만들어 넣다 보니 영상 속 물체가 일그러지거나 잔상이 남는 등의 문제점이 있었다. 위스콘신대·어도비사 공동 연구진은 "촬영자의 동선까지 감안해 실제 촬영한 화면을 각각 보정하기 때문에 그런 문제가 없다"며 "실질적인 3차원 보정기술로 2~3년 내 상용화가 가능할 것"이라고 밝혔다.