왜 만들었나요?
현실과 유사한 디지털 환경을 만들려면 실제 공간을 3D로 재현하는 과정이 필요합니다. 이 프로젝트는 전문적인 3D 제작 지식에 대한 의존도를 낮추고, 영상에서 장면을 만드는 흐름을 서비스로 제공하는 것을 목표로 합니다.
From video. Into space.
Video-to-Scene은 촬영 영상을 3D 장면으로 복원하고, 웹에서 시점을 바꾸며 탐색하고 공유할 수 있도록 연결하는 서비스입니다.
영상 입력부터 중간 품질 확인, 3D 결과 공유까지.
01 / THE PROJECT
복원 기술만 실행하는 것을 넘어,
사용자가 결과를 확인하고 공유하는 과정까지 연결합니다.
현실과 유사한 디지털 환경을 만들려면 실제 공간을 3D로 재현하는 과정이 필요합니다. 이 프로젝트는 전문적인 3D 제작 지식에 대한 의존도를 낮추고, 영상에서 장면을 만드는 흐름을 서비스로 제공하는 것을 목표로 합니다.
영상을 올리고, 처리 상태와 중간 결과를 살펴본 뒤, 학습된 3D 장면을 웹에서 탐색할 수 있습니다. 만족스러운 결과는 게시하거나 링크로 공유하고, 결과물도 내려받을 수 있습니다.
업로드한 영상에서 프레임을 추출하고, 학습에 사용할 이미지 세트를 준비합니다.
VIDEO · FFmpeg카메라의 위치·방향과 초기 포인트 클라우드를 구합니다. 학습 전 품질을 확인합니다.
SfM · COLMAP카메라 포즈와 포인트 클라우드를 바탕으로 Gaussian Splatting 학습을 진행합니다.
GAUSSIAN SPLATTING생성된 장면을 웹 뷰어로 확인하고, 게시·링크 공유·다운로드로 이어갑니다.
VIEWER · SHOWCASE02 / ACTUAL DEMONSTRATION
제공된 시연 영상에서 발췌한 화면입니다.
입력부터 중간 구조, 최종 장면을 차례로 살펴보세요.
01 · INPUT VIDEO
학교 건물과 운동장을 항공 시점에서 촬영한 영상을 입력으로 사용했습니다.
02 · POINT CLOUD
초기 공간 구조를 확인하고, 최종 학습을 계속 진행할지 사용자가 결정합니다.
03 · RECONSTRUCTED SCENE
완성된 학교 장면을 웹 뷰어에서 회전·이동하는 실제 시연입니다. 재생 버튼을 눌러 확인해 보세요.
마지막 영상은 미리 학습한 결과를 탐색하는 약 6초의 무음 발췌본입니다. 생성에 걸린 시간을 보여 주는 영상이나 브로슈어 자체의 실시간 3D 뷰어는 아닙니다. 각 화면의 시점과 배율은 서로 다릅니다.
03 / WHAT WE FOCUSED ON
결과를 무조건 끝까지 생성하기보다,
입력과 중간 결과를 살펴볼 수 있게 했습니다.
CHECK 01 · CONTINUITY
컷 전환처럼 카메라 경로가 불연속적인 구간을 분석합니다. 문제가 감지되면 학습을 중단해 입력 상태를 먼저 살피도록 했습니다.
CHECK 02 · KEYFRAMES
일정한 간격의 추출만으로 놓치기 쉬운 구간을 고려했습니다. 프레임 변화량과 카메라 흐름을 기준으로 키프레임을 선택합니다.
CHECK 03 · QUALITY
SfM으로 구한 포인트 클라우드를 먼저 봅니다. 사용자가 학습 진행 여부를 선택하도록 해 불필요한 GPU 학습을 줄이는 방향으로 설계했습니다.
핵심은 기술 하나가 아니라, 끝까지 연결되는 사용 흐름입니다.
입력 분석 → 중간 확인 → GPU 학습 → 웹 탐색 → 공유
안녕하세요. 저희 Video-to-Scene은 사용자가 촬영한 영상을 3D 장면으로 바꾸고, 웹에서 탐색하고 공유할 수 있도록 만든 서비스입니다. 일반 영상은 촬영한 순서와 방향대로 보지만, 저희 서비스의 결과에서는 시점을 바꾸며 공간을 살펴볼 수 있습니다.
과정은 크게 네 단계입니다. 먼저 영상을 업로드하면 필요한 프레임을 추출합니다. 다음으로 이미지 사이의 관계를 분석해 카메라가 어디에서 어느 방향으로 촬영했는지와 공간의 기본 구조를 추정합니다. 이때 만들어지는 점들의 집합이 포인트 클라우드입니다. 이를 바탕으로 Gaussian Splatting이라는 기술을 이용해 장면을 학습하고, 완성된 결과를 웹 뷰어로 제공합니다.
저희가 집중한 부분은 복원 기술을 실제 사용 흐름으로 연결하는 것입니다. 영상의 컷 전환처럼 촬영 경로가 끊기는 구간을 분석하고, 문제가 감지되면 학습을 중단하도록 했습니다. 또 카메라 움직임이 빠른 구간에는 필요한 프레임을 더 배치하도록 설계했습니다. 사용자는 포인트 클라우드의 품질을 먼저 보고, 최종 학습을 계속할지 결정할 수 있습니다. 무조건 학습을 끝까지 돌리는 대신, 중간 결과를 확인할 수 있게 한 것입니다.
지금 보시는 예시는 저희 학교를 항공 시점에서 촬영한 영상으로 만든 장면입니다. 학습이 끝난 결과를 웹에서 다른 시점으로 살펴볼 수 있고, 링크로 공유하거나 결과물을 내려받을 수 있습니다. 화면에서는 작업 단계와 진행 상태도 확인할 수 있습니다. 지금 보여 드리는 것은 미리 학습을 완료한 결과입니다.
이 프로젝트는 현실 공간을 디지털로 옮기는 제작 과정을 더 쉽게 이용하도록 만드는 데 의미가 있습니다. 공간 안내나 디지털 트윈, 시뮬레이터용 시각 환경 제작으로의 활용을 기대하고 있습니다. 다만 이번에 보여 드리는 범위는 3D 장면 복원과 웹 탐색·공유이며, 완성된 자율주행 시뮬레이터 자체를 만든 것은 아닙니다. 관심 있으신 부분에 맞춰 더 자세히 설명드리겠습니다.
01 · WEB
React · TypeScript
Three.js · Gaussian Splats 3D
영상 업로드, 결과 탐색, 공유
02 · API & DATA
Node.js · Express
Prisma · MySQL / Amazon RDS
사용자, 장면, 작업 메타데이터
03 · COMPUTE
AWS Batch · GPU Worker
FFmpeg → COLMAP → Gaussian 학습
작업 큐와 실행 자원 관리
04 · STORAGE
Amazon S3
영상, 학습 결과, 관련 산출물 저장
웹에서 결과 확인·다운로드
현재 시연 범위: 영상 기반 3D 장면 복원, 중간 결과 확인, 웹 탐색·게시·공유입니다. 자율주행 제어·충돌 판정·센서 시뮬레이션이 통합된 완성형 시뮬레이터로 소개하지 않습니다.