SK텔레콤은 버추얼 휴먼 전문기업 온마인드와 협업해 프로농구단 SK나이츠의 전희철 감독과 코치단, 김선형, 오세근, 허일영 등 선수 전원을 포함한 총 22인을 버추얼 휴먼으로 재현하고 22일 서울 잠실학생체육관에서 열린 홈 개막전에서 다양한 볼거리를 선보였다. /최문정 기자

[더팩트｜최문정 기자] SK나이츠의 홈 개막전의 열기가 달아오르던 지난 22일 잠실학생체육관에서 시합을 앞두고 경기장 불이 모두 꺼졌다. 경기장을 꽉 채운 만원 관중들은 긴장감 속에 천장에서 가상 인간(버추얼 휴먼)의 모습을 한 전희철 감독이 등장하자 팬들의 환호성이 터져 나왔다. 전 감독을 시작으로 중세 서양 기사로 구현된 김선형, 오세근, 허일영 등 선수단과 코치단의 버추얼 휴먼이 뒤이어 등장하며 기대감을 끌어올렸다.

버추얼 휴먼 전문기업 온마인드는 23일 SK나이츠 홈개막전에서 농구단을 디지털트윈으로 구현한 '가상 SK나이츠 농구단'을 선보였다. 디지털트윈은 현실세계의 기계나 장비, 사물, 사람을 디지털 데이터 모델로 복제해 가상세계에 구현하는 기술이다.

온마인드는 이번 버추얼 농구단 제작이 '시간과의 싸움'이었다고 회상했다. 고작 두 달 만에 총 22명을 정밀하게 스캔해 디지털트윈 작업의 기초를 닦고, 자연스러운 머리카락과 솜털, 피부의 질감 등의 후처리 작업을 끝낸 뒤 개막식에 상영할 영상까지 제작을 마쳐야 했기 때문이다.

김형일 온마인드 대표는 이번 SK나이츠 디지털휴먼 구현 프로젝트를 진행하며 자사의 핵심 장비 '포토그래메트리'와 '실시간 렌더링' 기술을 활용해 제작 시간을 획기적으로 줄였다고 설명했다. /최문정 기자

김형일 온마인드 대표는 22일 서울 잠실학생체육관에서 개막전 경기에 앞서 열린 기자간담회에서 "기존 산업에서 디지털트윈 작업은 최소 3개월에서 6개월 정도 소요된다"며 "이번 프로젝트의 경우 두 달 안에 22명의 디지털트윈화 작업을 마쳐야 했고, 영상 제작 기간을 포함하면 실질적으로 한 달 안에 모든 것을 해결해야 했다"고 설명했다.

이어 "그만큼 굉장히 어려운 도전이었던 것이 사실이다"라며 "그럼에도 도전한 이유는 온마인드가 디지털트윈에 관한 파이프라인을 모두 회사에 구축하고 있었고, 만들어 본 경험이 있었기 때문에 충분히 가능하다고 생각했다"고 밝혔다.

실제로 온마인드는 디지털트윈 제작의 핵심 장비인 '포토그래메트리'를 보유하고 있다. 이 장비를 활용하면 다수의 카메라로 촬영된 고품질 이미지 데이터를 기반으로 프로그램이 3D 스캔 이미지를 만들 수 있다. 온마인드의 경우, 129대의 카메라와 조명 50대를 사용해 고화질의 3D 스캔 데이터를 쉽고 빠르게 확보할 수 있다.

이번 SK나이츠 버추얼 농구단 제작의 경우, 스캔 세팅 초기단계에는 한 명당 40~50분 걸리던 스캔 시간을 중반부터는 20~30분에 마칠 수 있었다.

현장의 탄성을 자아낸 버추얼 농구단의 인트로 영상은 '실시간 렌더링' 기술이 활용됐다. 실시간 렌더링은 연기자의 움직임을 캡처해 3D 캐릭터에 적용한 뒤, 실시간 렌더링 환경에서 배경을 비롯한 각종 효과를 적용하는 기술이다. 별도의 영상 합성이나 후처리 렌더링이 필요하지 않아 더욱 빠르고 쉽게 높은 수준의 3D 영상을 구현할 수 있다.

김 대표는 "기존 제작 방식인 '오프라인 렌더링'은 3D 영상을 제작할 때 모든 프레임에 각각 렌더링을 걸어야 한다. 따라서 영상 재생 시간이 늘어나면 늘어날수록 비용이 기하급수적으로 늘어나는 방식이다"라고 설명했다.

이어 "반면 실시간 렌더링 방식은 한 번 세팅만 되면, (러닝타임이) 5분이든, 1시간이든 비용이 크게 차이 나지 않는다"라고 말했다.

이날 온마인드는 기자간담회를 통해 가상인간 '나수아'와의 실시간 렌더링을 활용한 소통 시연을 선보였다. 나수아는 갑작스러운 질문에 눈동자를 굴리거나, '5글자로 말해요' 게임을 능숙하게 이어가는 모습을 보였다. 또한 인기 걸그룹 뉴진스의 춤을 추거나, 디즈니의 '인어공주'에 나오는 노래를 부르는 등 진짜 사람과 같은 모습을 보였다.

나수아는 경기 종료를 약 1분가량 앞둔 작전타임에 SK나이츠 '명예 치어리더'로 등장해 응원단과 호흡을 맞춰 힘찬 응원을 선보이기도 했다.

목진우 온마인드 최고운영책임자(COO)는 향후 자사의 디지털트윈 기술에 팬덤 지식재산(IP) 사업을 전개해 새로운 수익모델을 발굴한다는 목표를 공유했다. 이를 통해 2025년 하반기 분기 손익분기점을 달성한다는 구상이다. /최문정 기자

온마인드는 이러한 디지털트윈 구현 기술을 바탕으로 실시간 렌더링을 기반으로 한 버추얼 휴먼 라이브 콘텐츠 서비스를 준비하고 있다. 이를 통해 이용자들과 실시간으로 소통하며 팬덤을 구축하고, 나아가 수익까지 창출할 수 있는 새로운 비즈니스 모델을 만든다는 목표다.

목진우 온마인드 최고운영책임자(COO)는 "팬덤 지식재산(IP) 사업을 통해 새로운 수익모델을 찾고 있고 좋은 성과가 나올 것이라고 내부적으로 기대하고 있다"며 "2025년 하반기에 분기 손익분기점(BEP) 달성이 목표"라고 밝혔다.

아울러 최신 AI 기술을 접목해 스스로 말하고 행동하는 AI 버추얼 휴먼 개발에도 속도를 낸다. 온마인드는 오는 11월17일 SK테크서밋에서 이와 관련된 성과를 공유한다는 설명이다.

김 대표는 "온마인드는 이번 SK나이츠와의 협업을 통해 버추얼 휴먼 기술력을 대중에 증명하고, 버추얼 휴먼의 활동무대를 스포츠 업계로 확장할 수 있는 좋은 기회를 얻게 됐다"며 "버추얼 휴먼 제작과 라이브 기술 노하우를 통해 사람과 교감하고 더 나아가 사람에게 이로운 역할을 하는 진정한 AI 버추얼 휴먼 서비스를 제공하겠다"고 밝혔다.

한편, 온마인드는 SK텔레콤과 꾸준한 협력 관계를 유지해오고 있다. 2021년 11월 SK스퀘어가 온마인드에 80억원을 투자한 이후, SK텔레콤도 지난해 온마인드와 업무협약을 맺고 나수아 AI 보이스를 제작해 '에이닷' 모델에 나수아를 발탁했다. 올해 7월에는 온마인드 버추얼 휴먼 기술을 활용해 SK텔레콤·하나금융그룹의 AI랩 포 스타트업(AI LAB for startups)의 홍보 영상을 제작했고, 8월 온마인드를 K-AI 얼라이언스 멤버로 선정했다.

munn09@tf.co.kr