디지털 셀럽으로의 첫 걸음, 최초의 리얼타임 디지털 휴먼, 수아 
언택트 시대가 정착하며 비대면 서비스니즈에 따라 인공지능 기술이 통합된 '디지털 휴먼(Digital Human)'이 기업, 공공기관 등에 도입되고 있습니다. 사회적 거리두기와 재택근무 등이 장기화되면서 언택트(비대면) 서비스가 급부상하고 있는 것입니다. 업계의 관심이 디지털 휴먼(Digital Human) 에 쏠리고 있는 가운데,유니티 유저에게 더없이 친숙한 얼굴이 있습니다. 바로 지난 6월, 유니티 코리아 공식 홍보모델로 활동을 시작하며 디지털 셀럽으로의 첫 발을 내딛은 디지털 휴먼, ‘수아’ 입니다.
지난 11월에는 유니티 코리아 웨비나를 통해 리얼타임 모션 캡처와 페이셜 캡처를 선보이자 웨비나 접속자가 큰 폭으로 증가하기도 했습니다. 수아를 향한 관심은 그 어느 때보다 뜨겁습니다. 온마인드의 김형일 대표는 Unite Seoul 2020 에서 ‘Digital Celebrity SUA - 디지털 셀럽 ‘수아’를 만나다’ 를 주제로 현시점의 그래픽 기술 발전과 디지털, 버추얼 휴먼 제작 과정을 설명하며 대중들의 지적 호기심을 충족시키기도 했습니다. 유니티 코리아는 온마인드의 김형일 대표를 만나 유니티 HDRP 를 기반으로 제작한 수아 개발기를 들어보았습니다.

 

디지털 휴먼, 버추얼 휴먼, 버추얼 인플루언서, 가상 유튜버 등 디지털 휴먼을 지칭하는 말은 다양합니다. 이 단어들이 갖는 공통점은 인간과 가까운 ‘디지털’ 존재라는 의미를 담고 있다는 것입니다. ‘디지털 셀럽’ 이라는 용어 역시 사람들에게 사랑받는 셀럽이 되고자 하는 수아의 바람이 담겨 있습니다.
온마인드는 앞으로 수아가 디지털 셀럽으로서의 활동을 펼쳐나갈 수 있도록 만발의 준비를 가하고 있습니다. 모델, 가수, 배우 등 다양한 역할을 소화하는 멀티 연예인이 되는 것을 목표로, 모든 가능성을 열어두고 있습니다.

리얼타임 라이브로 움직이는 수아, 무엇이 특별한가? 
수아가 전세계적으로 주목받는 이유는 리얼타임 렌더링을 통해 실시간으로 반응하는 디지털 휴먼이라는 데 있습니다. 전신이 실시간으로 움직이는 디지털 휴먼은 전세계 최초입니다.
리얼타임(실시간) 렌더링의 장점은 빠른 렌더링 속도와 인터랙션에 있습니다. 리얼타임이 아닌, 오프라인 렌더링이 일반적으로 사용되는 영화나 애니메이션은 미리 렌더링해놓은 이미지를 프레임마다 나열하여 동영상이 되는 방식입니다. 각 씬마다 콘텐츠 제작자가 원하는 앵글과 모습으로 렌더링을 하도록 설정해 놓고, 고품질의 그래픽을 만들어 내기 위해 많은 연산과 렌더링 시간을 투자합니다. 고품질의 한 프레임 스틸컷은 몇 시간 혹은 수십, 수백 시간에 걸쳐 컴퓨터가 렌더링을 연산합니다. 한 시간 분량의 영상을 제작하려면 최소 수백 시간 또는 그 이상의 렌더링 연산이 요구되면서 오프라인 렌더링에서는 많은 데이터와 렌더링 시간이 소요됩니다. 그에 비해 수아는 실시간 렌더링을 통해 4K 리얼타임 라이브로 사용자와 인터랙션하는 콘텐츠를 구현할 수 있습니다. 최소 30FPS, 즉 1초에 30번의 프레임을 그려내고 있어, 오프라인 렌더링과 차원이 다른 빠른 속도와 렌더링 퀄리티를 보여줍니다.

 

HDRP 를 이용한 사실적인 렌더링
수아는 Unity HDRP 를 이용해서 실사에 가까운 렌더링을 구현했습니다. HDRP 는 유니티 SRP(Scriptable Render Pipeline)으로 제작된 렌더링 파이프라인으로, 고품질 프로젝트에 사용할 수 있게끔 다음 원칙에 따라 설계되었습니다. 

　1. 물리 기반 렌더링(Physically Based Rendering)
　2. 통일되고 일관적인 조명
　3. 렌더링 경로와 독립적으로 구동되는 기능
이전의 렌더 파이프라인은 사용자가 렌더링 파이프라인을 수정할 수 없었는데, SRP 를 통해 사용자가 직접 렌더 파이프라인을 수정할 수 있게 되었고, 하나의 예제(Template)로 만들어진 것이 HDRP 인 것입니다. 김형일 대표는 HDRP의 막강한 성능이 수아를 실사와 비슷하게 구현하는 데 큰 도움이 되었다고 말합니다. Skin은 Unity ShaderGraph의 Stacklit 셰이더를 사용했고, 헤어는 헤어 셰이더를 사용했습니다. 모두 유니티에서 기본적으로 제공하고 있는 셰이더에 텍스쳐만 연결했는데도 HDRP로 인해 실사처럼 표현될 수 있었습니다.  완벽한 피지컬 라이팅을 가진 HDRP 의 등장과 강력한 컴퓨트 셰이더가 탑재되는 등 하드웨어의 발전과 함께 불쾌한 골짜기 현상(인간이 로봇 등 인간이 아닌 존재를 볼 때, 그것과 인간 사이의 유사성이 높을수록 호감도도 높아지지만, 일정 수준에 다다르면 오히려 불쾌감을 느낀다는 이론)을 넘어 실사에 가까운 모델을 구현할 수 있게 된 것입니다. 

리얼타임 페이셜 캡처를 통해 다양한 표정을 지을 수 있는 수아.

HDRP 뿐만 아니라 수아를 실시간으로 구현하는 데는 페이셜 캡처, 모션 캡처, 손가락 캡처, 버추얼 카메라를 사용하는 기술이 필요했습니다. 자연스러운 표정을 표현하기 위해 페이셜 캡처에는 아이폰을 사용했습니다. 실시간 캡처용으로 사용해도 좋을만큼 성능이 좋았고, 무엇보다 수작업으로 모델링을 한 수아를 작업하는 데 적당한 블렌드쉐입을 가지고 있어 큰 메리트가 있었습니다. 이 외에도 모션 캡처에는 발이 땅에 잘 닿지 않는 문제를 방지하기 위해 리깅 세팅에 신경썼고, 정교한 움직임을 표현하기 위해 손가락 캡처 장비를 이용하여 손가락의 자연스러운 구현을 위해 힘쓰고 있습니다. 라이브를 진행하며 카메라 워킹 부분에 아쉬움이 있었던 김형일 대표는 버추얼 카메라를 도입하여 가상 공간에서 자연스러운 컷을 촬영하는 시도를 하기도 했습니다. VR 기기를 착용했을 때와 비슷한 느낌을 줄 수 있는 버추얼 카메라의 도입으로, 더욱 다양한 카메라 구도 속에서 움직이는 수아를 보여줄 예정입니다.

디지털 휴먼, 어디까지 가능할까?

 

가까운 시일 내에 온마인드는 AI 기술과 디지털 휴먼 기술이 같이 발전하며 서비스로의 ‘디지털 휴먼’으로의 도약이 필요하게 될 것이라 전망했습니다. 음성인식, 음성합성, 이미지 인식, 제스처 인식, 대화모델(챗봇) 등의 소프트웨어적인 기능을 인공지능이 보다 자연스럽게 수행해 현재 적용된 서비스의 정확도와 만족도를 향상시켜 인공지능 상용화의 새로운 패러다임을 열 수 있지 않을까 기대됩니다.