본문내용 바로가기 주메뉴 바로가기
닫기

유니티 스퀘어

전 세계에서 가장 널리 사용되며 확장 가능한 실시간 개발 플랫폼의 강력한 기능을 활용하여
혁신을 가속화하고 빠르게 변화하는 업계 환경에서 차별화된 경쟁력을 확보하세요.




디지털 셀럽으로의 첫 걸음, 최초의 리얼타임 디지털 휴먼, 수아 
언택트 시대가 정착하며 비대면 서비스니즈에 따라 인공지능 기술이 통합된 '디지털 휴먼(Digital Human)'이 기업, 공공기관 등에 도입되고 있습니다. 사회적 거리두기와 재택근무 등이 장기화되면서 언택트(비대면) 서비스가 급부상하고 있는 것입니다. 업계의 관심이 디지털 휴먼(Digital Human) 에 쏠리고 있는 가운데,유니티 유저에게 더없이 친숙한 얼굴이 있습니다. 바로 지난 6월, 유니티 코리아 공식 홍보모델로 활동을 시작하며 디지털 셀럽으로의 첫 발을 내딛은 디지털 휴먼, ‘수아’ 입니다.
지난 11월에는
유니티 코리아 웨비나를 통해 리얼타임 모션 캡처와 페이셜 캡처를 선보이자 웨비나 접속자가 큰 폭으로 증가하기도 했습니다. 수아를 향한 관심은 그 어느 때보다 뜨겁습니다. 온마인드의 김형일 대표는 Unite Seoul 2020 에서 ‘Digital Celebrity SUA - 디지털 셀럽 ‘수아’를 만나다’ 를 주제로 현시점의 그래픽 기술 발전과 디지털, 버추얼 휴먼 제작 과정을 설명하며 대중들의 지적 호기심을 충족시키기도 했습니다. 유니티 코리아는 온마인드의 김형일 대표를 만나 유니티 HDRP 를 기반으로 제작한 수아 개발기를 들어보았습니다.

 

온마인드 김형일 대표

디지털 셀럽이란?

디지털 휴먼, 버추얼 휴먼, 버추얼 인플루언서, 가상 유튜버 등 디지털 휴먼을 지칭하는 말은 다양합니다. 이 단어들이 갖는 공통점은 인간과 가까운 ‘디지털’ 존재라는 의미를 담고 있다는 것입니다. ‘디지털 셀럽’ 이라는 용어 역시 사람들에게 사랑받는 셀럽이 되고자 하는 수아의 바람이 담겨 있습니다.
온마인드는 앞으로 수아가 디지털 셀럽으로서의 활동을 펼쳐나갈 수 있도록 만발의 준비를 가하고 있습니다. 모델, 가수, 배우 등 다양한 역할을 소화하는 멀티 연예인이 되는 것을 목표로, 모든 가능성을 열어두고 있습니다.


“수아는 이제 갓 데뷔를 앞두고 있는 신인과 다름없습니다. 대중들에게 사랑받는 셀럽이 되기 위해서는 일반 연예인과 마찬가지로 대중들의 관심과 사랑을 받으면서 성장하는 일련의 과정이 필요합니다.” 

- 김형일, 온마인드 대표



 

지난 8월엔 이케아가 일본 도쿄에 매장을 내면서 버추얼 인플루언서 '이마(IMMA)'를 모델로 기용해 화제가 됐다. 하라주쿠 매장에선 이 영상을 대형 화면에 틀어 가상 모델이 이케아 가구를 어떻게 사용하는지를 보여줬다. 이마의 인스타그램 팔로워 수는 33만명이나 된다. 


리얼타임 라이브로 움직이는 수아, 무엇이 특별한가? 
수아가 전세계적으로 주목받는 이유는 리얼타임 렌더링을 통해 실시간으로 반응하는 디지털 휴먼이라는 데 있습니다. 전신이 실시간으로 움직이는 디지털 휴먼은 전세계 최초입니다.
리얼타임(실시간) 렌더링의 장점은 빠른 렌더링 속도와 인터랙션에 있습니다. 리얼타임이 아닌, 오프라인 렌더링이 일반적으로 사용되는 영화나 애니메이션은 미리 렌더링해놓은 이미지를 프레임마다 나열하여 동영상이 되는 방식입니다. 각 씬마다 콘텐츠 제작자가 원하는 앵글과 모습으로 렌더링을 하도록 설정해 놓고, 고품질의 그래픽을 만들어 내기 위해 많은 연산과 렌더링 시간을 투자합니다. 고품질의 한 프레임 스틸컷은 몇 시간 혹은 수십, 수백 시간에 걸쳐 컴퓨터가 렌더링을 연산합니다. 한 시간 분량의 영상을 제작하려면 최소 수백 시간 또는 그 이상의 렌더링 연산이 요구되면서 오프라인 렌더링에서는 많은 데이터와 렌더링 시간이 소요됩니다. 그에 비해 수아는 실시간 렌더링을 통해 4K 리얼타임 라이브로 사용자와 인터랙션하는 콘텐츠를 구현할 수 있습니다. 최소 30FPS, 즉 1초에 30번의 프레임을 그려내고 있어, 오프라인 렌더링과 차원이 다른 빠른 속도와 렌더링 퀄리티를 보여줍니다.

 

수아는 유니티 코리아 웨비나에서 리얼타임으로 시연한 바 있다.

“수아는 여태껏 나왔던 디지털 휴먼과는 다르게 실시간으로 반응하는 ‘리얼타임’ 디지털 휴먼입니다. 디지털 휴먼에 관심을 보이고 있는 기업들이 활발히 연구개발하고 있는 분야이기도 하죠. 언젠가는 수아와 비슷한 퀄리티의 결과물들이 나타나겠지만, 수아 프로젝트를 통해 고퀄리티의 실시간 디지털 휴먼을 누구보다 먼저 구현했다는 데 큰 자부심을 느낍니다.” 

김형일, 온마인드 대표


HDRP 를 이용한 사실적인 렌더링
수아는 Unity HDRP 를 이용해서 실사에 가까운 렌더링을 구현했습니다. HDRP 는 유니티 SRP(Scriptable Render Pipeline)으로 제작된 렌더링 파이프라인으로, 고품질 프로젝트에 사용할 수 있게끔 다음 원칙에 따라 설계되었습니다. 

 1. 물리 기반 렌더링(Physically Based Rendering)
 2. 통일되고 일관적인 조명
 3. 렌더링 경로와 독립적으로 구동되는 기능
이전의 렌더 파이프라인은 사용자가 렌더링 파이프라인을 수정할 수 없었는데, SRP 를 통해 사용자가 직접 렌더 파이프라인을 수정할 수 있게 되었고, 하나의 예제(Template)로 만들어진 것이 HDRP 인 것입니다. 김형일 대표는 HDRP의 막강한 성능이 수아를 실사와 비슷하게 구현하는 데 큰 도움이 되었다고 말합니다. Skin은 Unity ShaderGraph의 Stacklit 셰이더를 사용했고, 헤어는 헤어 셰이더를 사용했습니다. 모두 유니티에서 기본적으로 제공하고 있는 셰이더에 텍스쳐만 연결했는데도 HDRP로 인해 실사처럼 표현될 수 있었습니다.  
완벽한 피지컬 라이팅을 가진 HDRP 의 등장과 강력한 컴퓨트 셰이더가 탑재되는 등 하드웨어의 발전과 함께 불쾌한 골짜기 현상(인간이 로봇 등 인간이 아닌 존재를 볼 때, 그것과 인간 사이의 유사성이 높을수록 호감도도 높아지지만, 일정 수준에 다다르면 오히려 불쾌감을 느낀다는 이론)을 넘어 실사에 가까운 모델을 구현할 수 있게 된 것입니다. 


“유니티 웨비나에서 시연했던 이미지는 배경까지 3D 로 구현했습니다. 그 공간에서 수아가 자유롭게 움직이도록 했는데요, 3D 배경은 Archviz Pro의 배경을 다운받아 사용했습니다. 라이트프로브와 리플렉션 프로브가 캐릭터에 어떻게 반응하는지 테스트해봤는데, 생각보다 HDRP 성능이 좋았고, 리얼한 느낌을 잘 표현해주었습니다.” 

- 김형일, 온마인드 대표



리얼타임 페이셜 캡처를 통해 다양한 표정을 지을 수 있는 수아.

HDRP 뿐만 아니라 수아를 실시간으로 구현하는 데는 페이셜 캡처, 모션 캡처, 손가락 캡처, 버추얼 카메라를 사용하는 기술이 필요했습니다. 자연스러운 표정을 표현하기 위해 페이셜 캡처에는 아이폰을 사용했습니다. 실시간 캡처용으로 사용해도 좋을만큼 성능이 좋았고, 무엇보다 수작업으로 모델링을 한 수아를 작업하는 데 적당한 블렌드쉐입을 가지고 있어 큰 메리트가 있었습니다. 이 외에도 모션 캡처에는 발이 땅에 잘 닿지 않는 문제를 방지하기 위해 리깅 세팅에 신경썼고, 정교한 움직임을 표현하기 위해 손가락 캡처 장비를 이용하여 손가락의 자연스러운 구현을 위해 힘쓰고 있습니다. 라이브를 진행하며 카메라 워킹 부분에 아쉬움이 있었던 김형일 대표는 버추얼 카메라를 도입하여 가상 공간에서 자연스러운 컷을 촬영하는 시도를 하기도 했습니다. VR 기기를 착용했을 때와 비슷한 느낌을 줄 수 있는 버추얼 카메라의 도입으로, 더욱 다양한 카메라 구도 속에서 움직이는 수아를 보여줄 예정입니다.

디지털 휴먼, 어디까지 가능할까?

 

유니티 공식 홍보모델로 활동하고 있는 수아


가까운 시일 내에 온마인드는 AI 기술과 디지털 휴먼 기술이 같이 발전하며 서비스로의 ‘디지털 휴먼’으로의 도약이 필요하게 될 것이라 전망했습니다. 음성인식, 음성합성, 이미지 인식, 제스처 인식, 대화모델(챗봇) 등의 소프트웨어적인 기능을 인공지능이 보다 자연스럽게 수행해 현재 적용된 서비스의 정확도와 만족도를 향상시켜 인공지능 상용화의 새로운 패러다임을 열 수 있지 않을까 기대됩니다.

“서비스 뿐만 아니라 영화나 엔터테인먼트, 심지어 공연까지도 온라인으로 즐길 수 있는 시대가 다가왔습니다. 디지털 휴먼이 셀럽으로 활동하기 위해서는 시대 상황과 기술 발전이 잘 맞물려야하는데, 시대는 디지털화에 맞게 가속화되고 있다고 생각합니다. 유명 엔터테인먼트가 선보인 걸그룹 컨셉도 현실의 멤버가 가상의 디지털 휴먼이 서로 소통하며 교류한다는 설정으로 주목받았던 것처럼요. 디지털 휴먼이 셀럽이 될 날이 아주 가깝게 다가오지 않았나 싶습니다. ” 

- 김형일, 온마인드 대표


Unity Square 로그인
Unity MWU Korea Awards 2021 TOP 36 투표와 관련하여, 본인의 개인정보를 유니티테크놀로지스코리아 유한회사(이하 ‘회사‘)에서 수집 및 이용하는 것에 대해 동의합니다.

- 단, 관계법령의 규정에 의하여 보전할 필요가 있는 경우, 일정 기간 동안 개인정보를 보관할 수 있습니다. 그 밖의 사항은 회사의 개인정보취급방침을 준수합니다.
- 개인정보 수집/이용에 동의하지 않을 수 있으나, 미동의시 이벤트에 참여가 불가능합니다.
개인정보 수집 항목 이름, 휴대폰번호, 이메일
수집 목적 어뷰징 등을 통한 부정 투표 방지 및 이벤트 당첨, 경품 발송
보유기간 투표 종료 후 3개월 이내 파기
본 이벤트의 당첨자 추첨 및 배송, 응모 및 당첨자 경품 배송관련 상담 업무 등은 슈퍼와이 주식회사, 피엠지 아시아에 위탁됩니다.

- 개인정보 수집/이용에 동의하지 않을 수 있으나, 미동의시 이벤트에 참여가 불가능합니다.
위탁업체명 위탁업무
슈퍼와이 주식회사 TOP 36 투표 참여자 정보 처리 및 관리
피엠지 아시아 TOP 36 투표 참여자 문의/답변 대응 및 경품 발송
확인 발표자료 신청하기
닫기