현재 BMW에서는 어떤 팀 또는 사업부에서 Unity를 활용하고 있나요?
만프레드: 저희는 BMW Group 연구 팀 소속이며 초기 프로토타입을 제작하고 차세대 BMW 차량에 관한 전망을 제공합니다. Unity는 전사적으로 사용되며, 특히 헤드업 디스플레이 그래픽스 설계나 그래픽스 프로토타입 개발에 주로 활용됩니다.

이 새로운 헤드업 디스플레이 프로토타입은 어떤 식으로 작동하나요? AR을 활용하여 새로운 운전자 경험을 조성할 만한 역량은 현재 어느 정도라고 볼 수 있을까요?

볼프강: 이번에는 AR 안경 디스플레이라서 헤드업 시스템과 유사한 점이 약간 있습니다. AR 안경의 구체적인 특징이 무엇이고, 기존 헤드업 디스플레이와 더불어 어떤 측면에서 활용할 수 있을지 파악하고 있습니다. 현재 프로토타입에는 다양한 가능성을 입증하는 운전자 및 탑승객 관련 활용 사례가 포함되어 있습니다. 운전자를 위한 기능으로는 운전자 보조 증강 기능이 있습니다. 예를 들어 주차 중에는 그래픽으로 거리를 표시하고, 주행 중에는 내비게이션 화살표가 도로와 교차로를 정확하게 안내합니다. 포트홀과 건설 현장 표시는 물론, 속도 제한이나 건널목처럼 주의해야 하는 표지판 등도 표시됩니다. 이 모든 정보가 AR의 중앙 뷰에 표시되죠. 탑승객 대상으로는 차량에서 즐겁게 시간을 보낼 방법을 연구합니다. 주행 경로를 따라 나타나는 동전을 모아 포인트를 얻을 수 있는 게임을 예시로 구현했습니다. 안경을 개인용 극장으로 활용하는 기능도 구현했습니다.
 

운전자용 AR 기능을 도입하며 최종적으로 달성하려는 목표가 무엇인지 말씀해 주시겠어요? 안전과 내비게이션 기능은 물론 전체적인 주행 경험과 몰입감 상승을 언급하셨는데요. 어떤 효과를 기대하시나요?

만프레드: 아시다시피 BMW는 AR 안경 제조업체가 아니므로 고객이 기존에 사용하던 AR 안경을 차량에 연결할 수 있도록 지원하고자 합니다. 전반적인 목표는 모든 종류의 AR 안경이 차량 내부에서 작동하도록 지원하는 것입니다. 마치 스마트폰처럼 말이죠. 이미 다양한 AR 앱이 나와 있지만, 현재 출시된 앱은 주행 시에 차량과 머리가 모두 움직이는 탓에 제대로 작동하지 않습니다. 기기가 두 가지 움직임을 구분해야 하지만, 아직 자동차로부터 추가 데이터를 받지 않아도 6 자유도(6-dof) 추적이 가능한 안경을 제조하는 업체는 없는 것으로 알고 있습니다. BMW는 자체적인 안경 추적 알고리즘, 소프트웨어, 차량 인터페이스를 개발했기 때문에 차량 내부에서 안경을 사용할 수 있습니다. 이게 첫 단계입니다.

볼프강: 지난 몇 년 동안 이 기본 시스템이 작동하도록 만드는 데 긴 시간이 걸렸습니다. 이 추적 솔루션을 사용하면 자동차가 움직이는 동안 안정적으로 증강 정보가 배치됩니다. 이제 차량의 움직임을 따라가는 가상 에셋을 대시보드에 배치할 수 있습니다. 이와 동시에 차량이나 사용자의 움직임과 무관한 주변 도로 또는 건물의 간판이나 표지판을 배치할 수도 있습니다.

현재 다양한 활용 사례를 프로토타이핑하여 어떤 요소가 적절하면서도 운전자에게 유용한지 연구하는 중입니다. 물론 언제나 중요한 것은 안전한 주행을 위한 콘텐츠를 만드는 것입니다. 운전자의 시야에 증강 현실이 표시될 때 인지 부하를 줄이기 위해 무엇을 표시하면 좋을지 연구하고 있습니다. 시뮬레이터에서 테스트 운전자와 함께 기능을 테스트하면서 안경 착용 시 반응 시간이 기존 운전 경험에 비해 향상되는지 파악합니다.

 AR 안경은 헤드업 디스플레이에서 표시되는 정보를 보완하는 역할을 하나요? 아니면 기본적으로 동일한 정보를 제공하나요?

 볼프강: 현재 AR 안경은 일반적인 헤드업 시스템을 크게 확장시킬 수 있다고 생각합니다. 헤드업 디스플레이는 차량 속도, 턴 바이 턴 내비게이션, 현재 속도 제한 등 환경에 종속되지 않는 중요한 정보를 제공합니다. 안경을 착용하든 착용하지 않든 상시 제공되죠. 그리고 안경은 보통의 헤드업 디스플레이 이미지 크기보다 훨씬 더 넓은 시야각(FOV)을 제공합니다. 따라서 현실 세계의 상당 부분에 증강 정보를 적용하여 기존 헤드업 디스플레이를 확장할 수 있습니다.

 자동차 산업과 전반적인 AR 도입에 관하여 조금 더 폭넓은 대화를 나누고 싶습니다. 지금은 모두 초기 개발 단계라고 말씀하셨죠. 제조업체 대부분의 현황에 대해 어떤 의견을 주실 수 있을까요? BMW 및 다른 업체들은 현재 무엇을 최우선으로 여기고 있다고 보시나요?

볼프강: 시장을 살펴보면 많은 기업이 현재 AR 기능을 기존 헤드업 시스템에 통합하고 있으며, 이는 대단히 합리적인 방향이라고 생각합니다. 이와 동시에 해당 솔루션이 여전히 헤드업 시스템의 작은 시야각(FOV)으로 제한되어 있는 것을 볼 수 있습니다. 그러한 이유로 BMW에서는 남는 시야각(FOV)의 활용 방안과 관련하여 AR 안경 연구에 큰 노력을 기울이고 있습니다. BMW는 대단히 인체 공학적이고 매력적인 폼 팩터와 디자인을 갖춘 소형 AR 안경에서 작동하는 유일한 시스템을 보유하고 있습니다(Xreal Air 2). 고객 친화적 기기에서 추적 기능이 작동할 수 있도록 상당한 노력을 통해 개발한 시스템입니다.

많은 안경 제작업체가 BMW와 협력하고 BMW의 차량과 호환되는 안경을 제작하게 되기를 바랍니다. 미래에는 안경이 스마트폰처럼 어디서든 사용되는 기기가 될 것이라고 기대합니다. 안경 제조업체와 자동차 제조업체가 특정 안경과 자동차 브랜드의 조합과 상관없이 작업 플랫폼을 갖출 수 있도록 이번 통합 과정에서 산업 표준을 설정하여 공통의 기반을 마련하고자 합니다.

만프레드: BMW는 2014년에 다양한 안경을 공개했습니다. 당시에는 ODG 스마트 글래스를 사용했으며, 지금 사용하는 안경은 그때와 비교하면 많은 부분이 바뀌었습니다. 시야각(FOV)은 거의 두 배로 늘어났고 이미지 품질도 크게 향상되었습니다. 여기에 이제 Unity를 사용할 수 있습니다. 이 기술이 발전하는 모습을 보니 기쁘고 BMW의 결과물에 자부심을 느낍니다.

다음 단계로 나아가기 위해 운전자 안전, 소비자 기대, 하드웨어와 관련하여 고려하고 있는 제한 사항이 있다면 무엇일까요?

볼프강: 소비자 관점에서는 안경을 더 편안하고 쉽게 착용할 수 있도록 안경의 크기를 더 줄이려 합니다. 지금의 기기는 대부분 실내용이며 틴팅이 크게 적용되어 있지 않습니다. 따라서 낮에 운전할 때는 표시된 콘텐츠를 볼 수 있을 만큼 틴팅이 어둡지 않을 수 있죠. 반대로 야간에 운전하는 경우에는 틴팅이 전혀 필요하지 않습니다. 따라서 동적 틴팅 기능이 바람직합니다. 동시에 해가 밝게 비추는 상황에서도 이미지가 선명하게 표시되려면 밝기 범위가 넓은 훌륭한 디스플레이가 필요합니다.

한편 많은 안경 제품이 배터리로 작동하기 때문에 런타임이 제한적입니다. 물론 안전을 위해서 가장 중요한 주행 관련 정보는 차량의 빌트인 디스플레이에도 제공됩니다. 그렇더라도 저희는 장시간 주행에 적절한 수준으로 런타임이 늘어나기를 희망하죠.

차량에서 서로 다른 시스템의 각기 다른 디스플레이 영역을 병합하여 중첩을 방지할 수 있습니다. BMW의 추적 시스템은 안경이 바라보는 위치를 정확히 파악하고 헤드업 시스템과 기타 디스플레이가 표시되는 영역도 파악합니다. 따라서 다른 디스플레이와 겹치지 않게 안경에 AR 콘텐츠를 표시할 수 있으므로 안경과 기타 디스플레이를 동시에 실행할 수 있는 가능성이 열립니다.