전 세계에서 가장 널리 사용되며 확장 가능한 실시간 개발 플랫폼의 강력한 기능을 활용하여
혁신을 가속화하고 빠르게 변화하는 업계 환경에서 차별화된 경쟁력을 확보하세요.
혁신을 가속화하고 빠르게 변화하는 업계 환경에서 차별화된 경쟁력을 확보하세요.
AK GO의 개발은 2008년에 시작되었습니다. 유니티는 (주)증강지능의 CEO이자 설립자인 조근식 대표와의 인터뷰를 통해 AK GO의 개발 비하인드 스토리와 Unity의 역할에 대해 알아보았습니다. 조근식 대표는 오래전부터 가상 현실 및 인공 지능이 항공 정비 현장에 적용될 시 이점을 연구하고, 논문을 발표하며 해당 분야의 가능성을 도전해 왔습니다.
프로젝트 시작 배경
프로젝트 시작 배경
㈜증강지능의 조근식 대표는 2008년 대학교수로서 Airbus로부터 연구비 지원을 받아, 미국의 USC, 대한항공과 함께 증강 현실과 인공 지능 기술을 항공 정비 현장에서 활용하는 선행 실증 연구를 수행했습니다.
이 연구를 통해 AR과 인공 지능 기술을 활용한 정비가 기존의 종이 매뉴얼 기반의 정비보다 30% 이상 작업 효율을 향상시킬 수 있다는 점을 확인했고, 질적인 면에서도 작업 경험이 풍부하지 않은 작업자들도 무오류에 가까운 작업을 수행할 수 있다는 이점을 발견했습니다. 이러한 결과를 바탕으로 미국 인공지능학술대회(AAAI)에 관련 기반 기술과 응용 영역에 논문을 발표했습니다.
당시에는 AR과 MR 글래스도 구하기 어려운 시절이었지만, 지금은 기술의 발달로 HoloLens 2와 Magic Leap와 같은 다양한 스마트 글래스가 시장에 출시되어 실용화가 가능한 환경적 기반이 갖추어졌습니다. 조근식 대표는 앞서 수행한 연구 결과에 대한 관련 핵심 기술 특허를 미국, 중국, 국내 등에 등록하였고, 이를 실제 산업에서 상용화하고자 창업을 하였습니다.
AK GO: 항공 정비 교육용 XR 콘텐츠
AK GO: 항공 정비 교육용 XR 콘텐츠
항공기 정비는 정비가 불량할 경우 인명 사고로 이어질 수 있는 매우 중요한 과정입니다. 국제민간항공기구(International Civil Aviation Organization, ICAO, 2016) 조사에 따르면, 항공기 사고 원인 중 약 14%가 정비 불량으로 인해 발생한다고 합니다. 항공기나 복잡한 기계의 정비는 매뉴얼의 절차에 따라 정비하도록 엄격하게 통제되고 있지만, 유지보수 작업 전 방대한 내용을 PDF나 종이 매뉴얼을 찾아서 이해하고, 2D 도면이 실제 항공기와 어떻게 일치하는지 확인하는 절차는 매우 복잡하고 시간이 많이 걸리는 작업입니다.
AK GO는 항공기 정비 매뉴얼을 탑재한 인공 지능이 스마트 글래스를 착용한 작업자의 시야에 실시간 3D로 실제 항공기 부품의 모습과 매뉴얼을 함께 보여 줍니다. 작업자는 XR 콘텐츠와 AI와의 음성 상호 작용을 통해 정비 과정을 효율적으로 시뮬레이션할 수 있습니다.
AK GO를 활용하면 작업자들은 실물 항공기를 활용하는 것처럼 현실감 넘치는 정비 과정을 반복하여 학습할 수 있고, 교육 기관은 값비싼 장비 확보의 부담 없이 고품질 교육을 제공할 수 있습니다.
현장 실무 작업 과정과 동일한 실감형 콘텐츠
현장 실무 작업 과정과 동일한 실감형 콘텐츠
항공기의 가격은 대당 최소 1,000억 원이 넘는 고가이어서, 일반 항공 정비 교육 현장에서는 이를 확보하기가 현실적으로 어렵습니다. 이에 항공 정비 교육 기관들은 퇴역한 구형 항공기나, 현장에서 사용하지 않는 경비행기로 실습 장비를 대체하고 있지만, 이마저도 장비의 마모와 파손 우려로 전시용으로 전락하고 있는 상황입니다.
조근식 대표는 이를 극복하기 위한 대안으로, 현장 실무 과정과 동일한 실감형 정비 콘텐츠를 개발하고자 했으며, XR 기술이 항공 정비 분야에 적용할 수 있는 좋은 사례가 될 수 있다고 생각했습니다.
항공 정비 교육 콘텐츠의 경우 다른 모든 산업 현장의 작업들과 같이 정비 교육이나 작업을 할 때에 양손을 자유롭게 이용할 수 있어야 하며, 또한 정보에 쉽게 접근할 수 있어야 합니다. 최근에 상용화되어 출시되고 있는 HoloLens 2와 같은 웨어러블 스마트 글래스는 이 점을 현실화할 수 있는 디바이스였기에, HoloLens 2에서 동작되는 항공 정비 콘텐츠를 개발하는 것에 중점을 두었고, 작업자가 쉽게 정보에 접근할 수 있도록 음성 인식 기술을 함께 적용하였습니다.
항공기 메인 랜딩 기어 정비 메뉴얼에 따라 정비 절차 가이드
스마트 글래스로 노출되는 영상을 태블릿을 통해 공유 가능
"저희 개발팀이 처음 개발을 착수했을 때에는 엔진 사용 경험이 없어 엔진 선택에 어려움을 겪었습니다. Unity 엔진은 다른 엔진들에 비해 엔진 초보 사용자가 접근하기 편하다는 장점이 있었고, 고수준의 개발까지 지원함으로써 장기적인 개발 과정에 있어서도 엔진 변경 등의 부담이 없다고 판단되었습니다. 또한, Unity는 HoloLens2용 MR 콘텐츠 개발을 용이하게 할 수 있는 옵션을 포함하고 있으며, 개발에 필요한 플러그인이나 에셋 등을 쉽게 구하거나 구매할 수 있는 환경을 제공한다는 점도 작용했죠. 이런 이유로 Unity 엔진을 선택하게 되었습니다." – 조근식 대표, CEO, (주)증강지능 |
스마트 글래스로 노출되는 영상을 태블릿을 통해 공유 가능
스마트 글래스용 콘텐츠를 개발하다 보니 일반적인 VR 콘텐츠와 마찬가지로 실제 장비를 착용한 사람을 제외하고는 어떤 콘텐츠가 보여지고 있는지 알 수 없다는 문제가 있었습니다. 이 문제를 해결하기 위해 AK GO 팀은 값비싼 스마트 글래스나 PC가 달려 있는 VR 장비를 모든 교육 대상이 사용하는 대신, 특정 사용자가 보고 있는 장면을 실시간으로 태블릿 등의 화면으로 공유할 수 있도록 하여 사용자 편의성을 높였습니다.
AK GO를 사용하면 스마트 글래스를 통해 사용자의 시야 내에 출력되는 항공기를 보면서, 매뉴얼의 가이드에 따라 출력되는 작업 절차를 안내 받을 수 있으며, 딥러닝 음성 인식 기술을 활용해 각 작업 단계에서 메뉴와 콘텐츠에 쉽게 접근할 수 있습니다. 또한 태블릿 기기를 통해 HoloLens2에서 출력되는 영상을 다른 사용자와 공유할 수 있어 스마트 글래스를 착용한 사용자가 어떤 콘텐츠를 체험하고 있는지 실시간으로 확인할 수 있습니다.
AI와 XR을 융합한 항공기 랜딩 기어의 분해 조립 과정 시뮬레이션
항공기 랜딩 기어의 분해 조립 과정 영상을 살펴보면 AI가 사람와의 대화를 통해 매뉴얼상의 작업 단계를 작업자의 시야 내에 제시하는 장면이 나옵니다. AI와 XR을 융합하여 컴퓨터가 정비 지식을 가지고 사람과 대화하며 확장 현실 공간상에 정보를 3차원 모델과 함께 정비에 필요한 정보를 현실 공간에 보여 주며 인간과 대화를 하고 있는 것을 볼 수 있습니다.
유용하게 활용한 Unity 기능
안치돈 수석 연구원은 Unity의 에디터 스크립트 기능을 이번 프로젝트에서 가장 유용하게 활용했다고 말했습니다. 하나의 프로젝트 뿐만 아니라 여러 개의 유사한 프로젝트를 진행하는 경우, 에디터 스크립트로 반복되는 작업을 정의해 놓으면 다양한 파트에 대한 동일한 작업들을 손쉽게 해결할 수 있었다고 합니다.
방대한 데이터를 반복적으로 다루지만 매번 반복할 때마다 데이터가 달라지는 콘텐츠를 개발하는 경우 개발자가 직접 하나하나 진행해야 하는 번거로운 수작업을 Unity에서는 적절하게 제작된 메타 파일과 미리 정의된 프리펩을 활용하면 간편하게 자동화가 가능합니다.
"Unity에는 저희처럼 소규모 개발팀도 효과적으로 사용할 수 있는 에셋이 다양하게 있고 클라우드를 활용한 공동 개발 등에 최적화되어 있어 현재 프로젝트 시작부터 Unity를 사용했습니다." – 안치돈 수석 연구원 Chief Architect & Developer (주) 증강지능 |
향후 계획
AK GO는 항공기 정비 분야에 초점을 두고 AI와 XR 콘텐츠를 융합하여 설계, 실험 및 구현을 해왔습니다. 향후에는 실시간 유지보수가 요구되는 전기 자동차, 가전제품 및 공장 등의 디지털 트윈에서도 AK GO의 활용을 확대해 나갈 예정입니다.
앞으로 (주)증강지능은 클라우드 기반으로 다양한 항공기 기종의 콘텐츠를 SaaS Model로 전세계에 공급할 예정이며, 다양한 콘텐츠의 자원을 융합해서 활용하는 것에 Unity를 적극 활용할 예정입니다.
AK GO는 Unity 2019.1.14를 사용해서 제작되었습니다. (주)증강지능 홈페이지에서 더 자세한 내용을 만나보세요.
실감형 교육용 애플리케이션을 비롯한 디지털 트윈 구축에 Unity가 어떻게 활용되고 있는지 자세히 알아보세요.