생각만으로 공간을 확장시키고 축소할 수 있는 시대가 다가왔습니다. 2012년부터 모바일부터 PC 및 웹에 이르는 다양한 플랫폼으로 뇌파와 공간 연구에 유니티를 활용해온 한양대학교 건축학부 지승열 교수를 만나, 뇌파를 통해 유니티가 구현하는 디지털 트윈 기법을 알아보았습니다.
스마트 쉘터와 뇌파 연구
지승열 교수는 건축 공간에서 사람이 느끼는 정보를 모니터링하고, 그 중 뇌파 데이터를 다양한 방식으로 활용하고 있는 연구를 진행하고 있습니다. 현재 진행 중인 연구는 학제간 융합 연구로 홍익대학교 고경호 교수를 중심으로 예술, 철학, 건축, 공학의 각 교수님들이 모여서 추진하고 있는 '스마트 쉘터 프로젝트' 입니다.
기존의 EEG 기술을 활용, 머신러닝 기법을 활용하여 사용자의 생각과 키보드 명령키를 동기화하는 키맵핑 방식의 사례가 다수 있어왔지만, 지승열 교수는 기존의 연구 결과들과 비교했을 때 이번 연구는 ‘감성적인 접근’ 에 차이가 있다고 말합니다. 기술적이고 공학적인 접근이 아닌 감성적인 접근으로 건축 공간에서 사용자가 행하는 행위를 중심으로 스토리 텔링 작업을 진행한 것입니다. 숑바르 드 로브의 병리 기준을 참조하여 인간이 공간에서 느끼는 감정을 활용해서 스트레스지수가 높아 낮추어야 하는 상황이 발생하면 공간을 확장하여 스트레스 지수를 낮추어 주고 집중도가 낮게 형성하는 뇌파가 발생하면 집중도를 높이고자 공간을 축소하는 형식의 역할을 뇌파를 활용한 감성 정보와 공학적인 장치간의 연계작업을 희림 DI랩의 기술 협업으로 진행했습니다.
뇌파 데이터 수집과 유니티의 역할
지승열 교수는 뇌파 정보 수집 툴로써 유니티를 선택한 이유로, .Net Framework 환경에서 개발된 API들을 활용하기 쉬운 구조로 되어있고 C# 환경의 장점들을 활용할 수 있었다는 점을 꼽았습니다. 특히, BOLT VPL 언어가 이전에 만들어 놓은 C#코드를 직관적으로 활용할 수 있고, 3차원으로 설계된 건축 공간 데이터를 중심으로 프로그래밍 작업을 진행한 후, VR이나 AR에 쉽게 적용할 수 있습니다.
“유니티는 다양한 컴퓨팅 기술과의 연결성이 우수하고 모듈 기술간의 접착제와 같은 역할이어서 외부에서 모듈식으로 프로그래밍한 언어들을 .NetFramework 환경의 모든 라이브러리를 불러와서 연계 작업을 할 수도 있습니다. 최근에는 인공지능 프레임 워크 인 텐서플로우나 파이토치도 연계하여 뇌파데이터를 활용하는 중요한 도구로 유니티를 활용하고 있습니다. 또한, 근래 BOLT라고 하는 VPL언어까지 활용하게 되어서 매우 쉽게 개발환경을 구축하고 있습니다. 저는 유니티를 3차원 Visual Studio라고 생각하고 활용하고 있습니다.” - 지승열, 한양대학교 건축학부 교수 |
유니티와 디지털 트윈
유니티에 구현한 실물의 3차원 오브제 조작은 디지털 트윈 기법으로 가상의 Unity 속 쉘터와 모형의 쉘터 실제 구축되어진 쉘터를 동시에 컨트롤하면서 Unity에서 미리 Collider나 Rigid Body를 활용해 실제 쉘터을 조작 상황에서 발생할 수 있는 문제점들을 예측합니다. 뇌파 데이터를 감성 정보로 변환하는 인공지능 모델을 유니티 내에서 참조하여 사람의 감정 정보를 추출하고 쉘터의 모터 구동부분의 이상 작동을 막기 위한 머신러닝 프로세스를 통해 3차원 오브제의 조작 및 모터를 정량적인 감성 치수를 기반으로 구동시킵니다.
목적에 맞게 커스터마이징이 가능한 유니티
모듈디자인을 통해 쉘터가 구성될 시 각각의 모듈간 인터페이스에 전체 쉘터의 기능이 저하되지 않도록 모듈러 디자인의 설계 및 제작에 표준화 작업과 최적화과정이 요구되고 있습니다. 지승열 교수는 유니티의 최대 강점은 사용자가 각 설계 상황에 맞추어 구성이 가능하다는 데 있다고 말합니다. 타사 엔진의 경우, 이미 자체적인 시스템이 채워져 있는 반면, 유니티는 비워놓은 상태에서 다양한 목적에 맞게끔 채워나갈 수 있는 것입니다. 또한, 유니티 에셋스토어에서 제공하고 있지 않은 라이브러리 조차도 .Net환경의 필요조건만 충족한다면 얼마든지 추가 구성할 수 있습니다. 이는 기획자의 연구나 개발의 스토리텔링 작업에 따라서 다양한 기술의 조합과 연결을 통해 창의적인 결과물을 만들어낼 수 있게 합니다.
지승열 교수는 주로 의학 분야에서만 활용되던 '뇌파'라는 분야를 건축 분야에 활용했다는 데 의미를 두었습니다. 공간에서 사람이 느끼는 감성의 척도를 뇌파기반의 관련 생체 데이터로 인터랙티브 공간설계, 3차원 공간 설계, IoT에 이르기까지, 여러 연구 과제를 진행하면서 돈의 논리와 공학 중심의 효율성을 추구하는 기존의 공학 패러다임에서 인간 중심의 감성적인 공간 구축 패러다임으로 정리하는 것을 목표로 삼고 있습니다.