혁신을 가속화하고 빠르게 변화하는 업계 환경에서 차별화된 경쟁력을 확보하세요.
현실감 있는 시뮬레이션 환경
현실에서 드론에 적용하기 위한 배달 강화학습 알고리즘을 수차례 시험하기엔 여러 제약 조건들이 많습니다. 반복된 시도와 실패를 통한 수정을 포함한 실제 상황을 가정한 선행연구가 강화학습 과정에는 중요하지만 현실에서 이를 수행하기에는 어려움이 컸습니다. 그러나 우수한 물리엔진을 탑재한 유니티를 통해 다양한 현실의 변수이 반영된 시뮬레이션 환경을 구축할 수 있었습니다.
|
- 이현호, 2021 RL 코리아 드론 딜리버리 챌린지 최우수상 수상팀 rmnz |
효율적인 배송 학습을 위한 다양한 시도
자칫 단순하게 보일 수 있는 드론을 통한 무인배달이라는 상황은 다양한 변수에 대한 고민이 필요했습니다. 팀 rmnz의 경우 드론이 현재 위치에서 가장 가까운 목적지를 선택하여 경로를 정할 경우 비효율적인 경로로 갈 수 있음을 알게 되어 전체 목적지를 고려한 경로의 탐색 알고리즘을 구현하고, 실제 학습에서 얻은 데이터를 활용하여 드론이 학습 시작 시 최단경로를 설정할 수 있도록 하였습니다.
"드론이 목적지를 계산하면서 배달하는 경우 시간, 성능 측면에서 비효율적이라고 판단하였습니다. 따라서 목적지 계산과 물품 배달을 나누어서 진행하도록 변경하였습니다. 또한 강화학습 알고리즘도 중요하지만 데이터 전처리에 많은 노력을 기울였습니다.” -이현호, 2021 RL 코리아 드론 딜리버리 챌린지 최우수상 수상팀 rmnz |
반면 알고리즘 설계 과정에 집중하기 보다 유니티 ML 에이전트의 도움을 적극 받는 방법을 택해 우수한 성적을 낸 팀들도 있었습니다. 유니티 특별상을 받은 팀 Hwang은 유니티 ML 에이전트에서 제공하는 PPO(Proximal Policy Optimization)와SAC(Soft Actor Critic)을 이용하여 강화학습을 진행하여 전체 4등이라는 쾌거를 이루었습니다. 직접 구현하는 것에 비해서는 자유도가 낮지만 ML 에이전트에서 제공하는 접근성 높은 RND, ICM과 같은 모듈을 적극 활용한 결과였습니다. 강화학습 분야에서 완전한 초보였던 팀 NewBe 역시 ML 에이전트-learn을 통해 강화학습을 배우고, 여러 사례를 참고하여 좋은 결과를 만들었습니다.
“강화학습 영역을 완전한 백지에서 시작했는데, ML 에이전트를 사용하여 명령어 한줄만으로도 드론이 스스로 학습하는 것을 본 경험은 지금까지도 생생합니다.” - 임찬우, 2021 RL 코리아 드론 딜리버리 챌린지 유니티 특별상 수상팀 NewBe |
파라미터 설정을 통한 효율적인 강화학습 환경 세팅
강력하고 다양한 성능을 가진 ML 에이전트-learn을 100% 활용하기 위해서는 수많은 파라미터 튜닝이 필요합니다. 팀 Hwang 역시 초반에 여러 개의 파라미터를 맞추는 것에 큰 어려움을 겪었지만 ML 에이전트 설치 시 제공되는 예제와 공식 문서를 참고하여 많은 팁을 얻었습니다. 그 결과 time_scale, num_envs 등의 파라미터를 통해 학습을 빠르게 진행하고, checkpoint_settings, resume 기능을 통해 간편하게 모델을 저장 및 불러오기하는 등 여러 기능들을 능숙히 다뤄 강화학습을 수월하게 진행할 수 있었습니다. 마찬가지로 팀 NewBe의 경우 비슷한 환경에서 수행된 다른 훈련들을 참고하여 파라미터 튜닝의 기준점을 잡는 데 큰 도움을 얻고, 이를 바탕으로 기본이 되는 파라미터 설정에 공들여 시간에 쫓기는 와중에도 좋은 결과를 냈습니다.
- 임찬우, 2021 RL 코리아 드론 딜리버리 챌린지 유니티 특별상 수상팀 NewBe |
파이썬(Python)과의 강력한 연계 기능
이번 챌린지에 참가한 28개의 팀 중 17 팀은 ML 에이전트가 제공하는 자체 알고리즘을 통해 학습을 진행했고, 나머지 팀은 파이썬 API를 통한 알고리즘을 사용했는데, 직접 짠 파이썬의 강화코드를 ML 에이전트의 기능을 사용하여 구현할 수 있었습니다. 이는 ML 에이전트의 핵심 기능 중 하나로, ML 에이전트는 파이썬과 유니티 환경이 서로 통신할 수 있게 다양한 함수들을 제공합니다. 강화학습을 위해 채택한 알고리즘 방식과는 상관없이 모든 팀은 챌린지에 참여하는 동안 ML 에이전트를 다방면으로 사용하면서 ML 에이전트의 강점을 느낄 수 있었습니다.더욱 진화된 ML 에이전트 v2.0
2017년 처음 출시된 유니티 ML 에이전트는 복잡한 시뮬레이션 환경하에서 강화학습 관련 연구 프로젝트나 자가 학습을 통해 스스로 진화하는 콘텐츠가 포함된 게임 등을 제작하는 데 활용되고 있습니다. 2021년 5월 새롭게 공개된 ML 에이전트 v2.0은 협동형 동작을 훈련시키는 기능, 에이전트가 환경 내 다양한 엔티티를 관찰하는 기능, 여러 작업을 훈련하도록 지원하는 작업 파라미터화 기능 등 새로운 개선 사항들을 통해 복잡한 협동형 환경을 보다 완벽하게 지원합니다. 이번 챌린지에서도 과반수가 넘는 제출작이 ML 에이전트에서 제공된 알고리즘을 사용했으며, 그 중 7팀이 상위 10위권 내에 드는 우수한 성적을 보이며 ML 에이전트의 뛰어남을 엿볼 수 있었습니다.
- 민규식, RL 코리아 연구원 |
향후 계획
올해 첫 개최였던 ‘2021 RL 코리아 드론 딜리버리 챌린지’ 행사는 RL 코리아가 쌓아온 영향력과 노하우에 ML 에이전트 v2.0의 발전된 기술력이 잘 융합된 결과 성공적인 첫걸음을 떼며 다음 챌린지에 대한 기대를 불렀습니다.
- 이현호, 2021 RL 코리아 드론 딜리버리 챌린지 최우수상 수상팀 rmnz |
유니티 ML 에이전트에 관한 자세한 내용은 공식 홈페이지(https://unity.com/kr/products/machine-learning-agents)를 통해 확인 가능합니다.