음악 유사도를 이용한 자동 안무 기획 시스템

현재 대한민국의 가요는 국내를 뛰어 넘어 세계로 많은 진출을 하고 있다. 이미 동남아 쪽에서는 한국 아이돌의 인기가 갈수록 높아지고 있고 싸이는 미국, 유럽 등을 진출하여 강한 인상을 남기고 있다. 이들의 세계적인 성공은 음악 자체가 좋은 것도 있지만 끼 많고 재미난 안무 역시 큰 비중을 차지한다. 이번에 소개할 내용은 이러한 안무를 컴퓨터가 자동으로 설계해주는 시스템에 관한 연구이다. 춤 동작이 모두 같으면 재미없고 지루한 춤이 되겠지만 이러한 연구를 통해 안무 기획자의 참고 자료로 사용 될 수 있을 것으로 생각되고 또 춤을 추는 로봇이 단순히 기존의 춤을 따라하는 것이 아닌 새로운 안무의 조합을 통해 같은 노래를 재미있게 보여 주기 위해 응용 될 수 있을 것으로 생각된다.


Music similarity-based approach to generating dance motion sequence (음악 유사도를 이용한 자동 안무 기획)

글: 이민호 
(서울대학교 융합과학기술대학원 지능형융합시스템전공)





1. 자동화된 안무 기획의 필요성

안무 기획이란 지정 된 음악에 맞춰 어울리는 춤 동작들을 기획하는 작업이다. 음악에 맞춰진 춤은 가사, 멜로디 등의 음악적 특색과 더불어 듣는 사람에게 의미를 전달하는데 강력한 역할을 한다. 따라서 안무가 잘 짜인음악은 대중에게 보다 환호를 받고 그렇지 못한 음악은 음악 자체로는 좋아도 대중에게 많은 사랑을 받기 힘들다. 안무는 단순히 가요에만 적용 되는 것이 아니라 피겨 스케이팅, 발레, 체조 등 스포츠에서도 매우 중요한 역할을 한다.

이처럼 안무는 다양한 분야에서 필요하기 때문에  많은 안무 기획자들은 많은 경험과 시간을 바탕으로  보다 예쁘고 어울리는 안무를 짜기 위해 노력한다. 대다수의 안무 기획자들은 자신들이 사용한 혹은 주변에서 흔히 사용한 안무들을 모아서 시퀀스를 다르게 조합함으로써 음악에 맞는 안무를 구현하고자 한다. 여기에서 사용하는 음악과 유사한 음악에서 사용 되었던 안무를 참조해야 하는 것은 당연하리만큼 중요하다. 따라서 실제 음악에서 사용 되었던 안무들의 데이터베이스를 구축하고 이를 이용하여 새로운 음악이 들어왔을 때 사용 가능한 안무의 시퀀스를 추천해 줄 수 있다면 안무 기획자들의 시간과 노력을 많이 절감해줄 수 있을 것이다. 추가로 게임에서 사용되는 캐릭터들의 안무 동작이나 휴머노이드 로봇의 춤동작 기획에도 응용이 될 수 있다.


2. 자동화 된 안무 기획 시스템 개요

이 논문에서 제안하는 자동화 된 안무 기획 시스템은 크게 5개의 단계로 나눠져 있고 전체 개요는 <그림 1>과 같다.

<그림 1> 시스템 개요 

우선 모션 캡처 장치를 이용하여 기존 노래들의 실제춤 동작들을 전문가가 재현하고 이를 녹화한다. 그리고는 음악들을 유의미한 구간들로 분할하고 춤동작 역시 같은 시간대에 맞춰서 분할한다. 이렇게 하면 수많은 유의미한 음악 구간-춤의 데이터를 가지게 된다. 세 번째 단계에서는 음악의 유사성을 이용하여 비슷한 음악 구간끼리 분류를 하여 클러스터를 구현한다. 이 단계를 통해 음악 구간-춤 데이터는 비슷한 음악 구간끼리 분류가 되어 제안하는 시스템에서 필요로 하는 데이터베이스를 구축하게 된다. 최종적으로 사용자가 새로운 음악을 시스템에 제공하면 시스템은 다시 이 음악을 유의미한 구간들로 분할하고 각 분할 된 음악의 일부가 가장 유사한 분류 클러스터를 찾는다. 그리고 해당 클러스터에 있는 춤 안무들을 사용자에게 추천해준다. 이를 기반으로 사용자는 자신이 원하는 동작을 선택하여 최종적으로 음악에 어울리는 안무를 제작하게 된다.

처음 1-3 단계 (춤 동작 수집, 음악과 춤 분할, 그리고 분류)는 시스템에서 필요로 하는 음악 구간 - 춤 데이터베이스 설계를 위한 것이다. 4번째 단계인 새로운 음악에 맞는 춤 추천과 5번째 단계 사용자 선택 및 동작 정렬은 춤 동작 기획을 위한 것이다. 각 단계의 자세한 과정을 알아본다.

3. 음악-춤 데이터베이스 설계

이 시스템은 음악의 유사성에 기반을 두어 어울리는 춤을 생성하기 때문에 음악 분석을 통해 유사한 음악들을 찾아야한다. 따라서 음악의 특성들을 가지고 있는 데이터베이스 설계가 필수다. 이를 위하여 각 음악마다 음색적 특성 (spectral feature)과 시간적 특성 (temporal feature)을 수집했다. 총 22개의 유명한 한국 댄스 음악들을 이용하여 각 음악적 특성을 추출하였다.

그 다음에는 22개의 노래를 11개는 남자 전문가가, 그리고 11개는 여자 전문가가 모션 캡처 장치를 이용하여 안무를 수집하였다. 모션 캡처 장치는 차세대융합기술연구원에서 보유하는 장치를 사용하였다. 이 장치는 총 12개의 Vicon T-160 카메라와 Vicon nexus 소프트웨어로 구성 되어 있다. 각 전문가는 총 35개의 마커를 몸에 부착하였고 12개의 적외선 카메라는 이 마커들을 이용하여 전문가의 움직임을 캡처하고 소프트웨어는 이를 랜더링해서 디지털로 사용 가능하도록 한다. 모션 캡처 장치는 <그림 2>에서 볼 수 있다.

<그림 2> 모션 캡처 장치

음악과 해당 음악의 춤을 녹화 한 후에는 약 3-5초 단위의 구간으로 분할해줬다. 3-5초로 구간을 나누는 이유는 한 음악에서 코러스, 반주 등과 같이 다양한 구간들이 존재하고 같은 코러스 내에서도 강한 박자, 약한 박자 등 다양하기 때문에 음악적으로 유의미한 구간을 찾기 위해서다. 구간을 나누니 총 1,370개의 음악-춤 구간이 형성 되었고 이를 K-means 클러스터링 방식을 이용하여 음악적으로 유사한 구간들 끼리 분류해줬다. K-means 클러스터링이란 총 k 개의 중간 값을 공간에 뿌려 놓고 데이터를 살피면서 가장 가까운 중간 값을 가진 클러스터로 해당 데이터를 지정해주는 알고리즘이다.

이렇게 3개의 단계를 거쳐서 음악-춤 구간의 데이터베이스를 구축하였다. 이 데이터베이스는 추후 나올 춤 동작 기획에서 음악의 유사성을 찾아서 어울리는 춤 동작을 추천해주는데 사용된다.


4. 춤 동작 기획

춤 동작을 기획하는 세부적인 개요는 <그림 3>에서 볼 수 있다.

<그림 3> 춤 동작 기획 개요

우선 새로운 음악이 들어오면 음악적으로 유의미한 구간으로 분할해준다. 그 다음에는 각 구간별로 앞서서 설계한 음악-춤 데이터베이스에서 가장 유사한 클러스터를 지정해준다. 그런 다음에 사용자가 추천된 안무들 중에서 제일 적합하다고 생각 되는 것을 고르게 되고 각 구간별로 동작을 정렬해준다. 마지막으로 선택된 동작들이 합쳐지면서 해당 음악의 안무가 된다.


5. 실험 평가 및 결론

시스템을 평가하기 위해서 사용자 설문 조사를 하였다. 설문 조사에 제공 된 음악중 하나의 춤 동작의 스냅 샷은 <그림 4>와 같다.

<그림 4> 하나의 음악에 대한 안무 동작들: (a) - 음악의 기본 안무, (b) - 시스템이 제안한 안무, (c) - 무작위로 나열 된 안무

설문의 내용은 들려진 4개의 음악에 대해서 각 안무 (a - c)까지 보여주고 이를 5점 척도로 적합해 보이는지를 평가하는 내용이었다. 총 30명의 남자와 6명의 여자 참여자를 대상으로 설문을 실시하였고 참가자의 나이는 23살에서 41살까지 분포하였다. 평균 나이는 28살이었다. 설문 결과 시스템이 제공한 안무 동작이 무작위로 설정된 안무 동작들보다 월등히 좋은 평가를 받았다는 것을 확인하였고 따라서 시스템의 가능성을 확인할 수 있었다.

이 연구를 통해 자동화 된 안무 기획 시스템의 가능성을 확인하였다. 국내 유명한 댄스 음악만 대상으로 하였지만 다른 응용 분야에서도 충분히 사용이 가능 할 것이라고 생각된다. 그리고 이 시스템은 안무 제작 뿐 아니라 휴머노이드 로봇 등 다양하게 응용이 가능 할 것으로 보인다.