음악과 과학의 만남, MARG (Music and Audio Research Group)

글 : 김재훈, MARG(Music and Audio Research Group), 석사과정

원상희, MARG(Music and Audio Research Group), 석사과정

융합과학기술대학원 D동 4층에 위치한 음악 및 오디오 연구 그룹(Music and Audio Research Group, MARG)은 이교구 교수의 지도 아래 박사과정 12명, 석사과정 11명, 연구원 3명이 열심히 연구를 하고 있다. 주된 연구 분야는 음악정보검색의 MIR(Music Information Retrieval), Audio/Music Signal Processing, Source Separation, Machine Learning, New Music Interface 등으로, 음악과 관련된 폭넓은 연구가 진행중이다.

MIR과 관련된 다양한 분야에 걸쳐, 최근 진행되었거나 진행중인 프로젝트는 광범위하고 다양한데, 대표적인 것은 다음과 같다.

1) 한글 터치 스크린 키보드를 위한 향상된 음향 피드백 (Enhanced auditory feedback for Korean touch screen keyboard)

거의 모든 사람이 스마트폰을 사용하는 요즘, 피처폰을 사용하던 때와, 가장 큰 차이점 중 하나는 문자 입력 방식이 쿼티(QWERTY) 자판으로 변했다는 사실이다. 키패드의 크기는 전보다 작아지고 터치스크린으로 변화하면서 오타가 더욱 증가하게 되었는데, MARG에서는 오타를 줄이기 위해 오디오를 통한 접근을 하였다. 각각의 모음이 성대를 지나면서 내는 에너지의 특성을 Formant라고 한다. 키패드를 누를 때 나는 기존의 획일적인 소리에 Formant를 심어주면 유저가 문자 입력을 하면서 오타를 의식하는 데 도움을 줄 수 있을 것이라 생각하고, 청각피드백(Auditory Feedback)을 제공하는 키패드를 개발하였다.

FIg 1. 쿼티 자판

2) 한글 라디오 사연을 이용한 음악 추천 시스템 (Music recommendation system using Korean radio episodes)

FIg 2. 한글 라디오 추천 시스템 알고리즘 도식

이 시스템은 라디오 사연을 이용하여 청취자의 상황을 반영한 음악 추천시스템을 구현함으로써 보다 사용자가 원하는 음악을 추천하는 것을 목표로 한다. 잠재적 의미 분석(LSA=Latent Semantic Analysis)와 확률적 잠재 의미 분석(pLSA=Probabilistic Latent Semantic Analysis)를 이용하여 문서들을 벡터화 하고 이후 평가하여 결론적으로 사용자에 의해 생성된 맥락정보 (상황이나 맥락을 표현하는 문서형식의 정보)를 수집한 후 클러스터링을 통해 특정 맥락에 대한 보편적인 음악적 선호를 찾아낸다.

3) 실시간 오디오 악보간 정렬 기술을 이용한 스마트 인터렉티브 음악 에듀테인먼트 시스템(Smart interactive music edutainment system using Score Following technology)

연주하는 소리의 오디오 신호를 분석한 후 해당 악보와 비교하여 사용자가 현재 연주하는 것이 맞았는 지 틀렸는 지악보에 보여주는 시스템이다. 단순히 맞는 지 틀렸는 지 뿐만이 아니라, 틀린 연주의 정보 또한 분석하여 악보상에 표시해 줌으로서 정확하게 어디서 어떻게 연주를 틀렸는 지 알 수 있게 된다. 결론적으로 태블릿 컴퓨팅 환경에서 즐겁게 연습할 수 있는 환경을 구축하는 것을 목표로 한다.

Fig 3. 실시간 음악 악보 정렬 원리

FIg 3. 어플리케이션 사용 장면

4) Future Grab

Future Grab은 라이브 공연을 위한 새로운 악기이다. 이 악기는 양손에 착용하는 장갑의 형태이며 컴퓨터, 장갑 그리고 음고 표시기(pitch indicator)로 구성되어 있다. 누구나 쉽고 직관적으로 사용할 수 있는 악기를 목표로 제작되었으며, 사용방법이 간단하지만 다양하고 풍부한 음색을 표현하는 데 초점을 맞추었다. 손의 동작/ 합성된 소리를 사람의 입모양/모음발음과 비슷하게 배치하여 직관성을 높였고, 재미있는 합성된 소리를 구현하였다.
<자세히 보기 : http://aictnews.blogspot.kr/search/label/리서치%20하이라이트>

FIg 5. Future Grab 동작 원리와 사용장면

5) Source Separation

음악의 분석이나 이해를 위해서는 악기들 각각에 대해 아는 것이 중요하다. 최근에는 여러 악기 소리의 집합인 음원에서 원하는 음성만을 추출, 제거하거나, 화성악기 혹은 타악기의 음원(source)를 분리해 내는 음원분리(Source Separation)를 집중적으로 연구하고 있다.


이처럼 다양한 분야를 연구하는 MARG이지만 마거(MARGer)들은 하나의 공통된 관심사를 가진다. 랩이름에서 눈치챌 수 있듯이 음악이다. 연구실 분위기가 유난히 친밀한 이유 중 하나도 아마 관심사의 공유일것 이다. 연구실의 소파에서 기타, 베이스, 우쿨렐레, 건반 등을 연주하며 담소를 나누고 휴식을 취하는 모습은 MARG에서는 낯선 풍경이 아니다. 학회나 엠티에도 항상 음악이 함께하고, 송년회 또한 랩원들의 공연으로 진행 된다. 개개인의 연구 방향은 각기 다르지만 자신이 좋아하는 것을 다른 사람들과 함께 연구하고 있기에 마거들은 항상 높은 행복지수를 유지하며 생활하고 있다.

Fig 6. 나임 학회 참석 및 연구실 로고

Fig 8. 연구실 정경

<인터뷰>

이교구(교수) :

“좋은 음악을 어떻게 찾을까? 텍스트 말고 음악을 찾을 다른 방법은 없을까? 음악을 들을 때 뇌에서는 어떤 일이 일어날까? 음악을 악기별로 분리해 낼 수는 없을까? 아이폰을 악기로 활용해서 친구들과 음악을 할 수 없을까? 아예 새로운 디지털 악기를 만들 수는 없을까?
 연구와 프로젝트 내용들에서 짐작하실 수 있겠지만, 이 질문들은 저희 연구실 이 해결하고 있는 문제들입니다. 음악이 디지털 데이터로 생산, 소비되고 있는 현재의 환경에서 이와 같은 질문들이 가지는 의미는 점차 커질 것입니다. 음악을 컴퓨터로 분석하는 기술은 꾸준히 발전해왔습니다. 앞으로는 컴퓨터가 사람처럼 음악을 인지하고 분류할 수 있게 될 것입니다. 향후에도 음악을 정보로서 다루는 광범위한 연구 영역에서 연구를 활발하게 진행해 나갈 예정입니다."