글: 조교수 오지용 (BK21플러스 스마트휴머니티사업단)
1. 연구 배경
음악을 싫어하는 사람이 있을까요? 사람들에 따라 선호하는 음악이 다를
수는 있겠지만 아마도 음악을 싫어하는 사람은 없을 것 같습니다. 그만큼 음악은 인류와 오랜 역사를 함께
해왔고 지금은 즐거움과 감동주는 것을 넘어 심리 치료에도 사용되고 있을 정도로 많은 사람들의 삶에 깊숙이 관여하고 있습니다.
작곡가에 의해서 만들어진 음악은 어떻게 다른 사람들에게 전달이 될까요? 전통적으로
작곡가의 머리 속에 있는 무형의 음악은 악보의 형태로 문서에 기록되고, 악보로 저장된 음악은 다양한
악기들과 사람들로 인해 소리의 형태로 바뀌게 됩니다. 현재에는 눈부신 기술 발전으로 건반을 누르면 악보가
자동으로 제작되고 컴퓨터에 저장되기도 하지만 여전히 음악과 관련된 많은 사람들이 펜으로 종이 위에 악보를 그리고 있습니다.
오늘 소개해 드리고자 하는 연구 주제는 이렇게 사람들이 손으로 그린 음표, 쉼표와
같은 음악적 기호들을 자동으로 인식하는 기술입니다. 아직 관련 기술의 완성도가 부족해서 많은 사람들에게
알려지지는 않았지만 현재의 기술 수준으로도 여러분이 직접 그린 악보는 음악으로 재생될 수 있습니다.
음악 기호 인식 기술들은 손 글자 인식과 같이 이미 그려진 기호들을 인식하는 오프라인 인식과 그리는 과정에서
바로 인식되는 온라인 인식으로 구분될 수 있습니다. 그 중 온라인 인식은 테블릿 PC와 같은 별도의 기기들이 필요하지만 각각의 음악 기호들을 쉽게 개별적으로 분리할 수 있는 장점으로 인해 오프라인
인식보다 높은 기술적 완성도를 보이고 있습니다.
쉬운 예로는, 여러분들이 가지고 계시는 스마트폰의 필기인식 기능이 바로 글자에 대한 온라인 인식의 한 예입니다. [동영상 1]과 같이 터치 펜의 궤적을 이용하여 각각의 알파벳들을 인식하는 것이죠.
[동영상 1] 알파벳 필기 인식의 한 예
[그림 1] 음악 기호(2분음표)와 기본 획들
다시 본론으로 돌아가, 온라인 음악 기호 인식을 위한 방법들 중 소개해드리고자 하는 방법은 그림 1과
같이 하나의 음악 기호는 몇 개의 기본 획들로 구성된다는 사실에 주목하여, 우선적으로 기본 획들을 인식하고
그런 다음 기본 획들의 인식 결과를 바탕으로 음악 기호를 인식하는 방법입니다. 여기에서 기본 획이란
사용자가 펜으로 테블릿 PC에 다양한 기호들을 입력할 때, 펜이
테블릿 PC에 닿는 순간부터 떨어지는 순간까지 펜의 움직임에 의해 그려지는 결과물이라고 할 수 있는데, 한 붓 그리기를 떠올리면 쉽게 이해가 될 것입니다.
이렇게 기본 획을 바탕으로 음악 기호들을 인식하는 방식은 적은 수의 기본 획들의 인식을 바탕으로 많은 수의 음악
기호들을 인식할 수 있는 장점이 있습니다. 예를 들면, 음자리표, 조표, 다양한 음표와 쉼표, 등의
많은 음악 기호들은 그림 2와 같은 기본 획들로 구성할 수 있습니다.
그리는 사람에 따라 음악 기호를 이루는 기본 획들의 구성이 다를 수는 있지만 대부분의 음악 기호들은 이러한 기본 획들로 표현될 수
있습니다.
[그림 2] 음악 기호들을 구성하는 기본 획들
이러한 기본 획들을 인식할 때 시간에 따른 테블릿 PC 위의 펜의
움직임의 변화는 매우 중요한 정보입니다. 동그라미를 그릴 때와 직선을 그릴 때를 상상해보면 시간에 따른
펜의 움직임이 서로 다른 것을 알 수 있습니다. 그리고 시간적 정보와는 별도로 오프라인 인식에서 사용되는
그려진 기본 획에 대한 영상도 함께 활용되기도 합니다.
저희 연구팀에서는 23명의 작곡과 대학생과 일반인으로부터 음악 기호를
수집하고 분석하여 그림 2와 같이 음악 기호들을 구성하는 21개의
기본 획들을 결정하였습니다. 그런 뒤에 수집한 음악 기호들로부터 3,090개의 21가지 기본 획들을 별도로 분리하여 인식 실험을 수행하였고, 그
결과 97.25%의 인식률을 달성하였고, 현재에는 지금까지
개발된 기본 획들의 인식 결과를 이용하여 음악 기호들을 인식하는 기술을 개발하고 있습니다.
이름 : 오지용 조교수 (young97@snu.ac.kr)
소속: BK21플러스 스마트휴머니티사업단
관심분야: 패턴 인식, 패턴 추출, Deep-Learning
글
0 개의 댓글:
댓글 쓰기