새로운 악기의 혁명! 인터랙티브 사운드 "퓨쳐 그랩" 소개

이달에 소개할 연구는 '퓨쳐그랩'으로 미시간 대학교에서 열린 New Interfaces for Musical Expression (NIME) 학회에 발표된 연구이기도 합니다. 디지털정보융합전공 MARG랩 한윤창 박사 학생과 나진수 석사 학생이 수업때 진행하여 논문까지 발전시킨 연구입니다. 악기라고 하면 대부분 피아노, 바이올린, 기타 등 고전적인 악기를 많이 떠올립니다. 하지만 시대가 변했고 컴퓨터가 좋아지고 많은 소형 센서들이 생기면서 새로운 형태의 악기들이 많이 나오고 있는데 이교구 교수님 연구실에서도 새로운 악기에 대한 다양한 연구를 하고 있다고 합니다. 기존의 틀을 깨고 악기의 혁명을 가져올 MARG랩에서 개발한 악기! 한번 자세히 살펴보겠습니다.



FutureGrab: A wearable subtractive synthesizer using hand gestureNew Interfaces for Musical Expression

(퓨처 그랩: 손동작을 이용하는 새로운 악기 인터페이스)

서울대학교 융합과학부 디지털정보융합전공
음악정보분석연구실(이교구 교수)
박사과정 한윤창

1. 퓨쳐 그랩의 시작 - Interactive Sound Design (ISD) 수업

디지털 정보융합과의 인터렉티브 사운드 디자인 수업은 전자공학, 프로그래밍, 음악 이론, 사용자 경험, 신호처리 등 다양한 분야의 지식을 가진 학생들이 모여 상호작용이 가능한 음악 관련 디바이스를 만드는 수업이었습니다. 이 수업의 기말과제로 새로운 형태의 악기를 만들자!! 는 의견이나와 석사과정 나진수 학생과 함께 퓨쳐 그랩이라는 이름을 짓고 개발을 시작하게 되었습니다.

2. 퓨쳐 그랩의 특징 및 설명

퓨쳐 그랩은 양손에 착용하는 장갑형태의 악기입니다. 기본 아이디어는 손을 이용해서 사람의 입모양을 따라하면, 소리도 마치 사람이 말하는 듯하게 만들자였습니다. 또한, 가능한한 쉽게 배울 수 있는 직관적인 인터페이스를 만드려 하였고 실험적이지만 실제 공연에서 사용할 수 있을만한 악기를 만드려고 하였습니다.

Figure 1. 손동작에 따른 기능 설명



Figure 2. 오른손과 사람 입모양, 그리고 사람 모음 발음 효과간의 맵핑

퓨쳐 그랩의 왼손은 초음파 센서를 이용하여 바닥으로부터 손바닥까지의 거리를 재고, 이를 음의 높낮이로 변환하여 줍니다. 엄지와 검지 손가락을 오므릴때만 소리가 나게 되는 구조입니다. 오른손은 사람의 입모양처럼 오므리고 펴는 동작을해서 소리에 필터링을 하여 사운드 효과를 씌우게 됩니다. 얼마나 손을 오므렸는지는 오른손 장갑안에 부착된 Flex센서를 이용하여 측정하였습니다.

추가적으로, 음의 높낮이는 동파이프와 LED, 광튜브를 이용하여 시각화를 했습니다. 이를 통해 연주자는 소리가 나지 않을때도 실시간으로 음의 높낮이를 알 수 있고, 관객에게는 연주자의 동작에 따라 멋진 LED 불빛 효과를 보여주게 됩니다.

3. 제작 과정

퓨쳐그랩은 장갑에 부착된 센서의 값을 마이크로 컨트롤러인 Arduino를 통해 얻고, 그 값을 컴퓨터로 전송하여 Pure Data라는 음악 신호처리 프로그램을 통해 소리를 합성 및 필터링 합니다. 초음파 센서 거리는 기본 주파수를 변화시키게 되고, flex 센서 값은 사람의 모음 발음과 비슷한 소리를 내기위한 주파수(formant 주파수)만을 남기기 위해 band-pass필터의 값을 결정하게 됩니다.

Figure 3. '이'와 '우' 발음의 formant 주파수 반응

Figure 4. 퓨처 그랩 실 착용 모습

기본 기능외에도 여러 발음을 미리 지정 해놓은 preset버튼과 배경음악의 key에 맞출 수 있는 knob, 그리고 glissando control knob 등을 추가하여 다양한 상황에서 리드 악기로 이용할 수 있도록 하였습니다. 모든 센서와 전자 부품, 연결 선 등은 PCB기판에 납땜하여 장갑 안에 배치하여 겉으로 드러나지 않도록 하였습니다.

4. 앞으로의 계획

퓨쳐그랩은 ISD수업이 끝난 후 미시간 대학교에서 열린 New Interfaces for Musical Expression (NIME) 학회에서 정리하여 발표되었습니다. 현재는 스키장갑형태로 약간은 투박하고, USB로 연결하는 유선 형태이지만 앞으로는 소형화된 Arduino Nano를 이용하여 더 얇고 가벼운 장갑과 Zigbee를 이용한 무선통신으로 더 사용하기 편리하게 발전 시킬 예정입니다.

5. 연구원 소개

이름 : 한윤창
Email : yoonchanghan@googlemail.com

- 서울대학교 융합과학부 디지털정보융합전공

  Music & Audio Research Group (MARG) 박사과정
- Queen Mary, University of London, UK

  (Digital Audio & Music System Engineering, MEng First-class Hons.) 졸업

관심분야

- 음악 인터페이스 (Music Interface)

- 음악 정보 처리 (Music Information Retrieval)