마우스나 키보드 대신 컴퓨터를 조작제어하는 HCI 컨트롤러 개발

1) 개요

최근 들어, 가상공간에서 직관적인 조작제어를 가능하게 하는 웨어러블 디바이스에 대한 연구가 많이 이루어 지고 있다. 이 때, 웨어러블 디바이스는 몸에 직접 착용하는 장치를 지칭하며, 사용자의 착용 편리 및 직관적인 인터페이스를 제공한다.

오늘 소개할 연구는 이러한 흐름에 걸맞추어 표면근전도(surface Eletromyogram, sEMG) 및 관성 측정(Inertia Measurement Unit, IMU) 센서를 사용하여 센서퓨전을 통한 착용형 Human-Computer Interface(HCI) 컨트롤러이다. 쉽게 말해, 컴퓨터의 마우스와 키보드를 사용하여 컴퓨터를 조작하는 일반적인 방법 대신 개발된 컨트롤러를 이용하여 인간의 3차원상의 움직임으로 컴퓨터의 조작을 가능하게 하는 것을 목적으로 한다. 이를 위해, 기존의 sEMG 신호를 이용할 때 트레이닝 및 분류 작업 같은 번거로운 단계를 간소화하기 하는 비학습 동작 분류 방법을 제안하였다.

 [그림 1] 개발된 컨트롤러의 구성도

  

2) 연구내용

본 연구 개발은 인간 착용형 로봇과 같은 사람과 로봇이 상호 작용하는 분야에서, 사람의 동작 의도를 파악하기 위해 많이 쓰는 sEMG와 IMU 센서를 일상생활에 적용할 수 있게끔 간소화 및 변형 시킨 결과물로 볼 수 있다. 일상 어플리케이션으로 HCI 디바이스가 많이 사용되고 있는데 마우스와 키보드가 대표적인 예이다. HCI는 인간과 컴퓨터간의 상호작용에 관한 연구. 휴먼 컴퓨터 인터렉션(Human Computer Interaction)의 약칭이다. 인간과 컴퓨터가 쉽고 편하게 상호작용할 수 있도록 작동시스템을 디자인하고 평가하는 과정을 다루는 연구분야 이다.
그러나, 일반적으로 마우스, 키보드 같은 기존의 디바이스는 하드웨어적 제한 및 2차원 공간에서 입력을 수행하기 때문에 자유롭게 사용하기에 제한적이고, 적응 기간이 필요한 문제가 있다. 이러한 단점을 극복하기 위해, 개발된 컨트롤러는 IMU의 3차원 회전정보를 2차원 컴퓨터 인터페이스에 매핑하여 마우스 커서 움직임을 제어 하였고, sEMG 센서를 통해 착용자 손의 동작 3개를 각기 구분하여 좌우키 및 마우스 클릭을 직관적으로 입력할 수 있도록 구현하였다.

이와 비슷한 디바이스로 Thalmic Labs사의 MYO라는 웨어러블 밴드가 있는데, 사용 전 sEMG 신호에 대해 패턴 분류 트레이닝 과정이 필요하고 각기 다른 사용자가 착용했을 때 트레이닝 과정이 더욱 불가피 해지는 단점이 있다. 또한 착용자의 팔 움직임을 3차원 공간상에서 인지하지 못하기 때문에 단순한 키 커맨드밖에 입력으로 주지 못한다.

[그림 2] Thalmic Labs사의 MYO

뿐만 아니라 sEMG신호는 시변 신호로써 착용자 근육의 근 피로도가 쌓임에 따라 신호 경향이 바뀌기 때문에 트레이닝 기반의 분류방법은 사용 시간이 길어지면서 정확도가 떨어지는 단점이 있다. 이러한 단점을 극복하기 위해 기존 MYO의 Gyro센서 대신 IMU센서를 채택하여 3차원공간상의 움직임을 측정하였고, sEMG센서의 트레이닝 과정을 생략하고 근피로도 영향을 줄일 수 있는 벡터 기반 sEMG신호 분류 방법을 제안하여 보다 빠른 사용을 구현하였다. 제안된 방법의 프레임워크는 [그림3]과 같다.

[그림 3] 컨트롤러 프레임워크 구성도

가) sEMB 시스템

본 선행 연구에서는 2채널 sEMG 센서를 사용하여 사용자의 손동작 3개를 분류하였다. 센서를 통해 측정된 sEMG신호는 주파수 필터링 및 전처리 과정을 거쳐 정규화된 신호 바꾸어 사용한다. [그림4]과 같이 sEMG 센서의 착용 위치를 2차원 공간상에 표시하여 해당 근육의 활성화 되었을 때 신호를 2차원 공간에 출력 하고, 분류를 담당하는 벡터는 센서 위치를 도시화한 것과 같이 설정한다. 이렇게 구현된 분류기는 사용자의 손동작을 구분하고 센서의 착용 위치가 크게 변하지 않는 한 다른 사용자가 착용 했을 때도 분류 정확도는 큰 변화가 없다. 또한 근 피로도가 쌓이면서 신호가 줄어들어도 신호의 출력이 각 분류 범위 안에 있기 때문에 장 시간 착용으로 인한 정확도 하락 현상을 최소화하였다.

[그림 4] sEMG 신호 분류 방법

나) IMU 시스템

3차원 공간상의 사용자 팔 위치를 측정하기 위해 IMU 센서를 사용하였고 구현 방법을 간소화하기 위해 다 자유도인 사람 팔을 하나의 링크로 가정하였다. IMU센서를 통해 얻은 회전 정보는 로봇역학의 Forward kinematics방법을 통해 3차원 공간상의 어깨에 대한 상대적인 팔의 위치를 얻었다[그림5]. 레이저 포인터의 원리를 차용하여 3차원 공간상의 팔 링크의 방향을 2차원 화면에 사영하였고 이를 통해 마우스 커서 움직임을 구현하였다. 또한 저가 IMU 센서를 장시간 사용할 때 흔히 발생하는 드리프트 현상을 사용자의 능동적인 유저 플레인 조절을 통해 보상할 수 있도록 교정 방법을 제안하였다.

[그림 5] IMU 센서를 통한 2차원 공간 마우스 제어

 
3) 결론 및 향후계획

컨트롤러 구동은 파워포인트 시연으로 진행하였고 [그림6]과 같다. 사용자는 손목 굽힘 동작(전 슬라이드), 손목 핌 동작(다음 슬라이드) 및 주먹 동작(마우스 클릭)을 통해 슬라이드를 제어 했으며 팔 위치에 따라 마우스 커서를 움직여서 원하는 위치를 가리키는 것을 성공적으로 수행하였다. sEMG의 동작분류 정확도는 약 90.2%로 비학습 방법으로는 비교적 양호한 분류 결과를 나타냈고 알고리즘 개선을 통해 성능을 더 향상 시킬 수 있을 것으로 기대된다.

[그림 6] 개발된 컨트롤러의 시연 스냅샷

앞서 설명한 것과 같이, 시스템 및 알고리즘의 간소화를 통해 일상 생활 어플리케이션으로 사용 가능케 하는 것이 본 개발의 목적이었다. 본 컨트롤러를 기반으로 향후 sEMG 채널 수를 2개에서 8개로 늘려 분류 동작 및 정확성을 높이는 것이 1차적 목표이고, IMU센서를 통해 3차원 공간 상의 팔 동작 추정 알고리즘을 보완하여 VR과 연계된 가상공간 상의 제어 등 다양한 HCI 인터페이스 개발을 지속해서 진행할 계획이다.

4) 글쓴이 소개

글쓴이: 김주완 연구원 (한국과학기술연구원 로봇미디어연구소 / 서울대학교 융합과학기술대학원)
메일: Infieter@snu.ac.kr
관심분야: 외골격 로봇, 로봇 의수 및 인간-로봇 상호작용