2018.04.11

블로그 | '상용화 눈 앞' 인공지능과 만난 마인드 리딩 기술의 현주소

Mike Elgan | Computerworld
마음을 읽는 기술, 즉 마인드 리딩 소프트웨어가 이미 상용화 준비를 마쳤을 뿐  아니라 일상 비즈니스 사례에 충분히 적용할 수 있을 정도로 발전되었다는 사실을 알고 있는가?

‘마음을 읽다니, 그건 소름 끼치는 사생활 침해 아닌가? 게다가 그런 걸 어디에 쓸 수 있을까?’라고 생각한다면, 이 기사를 계속 읽어보길 바란다. 마음이 바뀔 것이다.



퍼즐의 마지막 조각이 완성되다
미래 학자들은 벌써 수 년 전부터 이러한 마인드 리딩 기술의 도래를 점쳤다. 그 전부터 뇌파 탐지는 충분히 가능했지만, 문제는 이러한 뇌파를 해석할 수 있는 기술이 없엇다는 것이다. 그러나 이제 인공지능과 머신러닝 덕분에 사람들이 어떤 생각을 하고 있는지 알 수 있게 됐다.

대략적인 프로세스는 다음과 같다. 과학자들은 사람의 뇌에서 나오는 신호를 해석한 것을 각각의 단어나 그림과 매칭하는 소프트웨어를 개발했다. 이렇게 매핑되면 추후 다양한 종류의 생각 읽기나 마음 제어 애플리케이션에 활용할 수 있다.

예를 들어, MIT의 천재 과학자들은 머신러닝을 결합한 얼굴에 착용하는 디바이스를 개발했다. 실시간으로 말을 텍스트 대화로 바꿔주는 역할을 하는데, 차이가 있다면 말하는 과정이 없어도 텍스트로의 전환이 가능한 것이다.

조금 더 자세히 설명해보겠다.

디바이스에 부착된 전극이 뇌가 안면 근육에 보내는 신경근 신호를 포착하면, 머신러닝 애플리케이션이 이를 텍스트로 전환한다. 즉, 목소리를 내어 말하는 과정을 하위 발성(subvocalization), 혹은 ‘소리 없는 말하기(silent speech)’ 바꿔주는 것이다.

과학자들은 신경망을 이용해 특정 신경근 신호와 단어를 매칭한다. 사람마다 얼굴 생김새는 다 다르지만, 과학자들에 따르면, 단 15분 정도 머신러닝 애플리케이션을 훈련하면 정확도를 92%까지 달성할 수 있다.

이 디바이스는 뼈 전도 소리 전달도 가능하다. 즉, 가상 비서에게 뭔가를 요구하거나 물어본 후, 그 결과를 사용자 자신만 들을 수 있고 바로 앞에 서 있는 사람에게 들리지 않도록 할 수 있다는 이야기다.

이는 마인드 리딩 기술의 아주 놀라운 사용례라고 할 수 있다. 뇌가 보내는 모든 신호를 다 읽는 것이 아니라, 뇌에서 안면 근육으로 말하기 위해 보내는 명령 또는 신호만을 파악하는 기술이기 때문이다.

또한, 이 기술은 인간이 말하기 및 가상 비서와의 대화 같은 기존의 행위를 침묵 속에서, 보이지 않게 수행할 수 있게 함으로써, 가상 비서를 이용할 수 있는 상황의 범주를 넓혔다는 점에서도 의미가 있다.

아래 영상에서 이 모든 과정이 얼마나 막힘 없이 정확히 이뤄지는지를 알 수 있다.




물론 디바이스의 디자인은 이상하다. 이런 디바이스를 공공 장소에서 착용하고 돌아다닐 사람은 없다. 이 연구의 의의는 마음 속으로 말하기, 즉 하위발성이 컴퓨터 인터페이스화 될 수 있음을 보여 주었다는 데 있다.

UC 샌프란시스코의 연구팀에서도 90%가 넘는 정확도로 뇌 활동을 텍스트로 전환해주는 마인드 리딩 디바이스를 개발하는 데 성공했다. 이 디바이스의 경우 사용자가 마음속으로 되니는 단어를 이해하는 것이 아니라, 그 사람이 듣고 있는 내용을 뇌 활동만을 기반으로 감지해 내는 원리다.

실험 과정은 약간 섬뜩하기도 하다.

연구팀은 일종의 간질 치료 같은 방식을 이용했다. 피실험자의 뇌 표면에 전극을 이식하고, 이들 전극을 이용해 청각 피질의 뇌파를 모니터링한 것이다. 그들은 알고리즘을 이용해 피실험자가 특정 말 소리를 들을 때 뇌파가 어떻게 변하는가를 실험했다.

이는 ‘인지된’ 것이든 ‘직접 생성한’ 것이든 생각을 텍스트로 바꾸기 위해 외부에 착용하는 디바이스를 만들기 위한 첫 단계였다.

심지어 페이스북도 마인드 리딩 프롲게트를 진행 중이다. 페이스북은 비밀리에 빌딩 8(Building 8) 부서를 신설하고, 말 대신 생각만으로 페이스북 메신저에서 메시지를 보낼 수 있게 하는 기술을 개발하고 있다.

마이크로소프트도 지난 해 뇌 활동을 이용해 컴퓨터나 애플리케이션 상태를 변경하는 인터페이스를 개발하고, 이에 대한 특허를 따냈다. 예를 들어, 음악 소리가 너무 크다고 느껴 짜증이 나는 순간 그런 생각만으로 볼륨을 줄일 수 있게 되는 것이다.

이러한 기술은 이 외에도 마우스 정확도를 높인다던가, 홀로렌즈 복합 현실 시스템의 차세대 애플리케이션 개발 등 마이크로소프트와 관련된 다양한 제품에서 사용될 수 있다.

마인드 리딩 연구는 언어뿐 아니라 시각적 정보를 읽는 부분에서도 많은 발전을 이루었다. 최근 토론토 대학의 한 연구 결과에 의하면 피 실험체에게 보여준 얼굴 사진들을 그 사람의 뇌 활동에만 의존해 불완전하게나마 재구성해 내는 것이 가능해졌다. 

과학자들은 13명의 피실험자에게 140명 이상의 얼굴 사진을 보여주었으며, 인공지능 알고리즘이 뇌전도를 처리해 피실험자들이 본 얼굴 사진들을 흐릿하지만 충분히 인지 가능한 수준으로 재구성해 냈다.

과학자들은 곧 기억 만으로 얼굴을 재구성하는 것이 가능해 질 것이라고 본다. 이것이 현실화되면 무엇보다 범죄 수사 측면에서 많은 도움이 되리라는 것은 분명해 보인다.

교토 대학의 일본 과학자들도 토론토 대학 연구에서와 비슷한 방식으로 작동하는 신경망 시스템 개발에 힘쓰고 있다. 피실험자들에게 사지을 보여주고, fMRI(functional magnetic resonance imaging) 스캔과 인공지능 기술을 이용해 피실험자의 뇌 속 혈류를 기반으로 이들이 본 이미지를 재구성해 내는 실험을 한 것이다.




퍼듀 대학 연구팀도 인공지능과 fMRI를 이용한 마인드 리딩 연구를 진행 중이다. 이들은 피실험자들에게 영상을 보여주고 인공지능을 이용해 소프트웨어를 훈련시켜 시각피질상의 뇌 활동을 예측하도록 한다. 데이터가 쌓여감에 따라 뇌 활동만으로 피실험자가 현재 무엇을 바라보고 있는가를 알 수 있었다.

뉴러블(Neurable)이라는 이름의 한 스타트업은 어웨이크닝(Awakening)이라는 사이파이(sci-fi) 가상현실 비디오 게임을 개발하고 있다. 이 게임에서는 생각만으로 물체를 들어 올리고 이를 던지는 것이 가능하다. 이 게임을 하기 위해서는 전극 헤드밴드를 착용하고 이를 HTC 바이브 VR 헤드셋에 연결해야 한다. 

MIT의 연구와 마찬가지로 뉴러블의 게임은 생각을 읽는다기 보다는 사용자의 신경 활동을 이용해 명령을 내리는 원리다.

HTC의 바이브 X 엑셀러레이트 프로그램인 룩시드 랩스(Looxied Labs)의 한 참가자는 모바일 VR 헤드셋을 개발 중이다. 이 헤드셋은 감정 감지 기술이 내장되어 있어 사용자의 눈동자 움직임과 뇌파를 모니터링 한다.

이 업체는 또한, HTC 바이브와 똑같은 기능을 한느 기술을 개발하기도 했다. 개발자 키트는 올 해 여름 이후 릴리즈 될 예정이다.

보다 실용적인 활용례도 있다. 자동차 업체 닛산은 2018년 제네바 모터쇼에서 EEG 헤드셋을 갖춘 IMx KURO 컨셉트 카를 공개하기도 했다. 이 시스템은 뇌파를 모니터링해 차의 반응 속도를 높인다. 즉, 운전자가 브레이크를 밟아야겠다고 생각하는 순간 실제로는 브레이크에 발을 갖다 놓지도 않았음에도 벌써 브레이크가 작동하기 시작하는 것이다. 닛산은 이 기술을 활용해 자동차의 반응 속도가 0.5초 이내로 줄어들 수 있다고 말한다.

일상적인 업무 처리에 적용 기대
마인드 리딩 인공지능 기술은 단순한 마인드 컨트롤 기술도, 텔레파시 기술도 아니라는 점은 이제 모두들 알게 됐을 것이다. 마인드 리딩 기술은 기존의 비즈니스 애플리케이션을 강화하고 더욱 안전하게 만들어 줄 수 있는 기술이다.

기존 기술과 마인드 리딩 어플리케이션을 결합 시 화자의 의도나 사고 과정까지 파악할 수 있기 때문에 자동 수정 기능 및 발화 인식 기술 등의 정확도는 거의 100%에 달할 것으로 예상된다.

마인드 리딩 기술은 사이보그 천재가 로봇 군대를 만들어 지구를 지배하려 들지도 모른다는 SF 영화 속 시나리오와는 거리가 멀다. 마인드 리딩 어플리케이션은 실제로는 우리가 기존에 누리던 기술들의 정확도와 자율성을 높이는 결과를 가져 올 확률이 높다.

뇌 활동에 기반하여 전등을 끄거나 켜고, 음악 소리를 줄이거나 켜는 일이 가능해 질 것이다. 또한 유저 인터페이스는 우리의 마음을 읽고 우리가 원하는 것을 그대로 수행해 낼 것이다.
어쩌면 우리의 생각과 마음을 글로 적거나, 적은 내용을 말하지 않고도 마치 글로 적은 것처럼 살펴보는 것이 가능해 질 지도 모른다.

인공지능 기술로 인해 진정한 의미에서의 ‘마인드 리딩’이 가능해 졌으니, 이제는 이러한 기술을 어떻게 하면 더 실용적이고, 생산성을 증대시키며, 인간의 효용을 증가시키는 방향으로 활용할 수 있을 지 고민할 순서이다. editor@itworld.co.kr
 



2018.04.11

블로그 | '상용화 눈 앞' 인공지능과 만난 마인드 리딩 기술의 현주소

Mike Elgan | Computerworld
마음을 읽는 기술, 즉 마인드 리딩 소프트웨어가 이미 상용화 준비를 마쳤을 뿐  아니라 일상 비즈니스 사례에 충분히 적용할 수 있을 정도로 발전되었다는 사실을 알고 있는가?

‘마음을 읽다니, 그건 소름 끼치는 사생활 침해 아닌가? 게다가 그런 걸 어디에 쓸 수 있을까?’라고 생각한다면, 이 기사를 계속 읽어보길 바란다. 마음이 바뀔 것이다.



퍼즐의 마지막 조각이 완성되다
미래 학자들은 벌써 수 년 전부터 이러한 마인드 리딩 기술의 도래를 점쳤다. 그 전부터 뇌파 탐지는 충분히 가능했지만, 문제는 이러한 뇌파를 해석할 수 있는 기술이 없엇다는 것이다. 그러나 이제 인공지능과 머신러닝 덕분에 사람들이 어떤 생각을 하고 있는지 알 수 있게 됐다.

대략적인 프로세스는 다음과 같다. 과학자들은 사람의 뇌에서 나오는 신호를 해석한 것을 각각의 단어나 그림과 매칭하는 소프트웨어를 개발했다. 이렇게 매핑되면 추후 다양한 종류의 생각 읽기나 마음 제어 애플리케이션에 활용할 수 있다.

예를 들어, MIT의 천재 과학자들은 머신러닝을 결합한 얼굴에 착용하는 디바이스를 개발했다. 실시간으로 말을 텍스트 대화로 바꿔주는 역할을 하는데, 차이가 있다면 말하는 과정이 없어도 텍스트로의 전환이 가능한 것이다.

조금 더 자세히 설명해보겠다.

디바이스에 부착된 전극이 뇌가 안면 근육에 보내는 신경근 신호를 포착하면, 머신러닝 애플리케이션이 이를 텍스트로 전환한다. 즉, 목소리를 내어 말하는 과정을 하위 발성(subvocalization), 혹은 ‘소리 없는 말하기(silent speech)’ 바꿔주는 것이다.

과학자들은 신경망을 이용해 특정 신경근 신호와 단어를 매칭한다. 사람마다 얼굴 생김새는 다 다르지만, 과학자들에 따르면, 단 15분 정도 머신러닝 애플리케이션을 훈련하면 정확도를 92%까지 달성할 수 있다.

이 디바이스는 뼈 전도 소리 전달도 가능하다. 즉, 가상 비서에게 뭔가를 요구하거나 물어본 후, 그 결과를 사용자 자신만 들을 수 있고 바로 앞에 서 있는 사람에게 들리지 않도록 할 수 있다는 이야기다.

이는 마인드 리딩 기술의 아주 놀라운 사용례라고 할 수 있다. 뇌가 보내는 모든 신호를 다 읽는 것이 아니라, 뇌에서 안면 근육으로 말하기 위해 보내는 명령 또는 신호만을 파악하는 기술이기 때문이다.

또한, 이 기술은 인간이 말하기 및 가상 비서와의 대화 같은 기존의 행위를 침묵 속에서, 보이지 않게 수행할 수 있게 함으로써, 가상 비서를 이용할 수 있는 상황의 범주를 넓혔다는 점에서도 의미가 있다.

아래 영상에서 이 모든 과정이 얼마나 막힘 없이 정확히 이뤄지는지를 알 수 있다.




물론 디바이스의 디자인은 이상하다. 이런 디바이스를 공공 장소에서 착용하고 돌아다닐 사람은 없다. 이 연구의 의의는 마음 속으로 말하기, 즉 하위발성이 컴퓨터 인터페이스화 될 수 있음을 보여 주었다는 데 있다.

UC 샌프란시스코의 연구팀에서도 90%가 넘는 정확도로 뇌 활동을 텍스트로 전환해주는 마인드 리딩 디바이스를 개발하는 데 성공했다. 이 디바이스의 경우 사용자가 마음속으로 되니는 단어를 이해하는 것이 아니라, 그 사람이 듣고 있는 내용을 뇌 활동만을 기반으로 감지해 내는 원리다.

실험 과정은 약간 섬뜩하기도 하다.

연구팀은 일종의 간질 치료 같은 방식을 이용했다. 피실험자의 뇌 표면에 전극을 이식하고, 이들 전극을 이용해 청각 피질의 뇌파를 모니터링한 것이다. 그들은 알고리즘을 이용해 피실험자가 특정 말 소리를 들을 때 뇌파가 어떻게 변하는가를 실험했다.

이는 ‘인지된’ 것이든 ‘직접 생성한’ 것이든 생각을 텍스트로 바꾸기 위해 외부에 착용하는 디바이스를 만들기 위한 첫 단계였다.

심지어 페이스북도 마인드 리딩 프롲게트를 진행 중이다. 페이스북은 비밀리에 빌딩 8(Building 8) 부서를 신설하고, 말 대신 생각만으로 페이스북 메신저에서 메시지를 보낼 수 있게 하는 기술을 개발하고 있다.

마이크로소프트도 지난 해 뇌 활동을 이용해 컴퓨터나 애플리케이션 상태를 변경하는 인터페이스를 개발하고, 이에 대한 특허를 따냈다. 예를 들어, 음악 소리가 너무 크다고 느껴 짜증이 나는 순간 그런 생각만으로 볼륨을 줄일 수 있게 되는 것이다.

이러한 기술은 이 외에도 마우스 정확도를 높인다던가, 홀로렌즈 복합 현실 시스템의 차세대 애플리케이션 개발 등 마이크로소프트와 관련된 다양한 제품에서 사용될 수 있다.

마인드 리딩 연구는 언어뿐 아니라 시각적 정보를 읽는 부분에서도 많은 발전을 이루었다. 최근 토론토 대학의 한 연구 결과에 의하면 피 실험체에게 보여준 얼굴 사진들을 그 사람의 뇌 활동에만 의존해 불완전하게나마 재구성해 내는 것이 가능해졌다. 

과학자들은 13명의 피실험자에게 140명 이상의 얼굴 사진을 보여주었으며, 인공지능 알고리즘이 뇌전도를 처리해 피실험자들이 본 얼굴 사진들을 흐릿하지만 충분히 인지 가능한 수준으로 재구성해 냈다.

과학자들은 곧 기억 만으로 얼굴을 재구성하는 것이 가능해 질 것이라고 본다. 이것이 현실화되면 무엇보다 범죄 수사 측면에서 많은 도움이 되리라는 것은 분명해 보인다.

교토 대학의 일본 과학자들도 토론토 대학 연구에서와 비슷한 방식으로 작동하는 신경망 시스템 개발에 힘쓰고 있다. 피실험자들에게 사지을 보여주고, fMRI(functional magnetic resonance imaging) 스캔과 인공지능 기술을 이용해 피실험자의 뇌 속 혈류를 기반으로 이들이 본 이미지를 재구성해 내는 실험을 한 것이다.




퍼듀 대학 연구팀도 인공지능과 fMRI를 이용한 마인드 리딩 연구를 진행 중이다. 이들은 피실험자들에게 영상을 보여주고 인공지능을 이용해 소프트웨어를 훈련시켜 시각피질상의 뇌 활동을 예측하도록 한다. 데이터가 쌓여감에 따라 뇌 활동만으로 피실험자가 현재 무엇을 바라보고 있는가를 알 수 있었다.

뉴러블(Neurable)이라는 이름의 한 스타트업은 어웨이크닝(Awakening)이라는 사이파이(sci-fi) 가상현실 비디오 게임을 개발하고 있다. 이 게임에서는 생각만으로 물체를 들어 올리고 이를 던지는 것이 가능하다. 이 게임을 하기 위해서는 전극 헤드밴드를 착용하고 이를 HTC 바이브 VR 헤드셋에 연결해야 한다. 

MIT의 연구와 마찬가지로 뉴러블의 게임은 생각을 읽는다기 보다는 사용자의 신경 활동을 이용해 명령을 내리는 원리다.

HTC의 바이브 X 엑셀러레이트 프로그램인 룩시드 랩스(Looxied Labs)의 한 참가자는 모바일 VR 헤드셋을 개발 중이다. 이 헤드셋은 감정 감지 기술이 내장되어 있어 사용자의 눈동자 움직임과 뇌파를 모니터링 한다.

이 업체는 또한, HTC 바이브와 똑같은 기능을 한느 기술을 개발하기도 했다. 개발자 키트는 올 해 여름 이후 릴리즈 될 예정이다.

보다 실용적인 활용례도 있다. 자동차 업체 닛산은 2018년 제네바 모터쇼에서 EEG 헤드셋을 갖춘 IMx KURO 컨셉트 카를 공개하기도 했다. 이 시스템은 뇌파를 모니터링해 차의 반응 속도를 높인다. 즉, 운전자가 브레이크를 밟아야겠다고 생각하는 순간 실제로는 브레이크에 발을 갖다 놓지도 않았음에도 벌써 브레이크가 작동하기 시작하는 것이다. 닛산은 이 기술을 활용해 자동차의 반응 속도가 0.5초 이내로 줄어들 수 있다고 말한다.

일상적인 업무 처리에 적용 기대
마인드 리딩 인공지능 기술은 단순한 마인드 컨트롤 기술도, 텔레파시 기술도 아니라는 점은 이제 모두들 알게 됐을 것이다. 마인드 리딩 기술은 기존의 비즈니스 애플리케이션을 강화하고 더욱 안전하게 만들어 줄 수 있는 기술이다.

기존 기술과 마인드 리딩 어플리케이션을 결합 시 화자의 의도나 사고 과정까지 파악할 수 있기 때문에 자동 수정 기능 및 발화 인식 기술 등의 정확도는 거의 100%에 달할 것으로 예상된다.

마인드 리딩 기술은 사이보그 천재가 로봇 군대를 만들어 지구를 지배하려 들지도 모른다는 SF 영화 속 시나리오와는 거리가 멀다. 마인드 리딩 어플리케이션은 실제로는 우리가 기존에 누리던 기술들의 정확도와 자율성을 높이는 결과를 가져 올 확률이 높다.

뇌 활동에 기반하여 전등을 끄거나 켜고, 음악 소리를 줄이거나 켜는 일이 가능해 질 것이다. 또한 유저 인터페이스는 우리의 마음을 읽고 우리가 원하는 것을 그대로 수행해 낼 것이다.
어쩌면 우리의 생각과 마음을 글로 적거나, 적은 내용을 말하지 않고도 마치 글로 적은 것처럼 살펴보는 것이 가능해 질 지도 모른다.

인공지능 기술로 인해 진정한 의미에서의 ‘마인드 리딩’이 가능해 졌으니, 이제는 이러한 기술을 어떻게 하면 더 실용적이고, 생산성을 증대시키며, 인간의 효용을 증가시키는 방향으로 활용할 수 있을 지 고민할 순서이다. editor@itworld.co.kr
 

X