이렇게 복잡한 뇌가 어떻게 작용하는지는 아직도 명확하게 밝혀지지 않았지만 최근 브레인 스캐닝 분야에서 놀랄만한 발전이 이루어지고 있다.
특정 사진이나 동영상을 본 사람의 뇌 활동을 측정해 뇌 속에 그려진 사진이나 동영상을 알아낼 수 있는 것. 관련기술이 더욱 발전하면 생각이나 기억을 읽고 감정도 알아낼 수 있어 엄청난 파장을 불러올 개연성이 높다.
하지만 머릿속에 떠오른 수많은 상상을 사진이나 동영상으로 나타낼 수 있게 되면 창조적 발명이 가속화될 것이다. 또한 뇌경색 등으로 말을 할 수 없게 된 사람들이나 퇴행성 신경질환 환자들은 브레인 스캐닝을 통해 자신의 의사를 표현할 수 있게 될 것이다.
지난해 4월 따스한 월요일 밤. 프리랜서 작가인 리사 가타야마는 캘리포니아 버클리 대학의 뇌 영상센터에서 13톤에 달하는 기능성자기공명영상(fMRI) 스캐너의 튜브를 마주보고 있었다. 영상센터 안은 어둑했고 가타야마 혼자뿐이었다. 스캐너의 하얀색 플라스틱 케이지가 얼굴을 덮고 있었고, 눈에는 파란색의 스크린이 비춰졌다.
fMRI는 뇌의 특정 부분이 활성화되는 것, 즉 기능을 수행하고 있는 부위를 측정하는 영상진단법이다. 뇌의 신경세포들이 활동하면 산소 소비량이 증가하고, 이를 보충하기 위해 그 부분의 혈류량이 증가한다는 특징을 이용한 것.
예를 들어 피험자가 냄새를 맡는 데 집중하고 있으면 후각을 담당하는 뇌의 부위가 fMRI 이미지에 밝게 나타난다. 반면 무엇인가 골똘히 생각하거나 기억을 끄집어내려고 하면 사고와 기억을 담당하는 전두엽, 즉 뇌의 앞부분이 밝게 나타난다.
가타야마가 여기에 온 것은 잭 갤런트라는 신경과학자에게 브레인 스캐닝 실험을 받기 위해서다. 갤런트는 가타야마에게 절대 움직이지 말라고 주의를 주었다. 약간만 움직여도 실험의 정확성에 악영향을 줄 수 있다는 것이다.
스캐너에 누워 있는데 넓적다리가 간지러웠다. 절대 긁으면 안 된다고 스스로에게 주의를 주었다. '삐~ 삐~'거리는 신호음이 빨라지며 뇌 속의 혈류 변화를 감지하는 스캐너의 출력이 높아지자 가타야마는 머릿속을 깨끗이 비우려고 했다.
갤런트는 머리에 무의식적으로 떠오른 생각은 실험 결과에 영향을 미치지 않는다고 말했다. '오늘 저녁에는 무엇을 먹을까', 혹은 '옥스퍼드 거리에 자동차를 대놓고 주차권을 제대로 챙겼나' 하는 생각은 아무 문제가 되지 않는다는 것.
중요한 것은 가타야마가 이 실험에서 가급적 오래 버팀으로써 뇌 속의 영상을 재구성할 만큼 충분한 정보를 얻는 것뿐이다. 다시 말해 가타야마가 눈으로 보는 것을 처리하는 뇌 뒤쪽의 시각피질이 가장 중요하다는 얘기다.
시각피질이란 시각에 관여하는 피질 부위를 말하는데, 눈으로 들어온 시각정보가 시각피질에 도착하면 사물의 위치·모양·상태 등으로 분석된 후 안정된 지각경험에 이르게 된다.
갤런트는 지난 10년 동안 캘리포니아 버클리 대학에서 뇌 영상과 시각 연구에 주력하는 신경과학 및 심리학 연구실을 운영해왔다. fMRI 스캔과 컴퓨터 알고리즘을 사용해 뇌 활동의 패턴을 분석, 뇌 속의 영상을 읽어내려는 것.
조금 더 구체적으로 말하자면 사진 또는 동영상을 접한 사람의 뇌 활동을 fMRI 스캐너로 측정한 후 측정 내용을 컴퓨터가 읽을 수 있는 정보단위로 전환, 뇌 활동의 패턴을 분석한다.
그런 다음 다른 사진과 동영상을 보면 컴퓨터는 기존의 뇌 활동 패턴을 이용해 이를 해독함으로써 그 사람이 본 사진이나 동영상의 내용을 재구성해 내는 것이다. 이는 얼굴, 지문, 목소리 등을 미리 등록시켜 놓고 다음에 사용할 경우 등록된 정보와의 일치 여부를 찾아내는 것과 유사한 원리다.
갤런트는 가타야마에게 여러 장의 사진을 보여준 후 시각 피질에서 얻은 fMRI 결과물을 평가, 자신의 기술로 뇌에 그려진 영상을 재구성할 수 있다고 말했다. 그가 현재 사용하는 기술은 분석에 여러 시간이 걸린다.
하지만 그는 이 기술을 더욱 발전시켜 사람들의 뇌에 그려진 영상을 거의 실시간으로 알아내려고 한다. 만약 성공한다면 이 기술은 엄청난 파장을 불러올 개연성이 크다. 관련기술이 더욱 발전, 생각이나 기억을 읽고 감정도 알아낼 수 있기 때문이다.
물론 장점도 많다. 의사는 브레인 스캐닝을 통해 환각, 인지장애, 외상 후 스트레스 장애, 기타 장애에 시달리는 사람들의 내면세계를 더 잘 이해할 수 있다. 판사들은 이 기술을 사용, 용의자의 뇌 속을 살펴봄으로써 진범 여부를 확인할 수 있다. 특히 이 기술을 사용하면 용의자가 정신착란 상태에서 범죄를 저질렀는지 아니면 멀쩡한 의식을 갖고 저질렀는지 알아낼 수 있다.
하지만 이 기술은 심각한 윤리적 문제를 일으킬 수 있다. 비평가들은 앞으로 인간 개개인의 생각이 염탐꾼들과 해커들에게 노출되는 것은 아니냐고 우려하고 있다.
뉴런 신호해독 기술의 메커니즘
가타야마는 fMRI 스캐너 안에 꼼짝도 안 한 채 누워 있으면서 이 모든 가능성을 생각하고 있었다. 그동안 갤런트와 2명의 연구자는 가타야마의 눈앞에 수십 장의 사진을 스크린을 통해 보여주었다. 사진은 한 장당 몇 초 동안 눈앞에 나타났다.
가타야마는 풀밭에서 풀을 뜯는 양떼, 암반, 연못, 아인슈타인을 닮은 사내의 옆얼굴 등을 보았다. 엄밀히 말하면 가타야마가 하는 것은 이 사진들을 보는 것이라기보다는 스크린 한가운데의 작은 점을 응시하는 것이다.
인간의 보는 행위는 전적으로 의식의 영역에서 일어나는 것은 아니라고 갤런트는 말했다. 즉 시각피질은 카메라와 같은 역할을 해 망막을 통해 들어오는 시각정보를 자동적으로 흡수, 뇌에 기록한다는 것이다.
10분간의 시간은 영원처럼 느껴졌다. 하지만 fMRI 스캐너는 마침내 길게 '삐~' 소리를 내며 프로그램 종료를 알렸다. 연구자들은 가타야마를 묶은 장비를 해체한 후 통제실로 데려다 주었다.
통제실에 있는 거대한 모니터에는 가타야마의 뇌를 여러 각도에서 스캔한 30장의 이미지가 나와 있었다. 뇌를 횡으로 자른 후 이를 위에서 내려다 본 형태의 이미지를 보고 가타야마는 이렇게 말했다. "이게 뭔가요? 이게 저의 뇌인가요?"
가타야마의 머릿속은 어지러워 그 자리에 머물러 있기도 힘들었다. 자신의 뇌 활동이 저런 기하학적인 모양으로 나타나다니 놀라웠다. 갤런트는 최근의 연구에 따르면 뇌 활동은 기본적으로 여러 개의 뉴런이 일으키는 전기적 작용에 따른 현상이라고 말했다.
일반적으로 뉴런은 외부에서 자극을 받으면 세포막에서 전기적인 스파크, 즉 전기신호를 일으킨다. 그리고 이 전기 신호는 뉴런에 있는 돌기인 축색을 따라 이동한다. 그러다가 시냅스라는 뉴런 간의 접속부위에 이르면 전기신호가 화학 신호로 바뀌고, 화학신호는 다른 뉴런에서 재차 전기신호로 바뀐다. 이렇게 해서 뉴런과 뉴런 간에 정보가 전달되는데, 뇌의 시각피질에만 약 3억 개의 뉴런이 있다.
브레인 스캐닝은 기하학적 모양들로부터 의미를 찾아내기 위해 이들을 부피 픽셀(volume pixel) 또는 복셀(voxel)로 전환한다. 복셀은 일종의 정보단위로 컴퓨터 모니터에 있는 픽셀의 3차원 버전이라고 할 수 있다.
일반적으로 픽셀은 2차원적인 정보만 전달할 뿐이지만 복셀은 그 자체가 이미 3차원이기 때문에 입체적 정보, 예를 들어 뇌 활동과 같은 것을 나타내기에 적합하다. 사진이나 동영상이 2차원의 픽셀을 통해 컴퓨터 모니터에 나타나듯 뇌 활동이라는 입체적 정보 역시 복셀을 통해 컴퓨터 모니터에 표시하는 것이 가능하다는 것.
물론 가타야마의 눈에 복셀은 흰색, 회색, 그리고 검은색을 무작정 섞어놓은 것에 불과했다. 하지만 이 속에 숨어 있는 보다 정확한 데이터를 읽어낼 수 있는 갤런트의 컴퓨터 모델에게 복셀은 대단히 의미 있는 것이다. 한마디로 컴퓨터 모델은 이 정보단위를 0과 1의 이진수 코드로 받아들여 아인슈타인을 닮은 사내의 옆얼굴이나 풀 먹는 양의 모양으로 바꾸어 놓는 것.
여기에서 캘런트의 기술을 재차 정리하면 이렇다. 우선 사진이나 동영상을 접한 인간의 뇌 활동을 fMRI 스캐너로 측정한다. 그런 후 측정 내용을 복셀로 전환하고, 컴퓨터의 코드를 통해 이를 해독함으로써 뇌 활동의 패턴을 알아낸다. 이같은 뇌 활동 패턴은 그 사람이 다른 사진이나 동영상을 보았을 때 그것이 무엇인지 알아내는 신호해석의 마스터 키가 된다.
갤런트의 연구팀은 가타야마의 뇌를 충분히 스캔할 시간이 없었다. 하지만 그들은 다른 피험자들에게서 얻은 매우 신뢰성 있는 결과물들을 보여주었다. 박사 후 과정 연구자인 니시모토 신지는 이렇게 말했다, "완벽하지는 않습니다만 완벽에 다가가는 중입니다."
통제실을 나서면서 가타야마의 머릿속은 복잡했다. 이들의 기술이 이 정도 수준에 머물러 있지는 않을 것이라고 생각하니 기분이 편치만은 않았다. 그의 뉴런 신호해독 기술은 더욱 신속해지고 더욱 정확해지고 있는 상태다.
실제 지난해 10월 그의 실험실에서는 동영상을 본 사람들의 뇌 활동을 분석함으로써 그 동영상의 내용을 복원해 내기도 했다. 원래의 동영상은 코끼리가 사막을 걸어가는 것이었다. 그리고 복원된 동영상은 디즈니 만화영화에 나오는 코끼리 캐릭터, 즉 덤보 같은 덩어리가 걸어가는 모습이었다.
동영상의 세부적인 부분은 날아가 버렸다. 하지만 사람의 뇌에서 꺼낸 동영상 치고는 렌더링이 뛰어났다. 렌더링이란 평면의 영상에 형태·위치·조명 등 외부의 정보에 따라 다르게 나타나는 그림자·색상·농도 등을 고려하면서 실감나는 3차원 영상을 만들어내는 과정이나 기법을 말한다.
사실 갤런트만이 이런 기술을 개발하고 있는 것은 아니다. 다른 연구자들도 유사한 기술을 사용해 인간의 기억과 꿈을 들여다보려 하고 있다. 과학적으로 명쾌하게 설명되지 않는 머릿속의 세계, 즉 생각을 읽는 것은 어쩌면 제대로 된 도구만 있으면 풀릴 수 있는 문제인지도 모른다.
갤런트는 지난 2008년 네이처에 낸 논문의 부록에서 이런 말을 했다. "뇌 활동을 정확하게 측정할 수 있고, 이의 분석을 위한 컴퓨터 모델만 있다면 꿈, 기억, 상상 등 정신작용의 영상을 해독해 내는 것은 반드시 가능하다."
영상 재구성할 수 있는 컴퓨터 모델
갤런트는 비쩍 마르고, 말발굽 형태의 콧수염을 기른 사내다. 마치 '찰리와 초콜릿 공장'의 재벌인 윌리 웡카 같은 분위기를 풍긴다. 그는 말을 할 때 비유를 즐겨 사용한다. 그는 지난해 여름 뇌 속의 동영상 복원 실험을 위해 자신의 사무실을 방문한 가타야마에게 이런 말을 했다. "뇌는 추수감사절에 먹는 칠면조와도 같습니다."
그는 칠판 속 칠면조의 뒷부분에 그려진 큰 원을 분필로 두들겼다. "이 부분이 바로 시각피질입니다. 이곳이 바로 인간 시각체계의 중추를 이루는 곳이죠."
일반적으로 인간이 처리하는 감각정보의 80%는 시각이 차지하고 있으며, 뇌에서 시각정보를 처리하는 곳은 시각피질이다. 시각피질 가운데 1차 영역인 V1과 2차 영역인 V2는 메인을 맡는다. 그리고 그 주변에 형태를 담당하는 V3, 형태와 색을 담당하는 V4, 그리고 운동을 감지하는 V5가 있다.
시각피질의 영역이 이렇게 많은 것은 인간의 시각이 생각 이상으로 선택적이기 때문이다. 즉 무엇을 보느냐, 무엇 때문에 보느냐에 따라 눈은 다르게 움직이고, 최종적인 시각정보도 달라진다.
한마디로 시각은 눈을 통해 들어온 빛을 평면에 그대로 옮기듯 뇌에 기록하는 것이 아니라는 얘기다. 갤런트는 자신의 머리를 가리키며 이렇게 말했다. "이 속에 얼마나 많은 영역이 있는지 아무도 모릅니다."
실제 시각피질의 각 영역은 색의 구분, 형상 인식, 깊이 측정, 동작 감지 등 각각의 시각 관련 기능을 수행한다.
예를 들어 가타야마가 개를 보고 있는 경우 가타야마가 보고 있는 것은 그저 네발짐승의 모양이 아니다. 가타야마는 그 개가 어린 시절 키우던 갈색과 흰색의 개임을 인식하고, 그 개와 뒷마당에서 뛰어놀던 기억을 떠올리기도 한다. 보는 행위의 이 같은 여러 측면은 시각피질의 다양한 뇌 활동 패턴을 통해 나타난다.
갤런트의 연구는 V1의 핵심 기능, 즉 시각자극의 기록과 연관돼 있다. 이 기능은 20세기 초반 머리 뒤쪽, 그러니까 시각피질이 위치한 곳에 총상을 입은 병사들이 양 눈이 멀쩡한데도 부분 실명증상을 보임으로써 발견됐다.
설치류에 대한 실험 결과 인간이 보는 물체의 위치와 모양이 V1에 기록된다는 것이 밝혀졌다. 예를 들어 가타야마가 나무를 볼 때면 안구의 후방은 V1에 뒤집혀진 나무모양을 기록한다. 하지만 1990년대 후반이 돼서야 신경과학자들은 다중 복셀 패턴 인식을 통해 비(非)침습적인 방식으로 이 같은 과정을 알 수 있게 됐다.
다중 복셀 패턴 인식이란 여러 복셀이 한데 모여 나타내는 일정한 패턴을 분석하는 것을 말한다. 달리 말해 A라는 사진을 보았을 때 피험자는 A라는 뇌 활동을 나타내고, 이 같은 뇌 활동은 A라는 다중 복셀 패턴으로 읽힐 수 있다는 것.
그리고 이 A를 컴퓨터로 해석함으로써 피험자가 당초에 보았던 A라는 사진이 무엇인지 알 수 있다는 것이다. 그런데 갤런트는 이 기술을 새로운 경지로 끌어올렸다. 영상을 식별할 뿐 아니라 재구성할 수 있는 컴퓨터 모델을 만들어낸 것.
뇌 속의 동영상 복원을 위한 fMRI 스캔이 이뤄진 날 밤 가타야마는 지난 3년간 확률론과 씨름하며 이 컴퓨터 모델에 사용할 최적의 알고리즘을 얻어낸 갤런트 실험실의 연구자 5명을 만나 보았다.
가타야마가 그들에게 복셀을 컴퓨터가 인식할 수 있도록 하는 코드를 얼마나 정확하게 만들었느냐고 묻자 키 크고 구불구불한 머리카락의 박사 후 연구자 토마스 나세라리스는 칠판에 방정식을 써 보였다. 바로 베이즈의 정리(Bayes' theorem)다.
베이즈의 정리는 확률론의 기본으로써 새로운 정보에 따라 확률의 변동을 계산하는 데 쓰인다. 즉 A라는 사건이 먼저 발생하고 그 후에 B라는 사건이 발생하는 2개의 사건 A, B가 서로 종속적일 경우 A사건에 의해 B사건이 일어날 확률을 계산하는 것인데, 이것이 바로 알고리즘의 핵심이라고 나세라리스는 설명했다.
사실 어떤 사진이나 동영상을 볼 때 어떤 다중 복셀 패턴이 생기는가는 처음부터 알기 어렵다. 무엇보다 사진이나 동영상 내용과 피험자가 나타내는 다중 복셀 패턴 간의 연관관계를 파악해야 한다는 얘기다.
이를 위해 여러 가지 사진과 동영상을 피험자에게 보여주고, 그때마다 나오는 다중 복셀 패턴을 측정해 분석해야 한다. 그리고 이 데이터를 충분히 축적한 다음 베이즈의 정리에 대입하면 어떤 내용의 사진이나 동영상을 보았을 때 어떤 다중 복셀 패턴이 나올 것인지 확률적으로 예측이 가능하게 된다.
연구자들은 우선 피험자의 특정 뇌 활동 패턴이 특정 이미지를 나타낼 확률을 계산하기 위해 방정식에 상당한 수의 데이터 표본, 즉 피험자의 fMRI 스캔 1,750건을 대입했다. 나세라리스의 말이다. "베이즈의 정리를 사용하면 피험자가 본 영상이 우리가 생각하는 바로 그 영상일 확률을 알 수 있습니다."
이는 마치 방수포로 덮인 자동차의 제조회사를 알아내는 일과도 비슷하다. 정확한 추리를 위해서는 모든 가용한 증거를 분석하는 일부터 시작해야 한다. 방수포의 모양, 크기, 차주의 유형, 엔진소리 등등. 정보가 많을수록 추리는 더욱 정확해진다. 이와 마찬가지로 방정식에 많은 조건을 대입하면 할수록 예측의 결과는 정확해지는 것이다.
영상과 관련된 생각 알아내는 게 과제
누군가의 머릿속에 그려진 영상을 알아맞히는 것만으로도 대단한 일이다. 하지만 그 영상과 관련된 생각을 알아내는 것이야말로 더욱 큰 도전과제라고 할 수 있다. 예를 들어 갤런트는 가타야마의 머릿속에 그려진 영상을 알 수는 있지만 스캐너 안에 누워서 한 생각은 알아낼 길이 없다. 생각은 영상과 달리 뇌 뒤쪽에 깔끔하게 기록되지 않기 때문이다.
그렇다면 생각은 어디에 기록될까. 카네기 멜론 대학의 컴퓨터 과학자인 콤 미첼은 동료인 마셀 저스트와 함께 fMRI와 다중 복셀 패턴 인식을 사용, 이 문제를 해결하기로 했다. 즉 미첼은 영상과 단어, 감정에 대한 뇌의 반응을 도식화해 놓으면 영상이 아닌 생각을 10년 내에 해독할 수 있을 것이라고 생각하고 있다.
그는 최근 연구에서 뇌의 어느 부분에 생각이 머무는지 알기 위해 fMRI 스캐너 내의 피험자들에게 2가지 사물, 즉 망치와 집을 보여주었다. 그리고 소프트웨어를 사용해 뇌의 여러 부분에 나타난 다중 복셀 패턴을 분석, 피험자가 어떤 사물에 대해서 생각하는지 판단했다. 갤런트와 마찬가지로 미첼의 실험 역시 90%의 정확도를 나타냈다.
"망치에 대해 생각하는 사람은 망치의 모든 면에 대해 생각합니다. 망치를 휘두르는 생각을 할 때면 운동피질의 뉴런이 전기적 작용을 나타냅니다. 그리고 망치와 비슷한 물건을 생각할 때면 시각피질이 작동하지요."
그의 팀은 또한 편도, 그리고 분노·사랑 등의 감정에 연관돼 있는 대뇌 전두피질에 대한 fMRI 데이터를 모아 사랑·정의·불안 등의 말을 들었을 때 나타나는 뇌 활동 패턴을 도식화했다.
일본 국제전기통신기초기술연구소의 전산신경 과학자인 가미타니 유키야스는 이 기술을 발전시키면 꿈의 해독도 가능할 것이라고 보고 있다. 실제 그는 올 여름 갤런트처럼 수면 상태의 피험자에게 fMRI 스캔을 실시, 뇌 신호를 읽고 이를 재구성할 계획이다.
가타야마의 fMRI 스캔에 대한 분석이 끝나고 난 뒤 갤런트와 니시모토는 그녀의 뇌에 그려져 있던 동영상을 컴퓨터로 재생해 보여주었다. 재생한 동영상에서는 정신 사납게 생긴 곰들이 산 앞에서 떠다니고 있었다.
몇 초마다 한 번씩 새로운 곰이 앞에 나타나서는 마치 하늘을 나는 비치볼처럼 허공을 떠다녔다. 가끔씩 색색의 정육면체가 곰들을 지나쳐 날아갔다. 보기만 해도 눈앞이 어지러웠다.
니시모토는 가타야마의 뇌에 있던 곰들의 색상, 위치, 움직임을 재현한 다음 이를 오리지널 비디오 동영상으로 재구성할 수도 있다고 말했다. 사실 이와 유사한 실험이 이미 있었다.
우선 동영상에 반응하는 피험자의 뇌 활동 패턴을 측정하기 위해 fMRI 스캐너 내에서 2시간 분량의 비디오를 보게 한다. 이 때 측정한 뇌 활동 패턴의 분석을 통해 동영상에 반응하는 컴퓨터 모델을 수립한다. 그리고 컴퓨터 모델의 참조 자료, 즉 방정식에 대입할 조건을 강화하기 위해 수천편의 비디오를 입력해 다양한 상황에서 뇌 활동의 패턴을 예측할 수 있도록 한다.
그런 다음 피험자에게 완전히 새로운 비디오를 보여주고 뇌 활동 패턴을 측정해 컴퓨터 모델에 대입시킨다. 그러면 컴퓨터 모델은 이미 충분한 참고자료 입력을 통해 뇌 활동 패턴을 예측할 수 있기 때문에 새로운 비디오를 본 피험자의 동영상도 색상, 위치, 움직임을 재구성해 비디오 동영상으로 만들 수 있는 것이다.
재구성된 비디오 동영상은 등장인물의 표정 같은 세세한 부분은 놓쳤지만 주인공들의 움직임 전반, 형체, 모양 등은 놓치지 않았다. 연구자들의 말에 의하면 앞으로 컴퓨터 모델에 더 많은 데이터를 입력할수록 재구성된 비디오 동영상의 해상도는 높아질 것이라고 한다. 니시모토는 이렇게 말했다. "우리는 할 수 있다고 했지만 아무도 믿지 않았습니다."
인간의 정신활동이 컴퓨터의 코드로 해독될 수 있다는 생각을 하니 좀 으스스한 기분이 들었다. 하지만 이는 인간의 행동과 사고를 조절하는 신비한 뉴런 블랙박스를 개념적으로 나타낸 것에 불과한지 모른다.
갤런트 역시 브레인 스캐닝에 대한 사람들의 불안을 감안한 듯 이렇게 말한다. "뇌 활동의 해독은 결국 숫자 놀음에 불과합니다. 부기를 할 때 필요한 비결 말이지요."
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
