거의 20년 전쯤에 개봉된 영화 터미네이터에서는 터미네이터 라는 미래형 휴머노이드 로봇이 등장한다. 영화에서 이 로봇은 강한 전투력과 함께 높
은 수준의 판단력과 학습 능력을 보여준다. 또한 이 로봇의 시각정보를 처리하는 능력은 놀라울 정도로 훌륭하다. 특히 영화 초반부에 터미네이터가
자신이 입을 옷을 구하기 위해서 사람이 입은 옷을 주변배경에서 분리 구분하여 그 크기를 계산한 후 자신에게 맞는지를 확인하는 과정을 터미네이
터의 시각으로 연출하는 장면이 그러하다. 인간에게는 지극히 쉬워서 놀라울 것도 새로울 것도 없어 보이는 이 당연한 과정에 사실 수많은 이해하기
힘든 뇌의 경이로운 작용들이 관여하고 있어서 현대의 컴퓨터 기술로는 이것을 비슷하게 조차도 구현할 수가 없다. 인간은 엄두도 낼 수 없는 수만 가
지 복잡한 계산을 순식간에 해내는 컴퓨터가 어린 아기도 할 수 있는 이런 일을 못한다는 것은 참 역설적이면서도, 뇌는 컴퓨터와는 정보를 처리 방식
이 근본적으로 다르다는 것을 느끼게 한다. 그러나 이런 복잡하고 난해한 시각 정보 처리 능력이 아닌, 빛 자극을 기본적으로 통제하는 능력은 지금의
간단한 디지털 센서 기술로도 구현 할 수 있다. 빛 정보를 통제하기 위해서는 우선 빛 자극을 받아들일 수 있는 능력(감지능력)과 그 빛 자극을 전기적
인 신호로 변환하여 가시적으로 정보화 할 수 있는 능력(감각능력)이 있어야 한다. 디지털 장치에는 빛 정보를 받아들이는 인간의 눈에 해당하는 카메
라 센서가 있다. 또한 인간이 눈을 통해 받은 빛 자극을 전기적인 신호로 변환하여 시각 피질에서 감각한다면, 디지털 장치는 센서를 통해 받은 빛 자
극을 전기적인 신호로 변환한 후 모니터를 통해서 보여준다. 인간의 일차적인 시각기능을 담당하는 장기인 눈과 시각피질, 그리고 일반적인 디지털
장비에서의 빛 정보 처리를 담당하는 장치인 카메라와 모니터간에 상호 유사성과 차이점을 살펴 보는 것은 인간의 고위 시각인지 기능을 이해하기
위한 좋은 시작점이 될 것같다.
우선, 인간의 시각 인지능력이 얼마나 놀라운 것인지를 이해할 필요가 있다. 그래야지만이 아마도 왜 현대 첨단기술로도 인간의 시각 인지 능력을 흉
내조차 내지 못하는지를 알 수 있을 것이다. 시속 백 킬로미터가 넘는 속도로 날라오는 테니스 공의 구질과 방향을 순식간에 파악하여 되받아 쳐 내는
선수의 모습은 인간의 놀라운 시각 인지 능력을 잘 보여주는 예가 된다. 인간의 놀라운 시각인지 능력의 예는 이처럼 잘 훈련 받은 사람에게서 뿐만 아
니라 보통 사람에게서도 찾을 수 있다. 누구나 길 가다가 우연히 마주친 오랜 동창을 어렵지 않게 알아볼 수 있는데 이런 시각인지능력은 참 경이롭기
까지 하다.
인간의 능력에 준하는 시각인지 능력을 가지고 있는 로봇의 시각 시스템을 구성하는 것이 얼마나 막막한 것인지는 조금만 생각해 보면 알 수 있다. 만
약 인간처럼 테니스를 칠 수 있는 로봇을 구현한다고 하고, 그리고 이 중에 움직임이나 다른 복잡한 로봇의 장치 기능은 빼고, 순전히 구현할 로봇의
시각인지기능 장치만을 고려해 보도록 하자. 우선 구성하려는 시각장치의 해상도는 인간의 망막에서 전달되는 망막 신경절 세포수를 기준으로 한다
고 했을 때 백만 비트 정도는 되야 할 것이다 (참고로 광수용체 세포수를 기준으로 한다면 1억 비트가 넘어야 한다.). 또한 로봇이 느낄 수 있는 빛의 밝
기 단계를 인간과 비슷한 256단계로 설정 한다면, 처리해야 하는 정보는 백만 비트가 아니라 백만 바이트가 된다. 게다가 색을 감지 하려면 세가지 독
립적인 빛 성분에 대한 정보를 각각 처리해야 하기 때문에 여기다 다시 3를 곱하고, 마지막으로 눈은 두 개이기 때문에 여기에다가 또다시 2을 곱해야
한다. 즉, 단순 계산으로 볼 때 로봇이 처리해야 하는 시각 정보처리의 기본 단위는 약 6Mbyte 정도다. 그러나 사실 이것은 시작에 불과하다. 로봇이 어
떤 물체의 움직임 패턴을 이해하고 물체의 다음 움직임을 예측하기 위해서는 이전 입력정보들과 지금 입력정보를 비교관찰 해서 움직임의 패턴을 분
석하는 과정이 필요하다. 로봇을 인간과 비슷하게 20Hz 단위로 시각 정보를 받고, 그때 마다 이전의 0.5초 정도 동안에 입력된 시각 데이터들을 통합적
으로 분석할 수 있게 만든다고 했을 때, 시스템이 매 초 처리해야 하는 영상의 개수는 10장(0.5초*20Hz)이며 이것을 20분에 1초 만에 수행해야 한다. 정
리하면 로봇이 인간과 같은 시각 정보를 처리하려면 기본단위인 6Mbyte에다가 10과 20을 곱한 약 1Gbyte가 넘는 정보를 매 초에 처리해야 한다. 그리고
이것은 어디까지나 순전히 처리해야 하는 정보의 양이 그렇다는 말이다. 아직 정보의 처리 자체에 필요한 시간이나 부하에 대한 고려는 하지도 않았
다. 인간의 시각 시스템은 시스템이 매 순간 처리하는 시각 정보의 양도 놀랍지만 그 많은 정보를 순식간에 처리하는 능력은 더 놀랍다. 로봇은 매 순
간 움직이기 때문에, 로봇의 카메라로 보여지는 로봇이 처리해야 하는 시각정보의 시선 방향이나 조명상태 또한 매 순간 바뀐다. 그래서 로봇의 입력
영상에서는 일관된 공간적, 밝기적 기준점을 찾거나 정할 수가 없다. 이런 환경에서도 물체의 3차원 위치를 파악하기 위해서는 물체의 공간 정보를
파악해야 하고, 그 정보를 바탕으로 두 눈의 초점을 물체에 맞춰야 한다. 테니스 공처럼 그 대상이 움직이기라도 한다면 이것을 매 순간 파악해서 눈동
자를 조절 해야 한다. 결론적으로 이런 놀라운 시각인지 능력을 가지고 있는 컴퓨터를 만드는 것은 불가능에 가깝다는 결론에 도달하게 된다.
그러나 이것이 다가 아니다. 인간의 시각 인지능력에서 더 놀라운 것이 물체를 인식하고 탐색하는 능력이다. 만약 집에서 열쇠를 찾는다고 한다면, 방
금 말한 기가 바이트의 정보와 열쇠의 영상정보를 일일이 비교하는 과정을 거쳐야 한다. 열쇠가 딱 내가 생각하는 그 모양 그대로 있으면 그나마 쉬울
수도 있겠지만 열쇠는 반쯤 가려져 있을 수도 있고, 놓여진 방향은 알 수가 없으며, 멀리서 작게 보일 수도 있으며, 어두운 곳에 있을 수도 있고, 어쩌면
먼가가 묻었거나 찌그러져 있을 수도 있다. 그런 각각의 상황에 따라 무수한 경우의 열쇠형태 패턴이 발생한다. 이리하여 시각 인지 시스템은 엄청난
양의 입력 시각 데이터와 또 다른 엄청난 양의 열쇠 형태 조합 데이터를 일일이 비교해야 한다. 이것은 실로 엄청난 일임에도 불구하고 만약 열쇠가 집
에 있기만 하다면, 사람이라면 보통 별 어려움 없이 열쇠를 찾을 수 있다.
인간의 시각 정보 처리에서 아마도 가장 경이로운 것은 이런 물체를 인지하고 탐색하여 주의를 기울일 수 있는 능력이 의도하지도 않은 대상에까지
도 작용한다는 것이다. 처음에 든 예처럼 우연히 (의도하지 않게) 마주친 동창의 얼굴을 (의도하지 않게) 알아보는 것이 그 예가 되겠다. 이런 현상은 인
간의 시각인지 장치가 지금까지 경험을 통해 보아왔던 수많은 물체들의 패턴을 (무의식적으로라도) 지금 들어온 시각 자극과 비교해서 분석하고 있
다는 터무니 없는 결론에 도달하게 한다. 그것도 매 순간! 더구나 오랫동안 보지 못했고 조금은 바뀌었을 수도 있는 옛 친구의 얼굴형태에 대한 예측을
하는 여유까지 보이면서 말이다. 용의자의 신원을 확인 하기 위한 얼굴 인식 프로그램을 생각해 보면 이것이 얼마나 대단한 능력인지 알 수 있다. 얼굴
인식 프로그램의 경우 그것을 작동이라도 시켜 보려면 우선 범죄인 증명사진 데이터 베이스가 있어야 하고 증명사진에 버금가는 용의자의 얼굴 사진
이 확보가 되어 있어야 한다. 이런 좋은 조건에서, 그것도 한가지 조건만 검색하는 데도 프로그램에게는 적지 않은 시간이 걸리고 오류를 범하기도 하
는 것과 비교해 봤을 때 인간의 얼굴 인식 능력은 기적에 가까워 보이다. 그런 의미에서 이런 인간수준의 시각인지시스템을 구현하는 것은 현재의 접
근 방식으로는 아마 불가능 할 것으로 생각된다.
수많은 뇌 기능들 중에서도 시각기능은 특히 연구가 많이 되어 왔다. 왜냐하면 시각 자극은 다른 감각 자극에 비해 자극의 강도나 시간이나 속성을 통
제하기가 쉽고, 시각과 관련된 신경들은 그 연결성이나 뇌의 구조적 조직화 정도도 비교적 분명하여 연구하기가 상대적으로 쉽기 때문이다. 또한, 뇌
의 많은 부분이 시각 정보를 처리하는데 관여 하고 있어서 시각은 연구 해볼 거리도 많은 주제이며, 시각은 인간에게 가장 직접적이고 보편적인 지각
이기 때문에 가장 일반적으로 접근할 수 있는 뇌기능 주제이기도 하다. 이런 의미에서 시각과 관련된 뇌 연구가 다른 어느 뇌 기능 연구 분야보다도 깊
고 넓게 진행된 것은 당연한 결과다. 그러나 그럼에도 불구하고 이처럼 인간의 고위 시각인지 능력은 너무나 훌륭하고 오묘하기 때문에 고위 시각인
지에 대해서는 아직 이해하지 못한 부분이 태반이다. 다만, 많은 연구들 덕택에 눈을 통해 들어온 빛의 자극이 어떻게 대뇌까지 전달이 되는지 같은 상
향식 시각 경로 특성에 대해서는 어느 정도 자세하게 알려져 있다.
인간은 눈을 통해 빛을 받아 들이는데, 이 눈 중에서도 빛을 직접적으로 감지하는 조직은 눈의 망막 표면에 있는 광수용체 세포다. 이 세포만이 직접
적으로 외부의 빛 에너지를 생체 전위로 변환할 수 있다. 이 전위는 마찬가지로 망막 표면의 광수용체 주위에 있는 양극세포, 수평세포, 무축삭세포 같
은 망막신경세포들에게로 전달이 되어 다양한 작용을 한다. 그런 후 이 전위 신호는 눈에서 뇌로 가는 유일한 출력작용 세포인 망막 신경절 세포로 전
달이 된다. 물리적인 빛 자극 신호는 망막 신결절 세포의 작용을 거친 후에야 마침내 주파수 변조 방식의 전기적 2진화 ‘디지털’ 신호가 된다. 망막 신
경절 세포는 뇌의 중계기에 해당하는 시상(그 중 외측 슬상핵)으로 대부분 연결이 되어 있다. 그리고 이 시상이라는 중계기를 거친 빛의 자극 정보는
드디어 대뇌에 도달하게 되며 이 빛의 자극 정보가 일차적으로 도달하는 대뇌 부위를 일차 시각 피질로 정의하고 있다. 대뇌의 고위 시각인지작용은
이 일차 시각 피질에서의 신경 활동 신호를 바탕으로 하고 있다. 시각피질에 도달한 대뇌피질에서의 시각 정보원은 다시 대뇌의 다른 뇌의 부위와 작
용한 후, 어떤 특별한 상태(?)에 도달하게 되면 마침내 어떤(?) 것을 인지하게 된다. 인지는 주관적인 경험이고 이런 주관적인 대상을 객관적인 신경생
리학적 관점으로 정의하기란 쉽지 않다. 다만, 제프 호킨슨이 “생각하는 뇌, 생각하는 기계”라는 책을 통해 제안한 기억-예측 모델에서의 인지는 “피
질이 외부자극으로부터 자동적으로 예측한 다음에 예상되는 감각자극 정보가 실제로 감각된 입력정보와 일치하여 결합할 때의 의식상태”다. 이것은
신경과학자도 아닌 사람에게서 나왔지만 참으로 놀라운 통찰이라 할 수 있다. 어찌 되었건 외부의 빛에서 어떤 감각이 발생하기까지의 과정을 다시 정리하면 다음과 같다.
: 빛 -> 광수용체 세포 (빛 감지) -> 각종 안구 신경세포 (신호 변조) -> 망막 신경절 세포(대뇌로 신호 전달) -> 시상 (신호 정리?) -> 대뇌 일차 시각 피질 (대뇌의 시각 신호 정보원) -> 다른 대뇌부위 (인지)
일차시각 피질은 눈으로부터 들어온 빛에 대한 신경신호를 처음으로 받아들이는 대뇌 영역이며, 앞으로 다른 뇌 부위가 해야 할 복잡한 신호처리의
신호원을 제공하는 뇌 영역이다. 일차시각 피질의 활성화 특성은 빛 자극의 세기나 위치 같은 빛 자극의 물리적인 특성에 직접적인 영향을 받는다. 즉,
빛의 자극이 세면 일차 시각 피질도 더 크게 활성화 되고, 일차 시각 피질에서의 활성화 부위는 자극된 시각자극의 시야 위치에 의해 결정이 된다. 그
리고 망막의 자극 위치와 그에 따른 일차 시각 피질의 활성화 영역은 1:1 매칭이 되는데 이런 매칭에는 규칙이 있고 그 규칙에 따른 도식화도 가능하다
. 이런 식으로, 자극된 시야의 위치와 그에 따라 활성화 되는 일차 시각 피질 위치의 상관 관계를 도식화 한 것이 망막위상지도(retinotopy map)다. 망막위
상지도에서는 상하, 좌우, 내외가 뒤바뀌어 있다. 즉, 왼쪽 시야에 시각자극이 되면 오른쪽 일차 시각 피질이 활성화 되고, 위쪽 시야에 시각자극이 되
면 아래쪽 일차 시각 피질이 활성화 되며, 시야의 중간에 시각자극이 되면 일차시각 피질의 바깥 끝 쪽이 활성화 되는 식이다. 어찌 되었건 이런 지도
는 일차 시각피질의 활성화 특성은 물리적 특성을 직접적으로 반영하며, 그 활성화 특성을 바탕으로 실제 자극의 대략적인 물리 특성을 추정 할 수 있
음을 말한다.
지금까지 서술한 인간의 눈을 통해 들어온 빛의 정보가 시각 피질로 전사되는 과정은 디지털 장비의 카메라 렌즈를 통해서 들어온 빛의 정보가 액정
표시장치(LCD : liquid crystal display)로 표시되는 과정과 유사한 점이 많다. 눈은 빛을 받아들이는 과정에서 홍채로 빛의 양을 조정하고, 수정체의 두께
조절로 망막에 물체의 상이 맺히도록 하는데, 눈의 홍채 역할을 카메라의 조리개가 하고, 눈의 수정체 역할을 카메라에서는 줌 기능이 대신한다. 그리
고 물체의 상이 맺히는 위치인 인간의 망막에 해당하는 카메라의 부위는 필름 또는 전하결함소자(CCD : charge coupled device)다. 또한, 인간이 눈의 망막에 있는 광 수용체 세포로 빛을 감지한다면, 카메라는 CCD에 있는 영상소자(photodiode)로 빛을 감지한다. 이 영상소자 역시 광 수용체 세포처럼 빛이라는 물리적 속성을 전기적인 정보 신호로 변환한다. 영상소자로부터 발생한 전기신호는 CCD의 다른 장치를 통해서 보간이나 윤곽강조 또는 감마보정
같은 전 처리 과정을 거치는데 이것은 눈에 있는 각종 안구 신경세포들의 역할과 비슷하다. 이런 과정을 거친 CCD의 출력 신호는 인간에게서의 망막
신경절 세포의 출력 신호에 해당하며, 이 신호는 저장장치로 가서 데이터로 저장이 되거나 LCD같은 시각 출력 장치로 바로 보여지기도 한다. 시각 출
력 장치는 디지털화 되어 있는 자극된 빛의 정보를 그 위상과 강도에 맞게 시각적으로 표현한다. 즉, 시각 출력장치는 CCD로 부터 출력된 시각정보를
그대로 반영하여 보여주기만 하는 장치이다. 이 LCD의 기능은 인간의 일차 시각 피질의 기능에 대응시킬 수 있다. 왜냐하면 일차 시각 피질 역시 카메
라의 CCD에 해당하는 광 수용체 세포로부터 받은 시각자극의 물리적 특성을 기반으로 반응하기 때문이다. 이후 컴퓨터는 그 목적에 맞게 이 LCD에 전
사된 영상 정보를 바탕으로 테두리나 공간 고주파수 정보만을 검출한다거나, 회전을 시킨다거나, 혹은 얼굴을 분할하는 부과적인 장치를 가지기도
한다. 이것은 인간의 고위 시각영역이나 고위 연합영역의 작용이 일차시각으로부터 받은 시각 정보로부터 시각 인지 활동을 이끌어 내는 것과 같은
형태이다.
지금까지 언급하였던 인간의 시각감각 조직과 카메라 장치와의 대응을 정리하면 다음과 같다.
광 수용체 세포 (빛 감지) : 영상소자 -> 각종 안구 신경세포 (신호 변조) : CCD에서 영상소자 이외의 장치-> 망막 신경절 세포(대뇌로 신호 전달) : CCD 출력신호 -> 시상 (신호 정리?) ? -> 대뇌 일차 시각 피질 (대뇌의 시각 신호 정보원) : LCD -> 다른 대뇌부위 (인지) : 다른 부과적인 장치
카메라 장치와 인간의 시각조직 간의 기본골격을 이처럼 비교해 보면 서로 유사한 것으로 생각할 수 있다. 그러나 이것은 인간의 시각기능을 지극히
단순하게 간주했을 때의 이야기다. 즉, 앞서 언급한 인간의 빛 정보에 대한 일차처리과정은 그것을 카메라의 과정과 비교하기 위해서 너무나 단순하
게 묘사 되었다. 이 설명에는 빛의 색깔이나 탁도 정보에 대한 처리는 고려되지 않았고, 양안 시를 통한 3차원 반응 또는, 동적 시각 자극에 대한 고려
또한 되지 않았다. 비록 일차 단계임에도 불구하고 이 과정에는 빛을 감지하여 그것을 그대로 시각 피질로 전사하는 절차만 있는 것은 아닌 것이다. 그
리고 무엇보다도 이 설명에서는 광 수용체 세포를 통해 들어온 빛 자극 정보가 정리되고 추려져서 전달되는 과정에 대해서는 전혀 고려 되지 않았다.
앞서 언급한 인간의 엄청난 인지시각 정보처리 능력은 효율적인 신호 정리 작용이 뒷받침 되어야지 만이 가능할 것이다. 실제로 눈을 통해 감지된 빛
의 정보가 시각 피질로 전달되는 과정에는 정보의 양을 줄이기 위한 다양한 신호처리 절차가 있을 것으로 예상된다. 그러나 아쉽게도 이런 과정에 대
해서는 상세하게 밝혀진 바가 별로 없다. 가장 기본적인 단계라고 할 수 있는 망막에서 조차도 1억 개가 넘는 광수용체 세포들의 신호가 어떤 식으로
해서 백 만개의 망막 신경절 세포로 수렴이 되어 작용 하는지를 정확히 이해하지 못해서 인공망막 같은 것을 적절하게 설계하지 못하고 있는 상황이
다. 다만, 이 과정에서는 자극된 시각정보 중 테두리 부분의 정보나 방향성 정보 등이 추출되고, 그 추출된 정보로부터 재구성되어 압축된 정보가 다음
단계로 전달될 것으로 생각되고 있다. 또한 시각정보가 망막에서 시각피질로 가기 전에 시상을 거치게 되는데 이 시상의 역할도 분명하지 않다. 역시
다만, 동적인 자극환경에서 이전 자극 신호와 이번 자극 신호간의 차이를 비교하여 변화가 없는 부분의 정보를 정리함으로써 쓸모 없는 정보가 버려
지는 과정이 이 시상을 거치면서 일어날 것으로 추정이 되고 있을 따름이다. 시각 정보가 일차적으로 처리되는 과정에는 처리해야 하는 정보의 양을
줄이기 위해 이런 것들 이외에도 다양한 알 수 없는 기발한 꼼수들이 동원되고 있을 것이다(이것은 종종 착시의 원인이 되기도 하는 듯 하다). 엄청난
광 수용체에서의 빛에 대한 신호 정보는 이런 과정들을 거치면서 정리되고 버려져서 나중에는 중요하고 꼭 필요한 정보로만 추려지게 된다. 그리하
여 대뇌 피질에는 이렇게 압축 요약된 정보만 보내어 지는 것으로 보인다. 그리고 이런 절차는 처리해야 하는 데이터의 양을 대폭 줄임으로써 앞서 말
한 거의 불가능해 보이는 인간의 시각 인지적 능력을 가능하게 하는지도 모르겠다. 만약 인간의 놀라운 시각 인지능력에 버금가는 시각 시스템을 구
현하고자 한다면, 공학적인 기술 개발이나 컴퓨터 과학적인 알고리즘 개발 이전에 이런 뇌가 시각 정보를 정리하고 처리하는 과정부터 정확히 이해
할 필요가 있을 듯 하다.
