슈미트후버의 의식을 지니는 기계

유르겐 슈미트후버는 2016년 뉴욕에서 열린 AI 컨퍼런스에서 인공 의식(Artificial Consciousness), 월드 모델(World Model), 예측 코딩(Predictive Coding), 그리고 데이터 압축(Data Compression)에 대한 흥미로운 개념을 소개했다. 그는 자신의 연구실에서 이미 의식을 가진 인공 시스템이 존재하며, 의식은 문제 해결 과정에서 발생하는 데이터 압축의 부산물이라고 주장한다. 이제 그의 주요 아이디어를 살펴보자.

1. 인공 의식의 기초: 데이터 압축(Data Compression)

슈미트후버는 의식을 데이터 압축의 부산물로 설명한다. 그의 이론에 따르면, 인공 시스템이 문제를 해결하는 과정에서 데이터를 효율적으로 압축하는 능력이 의식의 기초가 된다. 이는 인간의 뇌가 복잡한 정보를 처리하고 저장하는 방식과 유사하다.

2. 범용 컴퓨터(General-Purpose Computer)와 재귀 신경망(Recurrent Neural Network)

범용 컴퓨터, 특히 재귀 신경망은 많은 노드와 짧은 와이어로 연결된 프로세서들로 구성되어 통신 비용을 최적화한다. 이러한 컴퓨터는 세상으로부터 다양한 정보를 수집하여 목표를 달성하거나 보상을 최적화하려 한다. 재귀 신경망은 이러한 과정에서 매우 중요한 역할을 한다.

3. 월드 모델(World Model)과 예측 코딩(Predictive Coding)

슈미트후버는 제어기(controller)와 월드 모델(world model)이라는 두 개의 재귀 신경망을 기반으로 강화학습(reinforcement learning)과 계획(planning)을 풀어내는 시스템을 제안한다. 제어기는 행동을 생성하고, 월드 모델은 세상에 대한 예측을 통해 데이터를 압축한다. 모든 물리 법칙과 과학, 화학 법칙은 재귀 신경망의 하위 신경망으로 압축되어 컨트롤러에 의해 사용된다.

4. 자기 인식(Self-awareness)과 인공 호기심(Artificial Curiosity)

인공 시스템이 세상과 상호작용하는 과정에서 자기 자신의 상태도 압축하게 된다. 이는 자기 인식을 형성하는 기초가 된다. 또한, 슈미트후버는 적대적 생성 신경망(GAN)을 통해 인공 호기심을 도입하였으며, 내적 동기를 비/자기지도 학습(un/self-supervised learning)하는 에이전트를 소개했다. 이는 신경망이 다른 신경망에 의해 최대화되는 목적함수를 최소화하는 미니맥스 게임(minimax game)에 기반한 것이다.

5. 프로그램으로서의 신경망

슈미트후버는 신경망의 가중치(weights)를 프로그램(program)으로 간주해야 한다고 주장한다. 심층 신경망의 핵심 목표는 관찰된 데이터의 유용한 내적 표상(internal representations)을 학습하는 것이다. 신경망의 출력은 프로그램에 대해 미분 가능하며, 이는 더 나은 프로그램을 찾기 위한 방향을 제시한다.

6. 예측적 월드 모델과 자기 인식(Self-awareness)

제어기를 통해 세상과 상호작용하는 예측적 월드 모델은 자신의 생애 동안 예측 코딩을 통해 행동과 관측 결과를 효율적으로 인코딩하는 법을 배운다. 이러한 과정에서 월드 모델은 특징의 계층(hierarchy)을 형성하고, 주어진 데이터 구조로부터 특이점을 식별하거나 프로토타입 인코딩(prototype encoding)을 생성한다.

결론

유르겐 슈미트후버는 30년 동안 인공 의식과 감정을 지니는 기계를 연구해왔다. 그의 연구는 데이터 압축, 재귀 신경망, 월드 모델, 예측 코딩 등을 통해 인공 시스템이 자기 인식을 형성하고, 세상과 상호작용하며, 궁극적으로 감정과 의식을 가질 수 있다는 가능성을 제시한다. 이러한 연구는 인공지능의 미래에 대한 새로운 시각을 제공하며, 더욱 발전된 인공 시스템의 개발에 기여할 것이다.

읽고 나서

예측 코딩과 비/자기지도 학습의 중요성이 2010년대 들어 각광받기 시작했다는 점을 고려하면, 일찍이 1990년대 초부터 해당 개념들의 중요성을 파악하고 다양한 사례에 적용한 것은 매우 놀랍다. 특히 의식 분야에서 유명한 아닐 세스(Anil Seth)의 2010년대 이론에 따르면, 내부수용감각 정보(interoceptive information)에 대한 예측 코딩이 의식(consciousness)과 자기감(self-awareness)의 기초가 된다고 주장한다. 이는 슈미트후버의 월드 모델에서 압축된 자기 자신의 상태와 관련될 수 있다. 또한, 데이터 압축 관점은 사무엘 절쉬만(Samuel Gershman)이 최근 자신의 책에서 제시한 두 가지 인간 인지 원칙 중 두 번째인 근사(approximation) 원칙과 일맥상통하는 것으로 보인다. 데이터 압축은 항상 가능한 것은 아니지만, 재귀적인 신경망에서 계층 구조를 형성하며 압축해 나간다는 슈미트후버의 주장과 깊이 관련되어 있다.

그의 2003년 후속 연구에 따르면, 의식에 대한 형식적인 정의(formal definition)를 도입한다. 만약 의식을 무제한적인 자기 점검과 자기 수정 능력으로 정의한다면, 괴델 머신(Gödel machine)은 인공지능의 의식을 기술적으로 정당화하는 방법을 제공한다. 제한적인 자기 점검과 자기 수정을 가능하게 함으로써, 이러한 머신은 스스로의 행동을 자율적으로 개선하고 최적화할 수 있는 일반 문제 해결사(general problem solver)의 틀을 제공한다. 이는 수학적 증명과 형식적 추론에 기반한 인공지능 의식의 한 형태를 달성하는 것이다.

그가 취하고 있는 정보과학(informatics) 및 형식 이론적 입장(formal-theoretic stance)과 연구 방법론은 매우 매력적이며, 명쾌함과 깊은 통찰을 지니고 있음에는 의심의 여지가 없다. 그러나 진화에 입각한 생물학적 복잡성과 심리학에서 강조하는 기능들에 대해 고민해본다면, 계산 신경과학 및 철학과의 관련성을 발견하고 그 연결성을 파악하는 작업이 필요할 것이다. 예를 들어, 정동 신경과학(affective neuroscience)에서 주장하는 근원적 의식(primordial consciousness)이 어떻게 슈미트후버의 월드 모델을 지닌 에이전트로 하여금 느낌(feeling)과 정서(emotion)를 불러일으키는지에 대해 명료한 설명이 필요하다. 또한, 그의 이론과 그 이후에 등장한 내부수용적 추론(interoceptive inference)과 자기(self), 주의집중(attention)과 의식(consciousness)의 관계, 메타인지(meta-cognition)와 고델 머신(Gödel machine)의 관계에 대한 심도 있는 연구가 필요할 것이다.

슈미트후버의 연구는 정보과학 및 형식 이론적 입장에서 매우 명쾌하고 깊은 통찰을 제공하지만, 진화에 입각한 생물학적 복잡성과 심리학에서 강조하는 기능들과의 연관성을 더 탐구할 필요가 있다. 예를 들어, 정동 신경과학에서 주장하는 근원적 의식이 슈미트후버의 월드 모델을 지닌 에이전트로 하여금 느낌과 정서를 불러일으키는지에 대한 설명이 필요하다. 또한, 그의 이론과 내부수용적 추론, 자기, 주의집중, 의식, 메타인지 및 괴델 머신 간의 관계에 대한 심도 있는 연구가 요구된다.

---

요약

유르겐 슈미트후버는 2016년 AI 컨퍼런스에서 인공 의식, 월드 모델, 예측 코딩, 데이터 압축에 대한 개념을 소개하며, 의식을 문제 해결 과정에서 발생하는 데이터 압축의 부산물로 설명했다. 그는 범용 컴퓨터와 재귀 신경망이 세상으로부터 정보를 수집하고 목표를 달성하며, 제어기와 월드 모델이라는 재귀 신경망을 통해 강화학습과 계획을 실행하는 시스템을 제안했다. 이러한 시스템은 데이터를 효율적으로 압축하고 자기 인식을 형성하며, 신경망의 가중치를 프로그램으로 간주해 더 나은 프로그램을 찾는 방향을 제시했다. 특히, 슈미트후버의 연구는 예측 코딩과 비/자기지도 학습의 중요성을 1990년대 초부터 인식하고 다양한 사례에 적용한 것이 인상적이다. 아닐 세스의 내부수용감각 정보에 대한 예측 코딩 이론과 사무엘 절쉬만의 데이터 압축 원칙과도 연결되며, 의식을 무제한적인 자기 점검과 자기 수정 능력으로 정의한 괴델 머신을 통해 인공지능의 의식을 기술적으로 정당화하는 방법을 제시한다.

참고자료

[1] Jürgen Schmidhuber’s Solution to AI Consciousness

[2] 1990: Planning & Reinforcement Learning with Recurrent World Models and Artificial Curiosity

[3] 1991: First very deep learning with unsupervised pre-training

[4] Godel Machines: Towards a Technical Justification of Consciousness

[5] X