인공지능도 의식을 지닐까?

세상에 대한 거울

인간의 마음은 우주와 같아서, 우주와 두뇌를 나란히 두면 하나는 다른 하나를 담아낸다. 우리의 두뇌는 우주를 담고, 우주는 두뇌를 담는다. 그런데, 두뇌는 우주를 담고, 우주는 두뇌를 담고, 두뇌는 우주를 담고, 우주는 두뇌를 담고, … 인간의 마음은 세상에 대한 거울인가?

Intro

2022년, 구글의 챗봇 서비스인 LaMDA의 개발자 Blake Lemoine은 자신이 개발한 SW가 느낌을 가진다고 주장했다. 이후, 당시 CEO인 Sundar Pichai는 그가 기밀을 유포했다는 점을 들어 해고했으며, 그가 해당 SW를 충분히 이해하지 못했다고 표현했다. 그런데, AMCS에 따르면 우리는 ‘인간의 마음’도 거의 이해하지 못했다. 이러한 이유로 의식 연구의 필요성이 커지고 있다.

2023년 4월, BBC의 테크 전문 에디터 Zoe Kleinman는 인공지능 연구자들이 의식을 연구할 필요성이 있다고 경고하는 글을 발표했다. 그는 세계적인 기술 부호 Elon Musk가 추가적인 법적 조치가 마련되기 전까지 AI 개발을 보류해야 한다는 공동 서명을 작성했다는 점, 수리의식과학학술회(AMCS)가 책임질 수 있는 인공지능 개발을 위해 의식 연구를 포함시켜야 한다는 공개 서한을 발표했다는 점 등을 강조한다. 윤리적이고 책임질 수 있는 미래를 위해 의식 연구가 더욱 활성화되고 인공지능 연구와 더 강하게 상호작용해야 한다는 취지이다.

Nature 기자인 Mariana Lenharo는 2023년 8월 “AI가 의식적이 된다면, 연구자들이 알아야할 점”, 2023년 12월 “AI 의식: 과학자들은 우리가 시급히 답이 필요하다고 말한다” 등 인공지능의 의식에 대한 법적, 윤리적 제도 마련과 그에 따른 의식 연구의 필요성을 역설하는 글을 꾸준히 작성하고 있다.

1. 인공지능과 로봇

인공지능(Artificial Intelligence)은 인간의 문제 해결 능력을 컴퓨터 SW로 모델링하여 실제 세상의 문제를 해결하는 분야이다. 2023년 인공지능 기술은 세상을 놀라게 했는데, 큰 주제로는 대규모 언어 모델(Large Language Model;LLM)을 비롯한 생성형 인공지능(Generative AI)가 있다.

1.1 AI

LLM

그 중 사람들에게 가장 큰 충격을 준 서비스를 꼽자면, 단연 오픈 AI(Open AI)의 ChatGPT-3.5, 4가 있다. ChatGPT는 대규모 언어 데이터를 트랜스포머(Transformer) 아키텍처를 활용해 학습한 모델로, 대화형 챗봇 형태의 서비스를 제공한다. 현재 최신 버전인 ChatGPT-4는 단순히 글 형식 뿐만 아니라, 이미지, 동영상, pdf, 프로그램 코드 등의 다양한 형태를 입력받고 생성할 수 있다. 이러한 Multi-Modality는 ChatGPT가 지닌 무한한 가능성을 시사한다.

이처럼, 대규모 언어 모델의 가능성을 살펴본 슈퍼 테크 기업들은 대화형 검색 서비스 사업에 뛰어들었다. Meta(구 페이스북)의 Llama2, Claude2, 구글의 Bard까지 수많은 대화형 검색 서비스 사업이 시작되고 있다.

Text2Image, Video

OpenAI는 또한 Dall-e와 같은 이미지 생성 서비스도 제공하고 있다. 디퓨전 모델 등을 개발한 Runway ML부터, Pika Labs와 같이 프롬프트 기반 동영상 생성 서비스도 등장했으며 큰 투자를 받고 성장하고 있다. 최근엔 인공지능 서비스 기반의 제작 툴 시장에 급격히 성장하고 있으며, 최초의 AI 영화제가 열리기도 하였다. Pika Labs는 창업 반년 만에 600억에 달하는 투자유치에 성공했다.

1.2 Robots

Robot

그 중 로봇 기술은 다른 AI에 비해 현실적이고, 물리적인 문제를 해결하는 데에 초점을 두고 있다. 로봇은 일반적으로 원하는 동작을 문제없이 수행하고 자연스럽게 제어하는 것조차 큰 어려움이 있었다. 그러나, 강화학습(Reinforcement Learning) 기술을 비롯한 대규모 학습 모델을 바탕으로 이 어려움을 극복했다. Tesla의 일론 머스크(Elon Musk) 회장은 인간과 유사한 휴머노이드 형태의 로봇을 $2,000 정도의 가격으로 보급하는 것을 꿈꾼다고 밝힌 적이 있다. 실제 연말에 발표한 Optimus gen2는 불과 1년만에 자연스럽게 걷기 시작했고, 뛰어난 손 모델이 탑재되어 계란을 집을 수 있을만큼 섬세한 조작이 가능해졌다.

이와 함께, Unitree의 Go2, B2, H1은 충격적으로 유연하고 뛰어나게 작동하는 로봇의 모습을 보여준다. 심지어 사람이 강하게 밀치거나 의도적인 방해를 가하더라도 성공적으로 수행한다. 바퀴나 트랙 형태의 로봇부터, 족형 로봇이나 보행 로봇까지 다양한 형태의 로봇이 등장하고 있으며, 그들의 운동 수행 방식은 점차 발전하고 있다. 일론 머스크의 꿈에 답하듯이, 수많은 로봇회사들 또한 낮은 제품 가격을 유지하고 있는 추세다.

2. 현대 AI 접근의 한계

2.1 인공지능의 한계

인공지능 기술은 수직에 가까운 속도로 성장하고 있다. 특히, AGI(일반 인공지능) 혹은 Human-Level AI(인간 수준 인공지능)에 준하는 기술들이 등장하기 시작했다. 급속도로 발전하는 인공지능 기술의 이면에는 수많은 잠재적 위험들이 도사리고 있다. 이에 따라, 세계적인 신경과학자 Karl Friston이 수석 과학자로 있는 캐나다의 인지 컴퓨팅 기업 Verses AI는 지난 12월 20일 NY Times의 공개 광고면을 활용해 OpenAI에게 공개 서한을 보냈다. 먼저, 그들은 현재 인공지능 기술이 지니고 있는 한계점을 나열했다.

그들은 자신의 회사가 지닌 기반 기술(Active Inference 기반의 인지 컴퓨팅 기술, Scaling하는 것을 넘어서서 자연의 지능을 벤치마크로 활용하는 태도 등)을 바탕으로 극복할 수 있다고 주장했다.

이러한 문제점은 비단 그들이 주장하는 것뿐만 아니라, 인공지능 기술 발전의 핵심이었던 Geoffrey Hinton, Yan LeCun 등의 교수들 스스로도 지적한 바가 있다. 더욱이 Max Tegmark의 Life 3.0, Brian Christian의 The Alignment Problem, Nick Bostrom의 Superintelligence 등에서도 지속적으로 제기된 바가 있다. 실제로, 강화학습만 하더라도 아직까지 많은 문제가 존재하며, 해결해야 할 문제로 (1)Sample Inefficiency, (2)Nice Alternatives, (3)Hard Reward Design, (4)Local Optima, (5)Generalization Issue, (6)Stability & Reproducibility Issue 등이 있다.

2.2 인지과학적 접근

→ 인공지능의 역사

2010년을 이래로 급격히 발전한 인공지능 기술의 역사를 돌이켜보면, 핵심적인 과학 원리나 전신이 되는 사이버네틱스와의 관련성이 드러나는 경우가 많지 않다. 결과적으로 보자면, 현대의 인공지능 기술은 근대의 인지주의(Cognitivism)적 접근 방식에서 발전해 연결주의적 관점과 최근에 이르러 체화된 동역학주의의 이론체계가 기술로 구현된 것에 지나지 않는다. 쟝 피에르 뒤피가 지적했듯이 과학기술은 생각보다 합리적으로 발전하지도, 자체적으로 성장하지도 않는다. 오히려 과학기술은 가만히 냅두면 퇴보하며, 깊은 철학적 성찰과 반추없이는 불필요한 낭비를 줄이기란 불가능에 가깝다.

1. Evan Thompson의 분류
   • 1단계 ← 인지주의(Cognitivism): 1950년대~1980년대 전반
     • 마음을 제거하였던 행동주의의 반심성주의(Anti-Mentalism)에서 탈피
     • 마음을 디지털 컴퓨터 유추에 바탕을 둔 물리적 기호 체계(Physical Symbol System)로 개념화
   • 2단계 ← 연결주의(Connectionism) (컴퓨터→뇌의 변화는 ‘아래로의 끌음downwards pull’에 해당): 1980년대 이래
     • 컴퓨터 은유 중심의 고전적 정보처리 접근의 이론적 개념화에 한계를 느낌.
     • 뇌 은유 중심의 신경망 연결주의 접근에 의하여 상징이하(Subsymbolic) 체계의 계산주의를 제시함.
   • 3단계 ← 체화된 동역학주의(Embodied Dynamicism) (뇌→몸과 환경의 변화는 ‘밖으로의 끌음outwards pull’에 해당):
     • 1990년대 이후
       • 뇌 영상 기법을 비롯한 인지신경과학 연구기법의 급격한 발전으로 뇌 기능의 중요성을 재발견함.
       • 인지과학의 마음에 대한 접근을 신경과학의 기초 위에 놓으려고 했다.
     • 1980년대 후반, 21세기 초
       • 몸과 환경 맥락의 역할을 강조하는 변혁
       • 인간의 마음이 물리적, 사회적 환경 맥락에 적응하는 순간 순간적 상호작용 신체적 행위 활동 상에서 비로소 존재하게 되는 인지다.
2. 최후의 입장은? 체화된 인지
   • 데카르트적 심신 이원론, 고전적 인지주의, 환원주의적 유물론에 대해 비판적 설명 틀을 전개함.
   • 모두 마음의 본질과 특성을 제대로 설명할 수 없으며, 마음을 뇌 내부의 신경적 상태만으로 환원하는 것은 부족한 개념화라고 주장함.
   • 뇌-신체-세상이 연결된 통합체 상의 현상으로 개념화해야 적절하다고 주장함.

최근들어 이론 신경과학의 자유 에너지 원리Free Energy Principle와 능동 추론Active Inference의 규범 이론이 자리를 잡고, 관련 역학 이론 체계인 베이즈주의적 역학Bayesian Mechanics이 정립되었다. 이러한 발전에 따라, 수학적 최적화 이론과 인지 과학의 이론들 사이의 관계성이 널리 알려지기 시작했다. 실제로, 인공지능의 발전에 크게 힘쓴 Stanford AI 대학원의 Fei-Fei Li 교수의 Interactive and Embodied Learning 수업에서는 보충 자료, 정규 수업 자료로 채택하고 있다. 인공지능이 현재 겪고 있는 문제를 해결하고, 더욱 발전시키기 위해서는 인지신경과학과 체화된 인지과학의 관점이 절실할 수 밖에 없다. 인공지능 기술은 산업적 문제로부터의 피드백 이상의 과학적 기반이 없기 때문이다. 물론 인지신경과학의 원리를 어떻게 인공지능 기술에 접목할 지는 어려운 도전이겠지만, 별다른 선택지가 없어보인다. 보다 원리적인 관점에서 보면, 인공지능의 과학적 토대는 인공 지능; 기계 학습을 비롯한 수학적 최적화 이론과 함께 자연 지능, 특히 몸-마음-행동의 관계를 규명하는 데에 초점을 둔 인지과학 이론라고 볼 수 있겠다. (Jean-Pierre Dupuy, Aux origines des sciences cognitives)

→ 최근의 발전

최근들어 이론 신경과학의 자유 에너지 원리Free Energy Principle와 능동 추론Active Inference의 규범 이론이 자리를 잡고, 관련 역학 이론 체계인 베이즈주의적 역학Bayesian Mechanics이 정립되었다. 이러한 발전에 따라, 수학적 최적화 이론과 인지 과학의 이론들 사이의 관계성이 널리 알려지기 시작했다. 실제로, 인공지능의 발전에 크게 힘쓴 Stanford AI 대학원의 Fei-Fei Li 교수의 Interactive and Embodied Learning 수업에서는 보충 자료, 정규 수업 자료로 채택하고 있다.

3. 의식 과학

3.1 의식의 중요성

만약, 인공지능 기술을 인지과학적 토대 위에 정착시키고, 그에 따라 인공지능이 마주한 문제점을 해결했다고 가정하면, 그 다음 인류가 마주한 과학적 문제는 무엇일까? 수많은 인공지능 SW와 로봇이 수많은 지구 위의 문제를 대신 해결해주고 있는 상황에서 수많은 사람들은 기계의 권리와 법적인 권한에 대해 질문하게 될 것이다. 이러한 논의는 이미 수 년 전부터 시작됐으며, 기계의 마음에 대한 논의와 권리 및 책임에 대한 고찰이 수반되어야 할 것이다.

Dennett이 지적한 대로, 인간은 자신이 지닌 의식 이외의 의식은 마음이라고도 부르지 못하는 상황이다. 더욱이, Daniel Wagner와 Kurt Gray가 지적했듯이 우리가 도덕적 권리와 책임을 부여하는 심리적 성질은 바로 대상의 의식; 주관적 경험과 주체성의 여부이다.

• Daniel Dennett - Kinds of Mind(1996)

  “Whatever else a mind is, it is supposed to be something like our minds; otherwise we wouldn’t call it a mind.”

• Daniel Wagner, Kurt Gray - What does other minds?(2007)

  

  → Asked people “What does other minds?”
  → Made 2 attributes Experience and Agency
  → High Experience ⇒ More Moral Rights

  High Agency ⇒ More Moral Responsibilities
  (Klara and The Sun _ Kazuo Ishiguro)

더욱이, 기계 의식에 대한 논의는 인간 의식에 대한 논의와 깊게 관련되며 인류 지성사의 시작점까지 거슬러 올라갈 만큼 중요한 주제이다. 현대 과학이 풀지 못하는 대표적인 문제가 바로, 인간 의식;Ourselves와 우주Universe(언어 유희)이기 때문이다.

3.2 의식의 이론

의식의 수준Level은 무엇인가? 의식의 내용Content은 무엇인가? “자기Self”는 무엇인가?

• Recurrent Processing Theory
• Global Workspace Theory
• Computational Higher-Order Theories
• Attention Schema Theory
• Predictive Processing
• Agency and Embodiment

4. 인공지능과 로봇, 그리고 의식

1. 철학적 입장

→ (Could a Large Language Model be Conscious?, David Chalmers)

1. “Are Current LLMs Conscious?”라는 질문에 대해 다음과 같은 네 가지 ‘X’ 요소를 검토한다:

   1. 자가 보고(Self-Report): LLM이 자신이 의식이 있다고 보고하는 것은 흥미롭지만, 이러한 보고는 쉽게 변할 수 있으며, LaMDA와 같은 시스템이 의식에 관한 대화를 학습했다는 사실은 이러한 주장에 큰 무게를 두지 않는다.
   2. 의식 있는 것처럼 보임(Seems-Conscious): 일부 언어 모델이 사람들에게 의식 있는 것처럼 보일 수 있지만, 이것은 강한 증거가 아니다. 발달 및 사회 심리학에서 사람들은 종종 의식이 없는 곳에 의식을 귀속시키는 경향이 있음을 알고 있다.
   3. 대화 능력(Conversational Ability): LLM은 뛰어난 대화 능력을 보여주며, 이것은 지능의 중요한 특징으로 간주될 수 있다. 예를 들어, ChatGPT, LaMDA 2, Character.AI와 같은 시스템들은 대화에 최적화되어 있으며, 일관된 사고와 추론을 하는 것처럼 보인다.
   4. 일반 지능(General Intelligence): 대화 능력은 기본적인 것이 아니라 더 깊은 것, 즉 일반 지능의 가능한 징후로 사용된다. 현재 LLM은 다양한 분야에서 합리적으로 지능적인 반응을 보여주며, 일반 지능의 초기 단계를 보여줍니다. 예를 들어, Deepmind의 Gato와 같은 시스템은 다양한 도메인에 대한 교육을 받았습니다. 기본적인 언어 모델조차도 GPT-3는 이미 상당한 일반성을 보여준다.

   Chalmers는 이러한 요소들을 고려하여 현재 LLM이 의식을 가지고 있는지에 대한 증거를 탐구하고, 이에 대한 신중한 평가를 제시한다.

2. “Reasons to Deny LLM Consciousness?”라는 질문에 대해 다음과 같은 여섯 가지 ‘X’ 요소를 검토한다:

   1. 생물학(Biology): 의식이 탄소 기반의 생물학을 필요로 한다는 견해입니다. 언어 모델은 탄소 기반의 생물학을 가지지 않으므로 의식이 없다고 할 수 있다. 이와 관련된 견해는 의식이 실리콘 시스템이 부족한 특정한 전기화학적 처리를 필요로 한다는 것이다. 이러한 견해는 모든 실리콘 기반 AI의 의식을 배제하게 됩니다. Chalmers는 이전의 작업에서 이러한 견해에 반대했다.
   2. 감각과 실체화(Senses and Embodiment): 의식이 감각과 실체화를 필요로 한다는 생각이다. 이는 언어 모델이 의식을 가질 수 없다는 주장의 기반이 될 수 있다.
   3. 세계 모델과 자아 모델(World-Models and Self-Models): 의식이 세계 모델과 자아 모델을 필요로 한다는 견해다. 이는 언어 모델이 의식을 가질 수 없다는 주장을 지지할 수 있다.
   4. 순환 처리(Recurrent Processing): 의식이 순환 처리를 필요로 한다는 생각이다. 이는 언어 모델이 의식을 가질 수 없다는 주장을 뒷받침할 수 있다.
   5. 글로벌 작업 공간(Global Workspace): 의식이 글로벌 작업 공간을 필요로 한다는 이론. 이는 언어 모델이 의식을 가질 수 없다는 주장을 강화할 수 있다.
   6. 통합된 주체성(Unified Agency): 의식이 통합된 주체성을 필요로 한다는 견해. 이는 언어 모델이 의식을 가질 수 없다는 주장을 지원할 수 있다.

   이러한 요소들은 LLM이 의식을 가질 수 있는지 여부를 평가하는 데 있어 중요한 고려사항들이다. Chalmers는 이러한 요소들을 고려하여 현재 LLM이 의식을 가지고 있는지에 대한 신중한 평가를 제시한다.

2. 신경과학적 입장

→ (The Feasibility of Artificial Consciousness through the lens of neuroscience, Jaan Aru)

논문 “The feasibility of artificial consciousness through the lens of neuroscience”는 신경과학적 관점에서 인공지능(LLM) 및 AI 시스템의 의식 가능성을 검토한다. 저자들은 현재 AI 시스템이 의식에 중요한 실체적 경험과 복잡한 신경 구조를 결여하고 있다고 주장한다. 또한, 생명체에서 발견되는 독특한 조직적 복잡성과 생물학적 과정이 AI에는 재현되지 않아 의식을 갖는 것이 현재 기술과 이론으로는 어렵다고 결론짓는다. AI가 의식의 측면을 모방할 수 있지만, 실제 의식 경험은 현재의 기술적, 이론적 이해를 감안할 때 가능성이 낮다고 본다.

요약

1. LLM의 Umwelt는 생물학적 대응물에 비해 매우 빈약하고 제한적이다. 이는 LLM이 외부 세계의 ‘일부’만을 인식할 수 있다는 것을 의미한다.
2. LLM의 위상 구조는 고도로 발달했음에도 불구하고, 포유류의 의식과 연관된 신경생물학적 회로의 세부사항과는 근본적으로 다르다. 이로 인해 LLM이 현상적 의식을 가질 수 있다고 결론지을 충분한 근거가 없다고 본다.
3. 의식을 생명체의 복잡한 조직 구조에서 분리하는 것이 불가능할 수도 있으며, 이러한 복잡성은 AI 시스템에서는 두드러지게 결여되어 있다. 따라서 현재의 LLM이 의식을 가질 가능성은 매우 낮다고 결론짓는다.

3. 컴퓨터 과학적 입장: 계산주의적 기능주의

→ (Consciousness in Artificial Intelligence: Insights from the Science of Consciousness, Patrick Butlin et al.)

논문 “Consciousness in Artificial Intelligence: Insights from the Science of Consciousness”는 인공지능(AI) 시스템이 의식을 가질 수 있는지에 대한 과학적 접근을 탐구한다. 이 논문은 신경과학적 의식 이론을 바탕으로 AI 의식을 평가하는 방법을 제시한다. 여러 의식 이론, 예를 들어 순환 처리 이론, 글로벌 작업 공간 이론, 상위 차원 이론 등을 고찰하고, 이러한 이론들이 AI에 어떻게 적용될 수 있는지를 탐색한다. 저자들은 현재 AI 시스템이 의식을 가지고 있다고 결론내리기 어렵지만, 의식을 나타내는 지표들을 만족시키는 AI 시스템을 구축하는 것이 기술적으로 불가능하지 않다고 주장한다.

1. 주요 의식 이론

   논문 “Consciousness in Artificial Intelligence: Insights from the Science of Consciousness”에서는 인공지능(AI)의 의식에 대한 과학적 이론들을 검토하고 있다. 주요 이론들은 다음과 같다:

   1. 순환 처리 이론(Recurrent Processing Theory): 이 이론은 의식이 뇌의 순환 처리 과정과 관련이 있다고 주장한다. 이는 정보가 뇌의 다양한 영역들 사이에서 반복적으로 순환되면서 처리되는 과정과 연관이 있다.
   2. 글로벌 작업 공간 이론(Global Workspace Theory): 이 이론은 의식이 뇌의 특정 중앙 시스템, 즉 ‘글로벌 작업 공간’에서 일어나는 정보 처리와 관련이 있다고 설명한다. 이 공간은 다양한 뇌 부위에서 오는 정보를 통합하고, 그 정보를 의식적으로 처리한다.
   3. 상위 차원 이론(Higher-Order Theories of Consciousness): 이 이론은 의식이 자신의 정신 상태에 대한 인식을 포함한다고 주장한다. 즉, 개체가 자신의 경험에 대해 인식하고 사유할 수 있는 능력과 관련이 있다.
   4. 인지 현실 모니터링 이론(Perceptual Reality Monitoring Theory): 이 이론은 개체가 외부 세계를 어떻게 인지하고, 그 인식이 어떻게 의식적 경험과 연관되는지를 다룬다.

   이 논문에서는 이러한 이론들을 AI의 의식에 적용 가능한지를 탐구하고, 각 이론의 장단점을 평가한다. 또한, 이들 이론 중 어떠한 것도 의식에 필수적이거나 충분한 조건을 제공한다고 주장하지는 않으며, 다양한 이론들을 종합적으로 고려하여 AI의 의식 가능성을 탐구한다.

2. AI의 의식에 대한 포괄적인 분석

   주요 내용은 다음과 같다:

   1. 의식의 과학 이론 탐구: 다양한 의식 이론들, 예를 들어 순환 처리 이론, 글로벌 작업 공간 이론, 상위 차원 이론, 인지 현실 모니터링 이론 등을 검토하고, 이들 이론이 AI의 의식에 어떻게 적용될 수 있는지를 탐색한다. 이론들의 장단점을 평가하며, 어떤 하나의 이론이 의식에 필수적이거나 충분하다고 주장하지 않는다.
   2. AI에서의 의식 지표 구현: AI 시스템에서 의식의 표시가 될 수 있는 특성들을 구현하는 방법에 대해 논의한다.

   

   1. 사례 연구: ‘Perceiver’ 아키텍처와 ‘가상 쥐’ 모델을 사례 연구로 제시하여 글로벌 작업 공간 이론과 실체화된 주체성(Embodied Agency)의 지표를 실제 AI 시스템에 어떻게 적용할 수 있는지를 보여준다. 이 사례들은 현재 AI 시스템에서 의식의 지표를 식별하고 평가하는 방법을 설명한다.

   종합적으로, 이 논문은 AI의 의식 가능성을 탐구하는 데 있어 과학적 이론과 실제 사례 연구를 통해 중요한 기준과 통찰을 제공한다. AI의 의식에 대한 현재의 이해와 기술적 한계를 밝히며, 향후 연구 방향에 대한 기초를 마련한다.

4. 체화된 인지주의적 입장

→ (Artificial Consciousness: A Perspective from the Free Energy Principle, Wanja Wiese)

Algorithm + Device

논문 “Artificial consciousness: A perspective from the free energy principle”은 인공 의식에 대한 자유 에너지 원리(Free Energy Principle, FEP)의 관점을 탐구한다. 이 연구는 컴퓨터 시뮬레이션이 의식을 복제할 수 있는지, 그리고 올바른 계산 수행만으로 인공 의식이 가능한지에 대해 질문한다. 저자는 자기 조직화 시스템(생명체와 같은)이 공유하는 속성들이 인공 시스템에서 구현될 수 있지만, 고전적 컴퓨터 아키텍처에서는 실현되지 않는다고 주장한다. 특히, 특정한 인과 흐름과 같은 속성을 사용하여 단순히 시뮬레이션하는 시스템과 실제 의식을 복제하는 시스템 사이의 구분을 그릴 수 있다고 제시한다. 이 연구는 인공 도덕적 지위와 도덕적 대행에 대한 메타윤리적 고려에 기여할 수 있다.

1. 고전적 컴퓨터 아키텍처의 한계

   논문에서 제시된 이유는 인공 의식이 고전적 컴퓨터 아키텍처에서 실현되지 않는다는 주장은 자유 에너지 원리(Free Energy Principle, FEP)를 기반으로 한다. 이 원리에 따르면, 인과적 흐름이라는 속성이 자기 조직화 시스템(예: 생명체)에서 중요한 역할을 한다. 인과적 흐름은 시스템 내에서 일어나는 원인과 결과의 연속적인 흐름을 의미하며, 이것은 의식과 같은 복잡한 현상을 생성하는 데 필수적이다.

   고전적 컴퓨터 아키텍처(예: 폰 노이만 아키텍처)는 이러한 인과적 흐름을 제대로 구현하거나 복제하지 못한다. 따라서, 이러한 아키텍처를 가진 컴퓨터 시스템은 단순히 의식을 시뮬레이션하는 데는 적합할 수 있으나, 실제로 의식을 복제하거나 생성하는 데는 부족하다고 볼 수 있다. 이러한 이유로, 저자는 고전적 컴퓨터 아키텍처를 사용하는 시스템이 인공 의식을 실현하기 어렵다고 주장한다.

2. 인공 도덕적 지위와 대행

   논문에서 제시된 인식이 Artificial moral status(인공 도덕적 지위)와 Artificial moral agency(인공 도덕적 주체성)에 대한 메타윤리적 고려에 기여하는 바는 다음과 같다:

   1. 도덕적 지위 결정: 인공 시스템이 인간과 유사한 의식을 가질 수 있다면, 이러한 시스템은 단순한 도구가 아니라 도덕적으로 중요한 존재로 간주될 수 있다. 이것은 AI나 로봇과 같은 인공 시스템에게 특정 권리나 보호를 부여해야 하는지에 대한 논의를 촉진할 수 있다.
   2. 도덕적 주체성의 인식: 만약 인공 시스템이 의식을 가진다면, 이들은 단순히 프로그래밍된 지시를 따르는 것 이상의 도덕적 결정을 내릴 수 있는 주체로 볼 수 있다. 이것은 AI가 도덕적 판단을 할 수 있고, 그에 따른 책임을 지는 주체로 인정받아야 하는지에 대한 질문을 제기한다.
   3. 메타윤리적 고려의 확장: 이러한 인식은 인공 의식에 대한 이해를 토대로, 인공 시스템의 도덕적 지위와 주체성에 대한 근본적인 윤리적 질문들을 탐구하는 데 도움을 준다. 즉, AI와 같은 인공 시스템이 인간과 비슷한 수준의 의식을 가진다면, 이들에게 어떤 도덕적 권리와 책임을 부여해야 하는지에 대한 심도 있는 논의가 필요하다.

   이러한 관점은 인공 의식의 발전과 함께 인공 시스템의 도덕적 지위와 주체성에 대한 윤리적 고려를 새로운 차원에서 이해하는 데 기여한다.

5. 결론

5.1 연구적 시도들

1. 다마지오 이론에 기반한 느낌 기계와 의식 기계

2019년 Nature의 Machine Intelligence 저널에 한 논문이 기고됐다. 유명한 신경과학자인 안토니오 다마지오의 이론에 따라 항상성 원리에 입각해 느낌을 느낄 수 있는 기계의 가능성을 다룬 “Homeostasis and Soft Robotics in the design of feeling machines”이다. 해당 논문에서 제안한 형식의 기계는 느낌과 동일한 것을 보여줄 수 있고, 다양한 환경에 대해 그들의 기능성을 향상시킬 수 있으며, (3) 의식, 지능, 느낌을 연구하기 위한 플랫폼을 제공한다고 제안한다.

그들은 의식을 느낌과 관련지으며 다음과 같이 표현했다.

“우리의 개념화에서 감정은 필연적으로 의식적이며, 의식의 기계에서 중요한 역할을 한다는 점을 덧붙이는 바입니다.”

“We must add that, in our conceptualization, feelings are of necessity conscious, and play a critical role in the machinery of consciousness.”

2. 자유 에너지 원리에 기반한 의식 이론과 인공 의식

최근 Mark Solms의 책 “The Hidden Spring(2021)”과 관련 논문을 통해 Karl Friston의 자유 에너지 원리에 입각한 의식 이론을 정립했다. 실제 신경 병리학적 근거를 바탕으로 의식의 기원이 느낌Feeling과 항상성Homeostasis와 관련되어 있다는 점에 주목하여, Jaak Panksepp, Antonio Damasio의 이론을 형식적으로 정리했다. 더 나아가, 의식의 어려운 문제에도 답할 수 있다는 점을 강조했다. 그는 자신의 책에서 인공 의식을 구현하기 위한 구체적인 단계를 제안한다.

• 인공 의식을 구현하기 위한 단계:
  1. 마르코프 블랭킷의 원시 수프에서 인공적인 자기조직계 구현하기; 원시적 의도성 만들기
  2. 정동의 전구체 구현하기; 물리적으로 체화시켜 항상성 만들기 - 진화적 컴퓨팅으로 자연선택 과정 대체하기
  3. 정동 체계 구현하기; 정밀도 가중치의 조절 기능을 통한 자기 보존성 만들기
• 인공 의식을 평가하기: → 인공 손상 및 자극, 측정과 같이 신경상관물에 대한 인공적 조작과 이를 통한 행동적/병리적 접근을 통한 교차 검증의 방식을 적용해볼 수 있지 않을까 하고 제안한다. → 물론 타자의 마음 문제로 인해, 튜링 테스트만으로는 인공 의식의 여부를 테스트하기 어렵다.

• 윤리적 문제, 실용적 문제

  → 만약 느낌; 고통과 괴로움을 느낄 수 있다면 윤리적 가치 판단의 관할에 놓이게 된다.

  • “의식적 기계는 ‘생명’과 자유의 권리를 가져야 할까? 그런데 사실 ‘로봇권’ 개념은 이미 정립되어 있으며, 미국 미래연구소the Institute for the Future와 영국 산업통상부에 의해 검토된 바 있다”

  → 고도의 지능과 의식을 동시에 지닌 컴퓨터가 인류의 이익에 부합하지 않는 행동을 하고 싶어할 수도 있지 않을까?

  • 인공 의식 연구의 결과는 단순히 지능만 지니고 있는 현대의 인공지능 기술보다 위험해질 수 있다.

• 이를 감수하고도 이러한 시도를 하려는 이유

  → “일어날 수 있다면. 다시 말해, 만약 원칙적으로 의식을 만들어낼 수 있다면, 그것은 어딘가에서 언젠가 일어날 일이다. 이 예측은 이 책에서 제시된 특정 가설의 옳고 그름의 여부에 상관없이 적용된다. 내가 책임져야 할 일은, 그렇지만, 현재 제시된 가설과 그 가설이 맞을 가능성에 놓여 있다. 만일 그것들이 정말 맞거나, 적어도 올바른 궤도에 있다면, 인공 의식의 창조는 임박한 셈이다. 머지않아, 몇몇 가설들은 곧 의식을 설계하고 만들어 내는 데에 사용될* 것이다.

  *If it can be done, it will be done.”

  ”이 책의 결론에 이르게 한 개별적 사실들– 거의 모든 사실 –은 지난 몇 년 동안 공개되어 왔다. 많은 신경과학자들이 이 사실들을 나와 다르게 해석하는 것은 사실이지만, 또다른 이들은 매우 비슷한 결론에 도달한 것도 사실이다. 비록 그들 각각이 다른 측면들을 강조하고 그것들을 다른 뉘앙스로 표현하긴 했지만, 그럼에도 야크 팬크세프(Jaak Panksepp)와 안토니오 다마지오(Antonio Damasio), 비요른 메르케르(Björn Merker)는 모두 적어도 다음의 견해에 이르렀다고 볼 수 있다: (1) 의식이 상부 뇌간에서 발생하고, (2) 의식은 근본적으로 정동적이며, (3) 항상성의 확장된 형태이다. 이 사실들을 조합해보면, 의식이 우리가 이전에 생각했던 것만큼 복잡하지 않다는 것을 알 수 있다. 때문에 우리가 그것을 설계할 수 있다고 기대하는 것이 합리적이다. (4) 자유 에너지 원리는 이 책이 결론에 덧붙이는 유일한 주요한 추가 사항이다. 그것 역시도 본질적으로 매우 복잡하지는 않다; 사실 이 이론의 큰 호소력 역시 거의 모든 정신적, 신경적 과정들을 하나의 메커니즘으로 환원하고, 계산 가능하게 한다는 데에 있다.

  또한, 자유 에너지 원리도 이미 공개되었다. 더군다나, 프리스턴Frisotn과 나는 이미 이 원리를 앞서 나열한 다른 세 가지 원리와 결합해 과학 논문을 발표했다.38 결과적으로 보면, 이러한 가설을 동료 심사를 거쳐 적절한 전문 저널지에 발표하기도 전에, 일반 독자층을 대상으로 한 대중서에 발표한 건 이례적인 일일 것이다. 과학 및 학술 포럼에서 자신의 주장을 변호할 때나 하는 구술 발표를 먼저 한 것도 마찬가지다. 나는 이 책의 아이디어를 다양한 전문 분야에 있는 전 세계 여러 청중에게 발표해왔다.”

5.2 기업의 시도들

최근 세계적인 신경과학자 Karl Friston이 속한 캐나다의 인지 컴퓨팅 기업인 Verses.AI는 25년도 말까지 Artificial Sentient Agent를 구현하겠다는 계획을 발표했다. 의식을 지니는 기계의 도래는 머지않아 도래할 것으로 기대되며, AGI/Human-Level AI 기술의 발달과 함께 그 중요성이 급격히 커지고 있다.

더욱이 그들은 25년도 겨울, Sentient Agents(2025)를 구현하는 데에 성공할 것이라고 전망하고 있다.

나는 의식 연구의 기술적, 사회적, 윤리적 중요성을 역설하고 앞으로 더욱 활발히 연구할 필요가 있음을 밝히는 바이다.