본문 (ChatGPT and Claude Generated)
인공지능은 반드시 "지능"의 하위범주여야 하는가?
본문
개인적으로 나는 Kingma라는 과학자를 아주 좋아한다. Adam optimizer (citation 240k 이상)의 저자이자, VAE (citation 54k 이상)의 저자이자, flow-based model, diffusion model 등을 OpenAI, Google에서 활발하게 연구함으로써 현대 딥러닝 기반 인공지능의 발전을 대단히 앞당긴 인물. 그가 가진 수학적 직관과 컴퓨터 과학자로서의 넓은 철학적 이해는 내가 추구하는 방향과 같으면서도 대단히 앞서가 있다고 느껴진다.
첨부 사진은 Kingma의 PhD 논문 두 번째 문단인데, 여기서 그는 이렇게 말한다:
인공지능은 지능을 구현하는 기술이 아니라, 지능을 이해하기 위한 도구다.
이 문장을 굉장히 좋아한다. 우리가 인공지능을 만드는 과정은 곧 '지능'이라는 속성에 대해 더 깊게 알아갈 수 있게 해주는 탐구 행위라는 것이다. 그리고 이 생각의 뿌리를 따라가다 보면, 자연스럽게 한 권의 책에 닿게 된다.
괴델, 에셔, 바흐: 우리가 지능에 대해 아는 것의 한계
더글러스 호프스태터의 『괴델, 에셔, 바흐: 영원한 황금 노끈(GEB)』을 읽으면 깨닫게 되는 것이 있다. 우리는 비록 티끌만한 지능인 우리 자신에 대해서도 많이 알고 있지 못하다는 것. 상당 부분을 '믿음'의 영역에서 다루고 있다는 것.
호프스태터는 논리학자 괴델, 화가 에셔, 작곡가 바흐의 작업을 관통하는 하나의 패턴을 찾아낸다. 이상한 고리(Strange Loop) — 하위 계층에서 상위 계층으로 올라가다가 어느 순간 다시 원래 위치로 돌아오는 자기 참조적 구조. 괴델은 "이 문장은 증명될 수 없다"는 명제로 수학의 자기 참조적 한계를 증명했고, 에셔의 〈폭포〉에서 물은 아래로만 흐르는데 결국 꼭대기로 돌아오며, 바흐의 무한히 상승하는 카논은 전조를 거듭하면서도 결국 원래의 조로 회귀한다.
이 패턴에서 호프스태터가 끌어내는 주장은 강력하다: 지능은 단순한 규칙에서 emergent하게 나타난다. 개미 한 마리는 미미한 존재지만, 수만 마리가 모인 개미 언덕은 침입자에 대응하고 식량을 비축하는 '집단적 지능'을 보여준다. 뉴런 하나에 자아는 없지만, 수십억 개가 복잡하게 얽혀 자기 참조적 루프를 형성하면 '나'라는 의식이 창발한다. 의미는 무의미한 기호 조작의 층위가 쌓이고 꼬이면서 튀어나오는 것이다.
그런 의미에서 인공지능을 연구하고 만드는 과정은, Kingma가 말했듯이, 우리 자신을 이해하고 필요하다면 '지능'을 증대시킬 수 있는 연구이기도 한 것이다.
LLM을 싫어하는 사람들
그런데 근래에 LLM을 싫어하는 컴퓨터 과학의 석학들을 보면... 대단히 갇힌 생각을 가지고 있다는 생각을 지울 수 없다.
리처드 서튼(Richard Sutton). 강화학습의 아버지이자 2024년 튜링상 수상자. 그의 입장은 명확하다:
•
LLM은 세상을 이해하지 않는다
•
단지 인간의 언어를 모방한다
•
진짜 지능은 목표 + 경험 + 자기 수정에서 나온다
Dwarkesh Patel과의 인터뷰에서 서튼은 더 강하게 말한다. "강화학습은 세상을 이해하는 것이고, LLM은 사람을 모방하는 것이다. LLM은 스스로 무엇을 할지 알아내는 게 아니다." 목표가 없는 시스템은 지능이 아니라는 것이다. next-token prediction은 외부 세계를 바꾸지 않으니 진정한 목표가 아니라고.
얀 르쿤(Yann LeCun)도 마찬가지다. 튜링상 수상자이자 딥러닝의 대부(godfather) 중 한 명인 그는 LLM을 "인간 수준 AI로 가는 길의 dead end"라고 부르며, 2025년 말 Meta를 떠나 세계 모델(world model) 기반의 AMI라는 회사를 설립했다. "유리잔을 테이블에서 밀면 깨진다는 것을 LLM은 이해하지 못한다. 단지 '유리잔'과 '깨지다'가 같은 맥락에서 자주 등장한다는 것만 안다."
이런 비판에 일리가 없는 것은 아니다. 하지만...
The Bitter Lesson: 그런데 서튼 본인이 쓴 글이 있다
여기서 아이러니한 것은, 서튼 자신이 2019년에 쓴 유명한 에세이 "The Bitter Lesson"이다. 이 글의 핵심 메시지는 이렇다:
"70년 AI 연구의 가장 큰 교훈은, 계산을 활용하는 일반적인 방법이 결국 이긴다는 것이다."
인간이 도메인 지식과 규칙을 정교하게 설계하는 접근은 단기적으로 인상적이지만, 장기적으로는 확장성이 없다. 이 패턴은 반복되어 왔다:
•
체스: 휴리스틱 → brute-force search에 패배
•
바둑: 인간 전략 → self-play learning에 패배
•
음성/비전: hand-crafted feature → deep learning에 패배
즉, "지능은 설계하는 것이 아니라 학습을 통해 emergence된다." 그런데 이게 바로 LLM이 하고 있는 것 아닌가? massive compute와 large-scale learning. Bitter Lesson의 핵심 원칙을 가장 극적으로 실현한 시스템이 바로 LLM이다.
물론 서튼의 기준에서 LLM은 완전한 정답은 아니다. 인간 데이터를 사용한 imitation 기반이니까. 하지만 동시에 scaling paradigm 위에 올라탄 첫 대규모 시스템이기도 하다. 완전한 general learning system은 아니지만, 최종 형태가 아니라고 해서 의미가 없는 것은 아니다.
GEB가 다시 중요해지는 지점
여기서 GEB의 통찰이 다시 돌아온다. token prediction이라는 단순한 규칙에서 의미가 생성되고, 확률 모델에서 사고처럼 보이는 구조가 나타난다. 이건 개미 한 마리의 단순한 행동에서 집단 지능이 창발하는 것과 묘하게 닮아 있다. 호프스태터가 말한 것 — 기호의 무의미한 조작(하위 계층)에서 의미와 자아(상위 계층)가 창발하는 과정 — 이것이 지금 우리 눈앞에서 벌어지고 있는 것일 수 있다.
GEB는 기계가 단순히 데이터를 처리하는 수준을 넘어, 자신의 논리 체계를 스스로 관찰하고 수정하는 '상위 수준의 루프'를 가질 수 있을 때 진정한 지능에 가까워진다고 시사한다. 현재의 LLM이 괴델적 의미에서 완전한 이상한 고리를 형성하고 있는지는 여전히 열린 질문이다. 하지만 적어도 우리는 이미 그 방향으로 첫 발을 디딘 것처럼 보인다.
Alien Intelligence
현재 우리의 방법론은 우리가 만든 데이터를 통해 모방을 통한 지능을 만드는 것이다. 하지만 아쉽게도 우리를 포함한 동물들은 지능의 전부가 아니다. 우리를 모방한다고 해서 동일한 지능이 나오는 것도 아니고... 거기에서 튀어나온 다른 종류의 지능은, 굳이 말하자면 alien intelligence에 가깝다고 생각된다.
Bitter Lesson도 사실은 같은 말을 하고 있다. 인간적인 방법 — 인간이 설계한 규칙, 인간이 부여한 구조 — 은 결국 실패한다. 그렇다면 AI가 인간을 모방하는 것이 아니라, 인간과 전혀 다른 방향으로 발전할 가능성이 높다. 그리고 그것은 나쁜 것이 아니다. 오히려 Kingma가 말한 것처럼, 그 다름 자체가 우리에게 '지능'이라는 속성에 대한 새로운 이해를 가져다주는 도구가 되는 것이다.
찬물을 끼얹는 사람들에게
간신히 산업적으로 동작하기 시작한 LLM이라는 '지능'에 찬물을 끼얹는 석학들의 심정을 이해하지 못하는 것은 아니다. 예전에 두 번의 AI winter를 겪었던 분들이니까. 과도한 관심이 기술의 암흑기를 가져오는 것을 경계하는 것은 합리적이다.
하지만 그럼에도 불구하고. 인공지능을 통한 지능에 대한 더 깊은 이해가 필요하기 때문에... 이 시도는 끊임없이 이루어질 것이다. 특정 방법론(LM이든 RL이든 world model이든)을 부정하는 것이 아니라, 다양한 접근을 통해 지능을 탐색하는 것. 왜냐하면 우리는 아직 지능의 정의조차 확정하지 못했기 때문이다.
서튼은 "무엇이 지능인가?"를 물었고, Kingma는 "지능을 어떻게 탐구할 것인가?"를 물었다. 이 두 질문은 충돌하는 것이 아니라, 서로 다른 축이다. 그리고 GEB는 우리에게 알려준다 — 지능은 단순한 규칙의 집합이 아니라, 수많은 층위가 서로를 참조하며 만들어내는 창발적 현상이라는 것을.
결론
처음 질문으로 돌아가 보자.
인공지능은 '지능'의 하위 개념인가?
아니라고 생각한다. 인공지능은 지능의 일부가 아니라, 지능을 탐구하는 과정에서 생성된 서로 다른 방향의 실험적 지능들이다. 논리(괴델), 예술(에셔), 음악(바흐)이 하나의 노끈으로 엮이듯, 지능이라는 수수께끼도 어느 한 분야, 어느 한 방법론만의 것이 아니다.
결국 이 질문으로 귀결된다:
우리는 "인간 같은 지능"을 만들고 싶은가, 아니면 "지능 자체"를 이해하고 싶은가?
이 둘은 완전히 다른 연구 방향이다. 그리고 나는 후자가 더 가치 있다고 생각한다. “인간 같은 지능” 만들기는 넘고나면 끝이지만… 후자는 더 다양한 방향과 층위를 가지고 즐길 수 있을테니까 :)
Reference
[1] Kingma, D. P. – PhD Thesis, Variational Inference and Deep Learning: A New Synthesis
https://pure.uva.nl/ws/files/17891313/Thesis.pdf
[2] Kingma & Welling (2013), Auto-Encoding Variational Bayes
https://arxiv.org/abs/1312.6114
[3] Kingma & Ba (2014), Adam: A Method for Stochastic Optimization
https://arxiv.org/abs/1412.6980
[4] Richard Sutton (2019), The Bitter Lesson
http://www.incompleteideas.net/IncIdeas/BitterLesson.html
[5] Richard Sutton Interview – Father of RL thinks LLMs are a dead end (Dwarkesh Podcast, 2025)
https://www.dwarkesh.com/p/richard-sutton
[6] 더글러스 호프스태터, 『괴델, 에셔, 바흐: 영원한 황금 노끈』
https://ridibooks.com/books/1669000034
[7] GEB Lecture Series
https://youtube.com/playlist?list=PLdcw5wvaQEomvQjXjBo3L7cEqZ8xNECyA
[8] Yann LeCun – AMI (Advanced Machine Intelligence) 설립, Meta 퇴사 (2025)
https://letsdatascience.com/blog/yann-lecun-told-meta-he-could-do-it-faster-alone-then-he-raised-1-billion