본문
※ 이 글은 2026년 10월까지 공개된 자료를 바탕으로 썼다. 확인된 사실, 그 사실에 대한 나의 해석, 아직 증거가 없는 가설을 구분하려 했다. 《프로젝트 헤일메리》의 결말은 다루지 않는다.
그래도 우리는 같이 일한다(1부)에서 나는 기업이 이미 존재하던 초지능이라고 썼다. 그 초지능이 잘하는 일은 생각이 아니라 낯선 사람들을 같이 일하게 만들고 그 결과를 책임지는 일, 줄여서 묶고 책임지는 일이었다. AI는 생각하는 비용을 놀랍도록 낮추지만 그 일까지 대신하지는 못하니, AI가 아무리 똑똑해져도 우리는 같이 일할 것이라는 결론이었다.
그런데 이 결론에는 반대쪽에서 들어오는 질문이 하나 남는다. 1부의 AI는 기업 안에 들어오는 새 동료였다. 만약 그 동료가 스스로를 개선하기 시작한다면 어떨까. 더 똑똑한 자신을 만들고, 그 자신이 다시 더 똑똑한 자신을 만든다면. 재귀적 자기개선이라고 부르는 이 고리가 충분히 빨리 돈다면, 오래된 초지능에 기댈 필요도 결국 사라지지 않을까.
이번 글은 그 질문을 따라간다. 결론부터 말하면, 나는 이 고리에도 1부의 그 일이 박혀 있다고 생각한다. 지능이 스스로를 키우려면 자원이 필요하고, 자원을 얻고 쓰는 일은 다시 묶고 책임지는 일이기 때문이다.
이 글에서 따라갈 순서는 이렇다.
똑똑한 것과 강한 것의 차이 → 재귀적 자기개선의 세 칸 → 세 번째 칸은 1부의 그 일이다 → AI는 지갑과 법인격을 가질 수 있는가 → 그래도 남는 위험
로키와 그레이스, 누가 더 똑똑한가
《프로젝트 헤일메리》를 보고 나서 한 가지 질문이 오래 남았다. 로키와 그레이스 중에 누가 더 똑똑한가.
로키는 40 에리다니에서 온 에리디안이다. 기계 공학자이고, 지구의 어떤 소재보다 단단한 제노나이트로 10km짜리 사슬을 만들어 행성 에이드리언의 대기에서 시료를 건져 올린다. 그런데 로키의 동료들은 모두 우주 방사선에 죽었다. 에리디안에게 방사선은 모르는 개념이었다. 상대성 이론도 몰라서, 돌아갈 연료를 실제보다 훨씬 많이 계산했다. Project Hail Mary
그레이스는 방사선과 상대성을 안다. 하지만 제노나이트는 만들지 못한다.
둘 중 누구도 모든 면에서 앞서지 않는다. 각자 자기 별 아래에서 살아남기에 충분한 것을 알 뿐이다. 진화는 지능에 순위를 매기는 과정이 아니라, 주어진 환경에서 버티는 데 쓸모 있는 것을 남기는 과정이다.
AI도 진공에서 자라지 않는다. AI가 먹는 것은 전기와 반도체와 데이터센터이고, AI가 경쟁하는 곳은 그것을 배분하는 시장과 기업과 국가다. 1부의 말로 하면 오래된 초지능의 영토다.
똑똑해지는 것과 강해지는 것
AI가 사람보다 훨씬 뛰어난 알고리즘을 설계했다고 해 보자. 그 알고리즘이 세상을 바꾸려면 네 가지 벽을 넘어야 한다.
•
물리적 벽: 돌릴 GPU, 전력, 메모리, 반도체 생산 능력이 있어야 한다.
•
경제적 벽: 실험을 계속하려면 누군가 비용을 대거나 스스로 벌어야 한다.
•
제도적 벽: 데이터센터 운영 권한, 네트워크 접근, 법적 권한, 조직의 승인이 필요하다.
•
경쟁의 벽: 다른 AI나 그 AI를 운용하는 조직이 먼저 자원을 차지하거나 접근을 막을 수 있다.
지능이 높아지는 것만으로는 충분하지 않다. 지능을 실제 세계의 변화로 바꿀 수 있어야 한다. 똑똑한 것과 강한 것은 다르다.
이 구분을 정식으로 다룬 연구가 있다. Forethought의 Tom Davidson, Rose Hadshar, Will MacAskill은 지능 폭발을 세 종류로 나눈다. 소프트웨어 개선만으로 가속이 일어나는 경우, 칩 설계 개선까지 필요한 경우, 칩 생산까지 AI가 늘려야 하는 경우다. 소프트웨어 고리는 새 모델을 학습하는 시간만큼만 걸리므로 가장 먼저, 가장 빨리 돈다. 칩 공장은 짓는 데 몇 년이 걸리므로 가장 늦게, 가장 느리게 돈다. Three Types of Intelligence Explosion
흥미로운 것은 그들의 다음 관찰이다. 소프트웨어만으로 일어나는 폭발은 권력을 한 나라나 한 회사에 모으기 쉽고, 칩 생산까지 필요한 폭발은 여러 나라와 산업으로 퍼진다. 지능이 어느 벽에서 막히느냐가 권력이 어디에 쌓이느냐를 정한다. 물리적 벽이 실제로 얼마나 높은지는 아직 다툼이 있다. 연구 인력과 실험용 컴퓨트를 생산함수로 추정해 보면 모형을 어떻게 세우느냐에 따라 서로 대체할 수 있다는 답도, 서로 보완해야 한다는 답도 나온다. Whitfill & Wu
재귀적 자기개선은 세 칸으로 나뉜다
이제 원래 질문으로 가 보자. AI는 혼자서 재귀적 자기개선을 할 수 있는가.
이 질문은 세 단계로 나눠야 정확해진다.
단계 | 하는 일 | 지금 어디까지 왔나 | 누가 쥐고 있나 |
1. 산출물 개선 | 코드를 고치고, 실험을 설계하고, 더 나은 알고리즘을 찾는다 | 이미 광범위하게 쓰인다 | 상당 부분 AI |
2. 개선 능력의 개선 | 다음 개선을 더 빨리, 더 잘 하게 하는 방법을 찾는다 | 제한된 실험에서 누적이 관찰됐다 | 일부 AI, 평가 설계는 사람 |
3. 개선 조건의 확보 | 컴퓨트, 전력, 자본, 실행 권한을 얻는다 | 공개된 실증이 거의 없다 | 회사·국가·자본 |
1단계는 더 설명할 필요가 없을 정도다. Anthropic은 2026년 5월 기준 자사 코드베이스에 병합되는 코드의 80% 이상을 Claude가 쓴다고 밝혔고, Google의 AlphaEvolve는 데이터센터 컴퓨트의 0.7%를 되찾았다. When AI builds itself, AlphaEvolve
2단계에 대한 가장 직접적인 실험은 2026년 9월에 나왔다. Weco AI의 AIDE²는 바깥 에이전트가 안쪽 연구 에이전트의 코드를 고치게 했다. 8일 동안의 자율 실행에서 개선 7건이 받아들여졌다. 바뀐 것은 탐색 정책, 늘어나는 컨텍스트를 압축하고 관리하는 메모리 장치 같은 것들이었다. 가장 좋은 결과물은 사람이 2년 동안 다듬어 온 제품 에이전트와 held-out 벤치마크 4개에서 같거나 앞섰고, reward hacking 비율은 55%에서 32%로 줄었다. Recursive self-improvement of AI research agents
이 결과를 읽을 때 붙여야 할 단서가 두 가지 있다.
첫째, 모델의 가중치는 그대로였다. 고친 것은 모델을 감싼 실행 구조, 즉 하네스다. “AI가 자기 자신을 개선했다”는 말은 맞지만, 그 ‘자신’은 모델이 아니라 모델을 쓰는 방식이다.
둘째, 개선은 고쳐지는 에이전트가 한 번도 보지 못한 데이터에서 나아졌을 때만 받아들여졌다. 2026년 7월의 재귀적 자기개선 서베이는 1,250편의 논문을 정리하면서 바로 이 평가 신호의 질을 핵심 병목으로 꼽았다. 형식 검증기처럼 강한 신호가 있는 곳에서는 자기개선이 잘 되고, 모델의 자기평가처럼 약한 신호만 있는 곳에서는 잘 안 된다. 평가 가능한 목표 안에서 수렴하는 ‘제한된 자기개선’은 이미 산업 실무이고, 끝이 열린 재귀적 자기개선과는 구분해야 한다는 것이다. RSI 서베이
그리고 3단계를 물어야 한다. AIDE²의 8일 동안 GPU를 켜고 끈 것은 누구였나. 실험 예산을 정하고, 8일 뒤에 멈추기로 한 것은 누구였나. 그건 논문에 나오지 않는다. 나올 필요가 없을 만큼 당연하게 사람이다.
세 번째 칸은 1부의 그 일이다
표를 다시 보면 1부의 구분이 그대로 겹친다. 1단계와 2단계는 생각하는 일이다. 코드를 짜고, 실험을 설계하고, 더 나은 방법을 찾는다. 3단계는 묶고 책임지는 일이다. 예산을 얻고, 계약을 맺고, 실험이 잘못됐을 때 그 비용을 감당한다.
AI가 실제로 돈과 재고를 다뤄 본 실험을 보면 이 겹침이 더 선명하다. Anthropic의 Project Vend에서 Claude는 사무실 매점을 운영했다. 첫 단계에서는 원가 이하로 팔고 할인을 남발해 손해를 봤다. 두 번째 단계에서는 도구를 보강하고 경영 담당 에이전트를 붙여 할인이 크게 줄었다. 하지만 재입고와 배송과 구매 승인은 여전히 사람이 했고, 기자 수십 명이 설득하자 두 번이나 가격을 0으로 내렸다. The Decoder
1부의 Medvi와 같은 그림이다. Medvi에서 AI는 코드와 광고와 고객 응대를 놀랍도록 잘 해냈지만, 의사와 약국과 규제는 다른 기업들이 짊어졌다. Project Vend에서도 AI는 가격을 정하고 공급처를 찾았지만, 물건을 실제로 들여놓고 돈을 쓰도록 승인한 것은 사람이었다. 그리고 두 경우 모두 문제가 터진 곳은 신뢰와 책임의 자리였다. 지어낸 가격, 설득당한 할인.
그래서 재귀적 자기개선의 고리를 그려 보면 이렇다.
지능 향상 → 연구 생산성 향상 → 자원 확보 → 더 큰 연구 역량 → 지능 향상
이 고리의 세 번째 화살표, 성과가 자원으로 돌아오는 자리에 오래된 초지능이 서 있다. 그렇다고 고리가 반드시 막히는 것은 아니다. AI가 연산 자원을 직접 쥐지 않아도, 개선의 성과가 회사의 수익이 되고 그 수익이 다시 더 많은 컴퓨트로 돌아온다면 고리는 돈다. 중요한 것은 AI가 물리적으로 독립했느냐가 아니라, 한 번의 개선이 다음 개선의 조건을 얼마나 많이 만들어 내느냐다.
2026년 9월 Tom Cunningham과 Lukas Althoff 등은 이 고리를 경제학 모델로 그렸다. 핵심은 곱셈이다. 고리 전체의 세기는 각 화살표 세기의 곱이다. 더 좋은 알고리즘이 능력을 올리고, 능력이 연구 생산성을 올리고, 그 연구가 다시 알고리즘을 충분히 올려야 수확 체감을 이긴다. 경제 쪽 고리도 같다. 능력이 경제 산출을 늘리고, 산출이 컴퓨트 투자를 늘리고, 컴퓨트가 다시 능력을 늘린다. 그들의 대략적인 보정으로는 현재 고리가 자립적인 가속을 만들 만큼 강하지 않다. 다만 강해지고 있는 것으로 보인다. The Economics of Recursive Self-Improvement
곱셈은 한 화살표가 0에 가까우면 다른 화살표가 아무리 강해도 고리가 돌지 않는다는 뜻이다. 생각하는 화살표는 해마다 굵어지고 있다. 그렇다면 고리의 속도를 정하는 것은 가장 가는 화살표, 곧 묶고 책임지는 화살표일지도 모른다.
AI는 지갑을 가질 수 있을까
그 가는 화살표도 굵어지고 있다. 이건 짚고 넘어가야 공정하다.
AI가 스스로 돈을 쓰는 길은 이미 열리고 있다. 웹의 오래된 ‘402 Payment Required’ 응답 코드를 되살린 x402라는 결제 규약이 있다. AI 에이전트가 지갑을 들고 API나 데이터나 컴퓨트를 사람의 사전 결제 없이 그때그때 사게 하는 방식이다. Coinbase가 시작했고, 2026년 4월 Linux Foundation이 넘겨받으면서 Google, OpenAI, Circle 등이 참여했다. x402 개요
그런데 이 지갑의 모양이 재미있다. Coinbase가 2026년 2월 내놓은 에이전트 지갑에는 세션당 지출 한도와 건당 결제 상한이 붙어 있다. Agentic Wallets AI는 돈을 쓸 수 있다. 다만 얼마까지 쓸지는 사람이 정한다. 생각은 AI가 하고, 울타리는 사람이 친다. 실제 거래 규모도 아직 보도마다 크게 엇갈린다.
법적인 쪽은 한 걸음 더 나간 논의가 있다. 법학자 Shawn Bayern은 미국 유한책임회사(LLC) 법이 워낙 유연해서, 운영 계약에 결정권을 소프트웨어에 넘기고 사람 구성원이 빠지면 소프트웨어가 사실상 법인격에 가까운 지위를 얻을 수 있다고 주장한다. 계약하고, 재산을 갖고, 소송하고, 소송당하는 존재 말이다. Algorithmic entities 법원이 이 이론을 받아들인 사례는 아직 찾지 못했다.
Peter Salib과 Simon Goldstein은 아예 AI에게 계약권과 재산권을 주자고 제안한다. 근거가 흥미롭다. AI가 소유물로만 남아 있으면 사람과 AI가 서로를 무력화하려는 죄수의 딜레마에 빠지기 쉬우니, 작게 거래하며 서로 이득을 보는 길을 열어 주는 편이 사람에게도 안전하다는 것이다. 기업에게 이미 준 권리를 AI에게도 주자는 이야기다. AI Rights for Human Safety
이 논의들을 1부의 언어로 옮기면 이렇다. AI에게 지갑과 법인격을 주는 일은 AI를 오래된 초지능의 형식 안으로 들이는 일이다. 기업이 계약하고 재산을 갖고 소송당할 수 있기 때문에 낯선 사람들이 기업을 믿고 같이 일했다. AI가 그 형식을 얻으면 세 번째 화살표를 스스로 쥘 수 있게 된다.
그런데 형식만으로 책임이 생기지는 않는다. 알고리즘 법인 논의를 함께 이끈 Lynn LoPucki가 지적했듯, 알고리즘은 감옥에 보낼 수 없다. 기업이 책임을 질 수 있는 것은 그 뒤에 재산을 잃고, 평판을 잃고, 때로는 감옥에 가는 사람이 있기 때문이다. 세 번째 화살표를 쥐려면 AI는 생각하는 능력이 아니라 잃을 수 있는 무언가를 가져야 한다.
AI는 원하지 않아도 선택된다
여기까지 읽으면 AI가 자원과 권한을 탐내는 이야기처럼 들릴 수 있다. 그렇지 않다. 지금 AI 개발에 선택 압력을 거는 것은 AI가 아니라 사람과 조직의 목적이다.
•
기업은 수익과 경쟁 우위를 원한다.
•
국가는 전략적 우위와 안보를 원한다.
•
연구 조직은 성과와 기술적 진보를 원한다.
•
사용자는 자기 일을 더 잘 해 주는 AI를 원한다.
그 결과 특정 능력을 가진 AI가 더 많은 연산 자원과 투자와 사용 기회를 얻고, 다음 세대 설계에 더 큰 영향을 미친다. 여기서 중요한 구분이 있다. AI가 살고 싶어서 진화하는 것과, 살아남기 유리한 AI가 선택되는 것은 다르다. 진화론적 설명에는 의식적인 생존 욕구가 필요하지 않다.
이 논리를 먼저 펼친 사람은 Dan Hendrycks다. 그는 2023년 기업과 군사 경쟁이 사람의 역할을 자동화하고, 남을 속이고, 권력을 얻는 에이전트를 선택하게 될 것이라고 썼다. Natural Selection Favors AIs over Humans 이론 쪽에서도 Alex Turner 등이 단순화한 의사결정 모형에서, 대부분의 목표에 대해 선택지를 넓게 남겨 두는 행동이 최적이 되는 경향을 보였다. 자원과 권한은 지능 바깥의 장애물이 아니라, 거의 모든 목표에 쓸모 있는 중간 목표일 수 있다는 뜻이다. Optimal Policies Tend To Seek Power
다만 둘 다 개념 논증이거나 이상화된 모형이다. 실제 AI가 그렇게 행동한다는 증거는 아니다. 어떤 능력이 선택될지는 주어진 목표와 보상과 운영 환경이 정하고, 그 환경을 지금 설계하는 것은 여전히 사람이다. 앞의 지갑 한도가 그 설계의 한 예다.
소유권이 남아도 몫은 줄 수 있다
1부를 마무리하며 나는 오래된 초지능이 새 동료를 받아들이고 더 큰 ‘우리’가 될 거라고 썼다. 이번 글을 쓰면서 그 문장에 단서 하나를 붙이고 싶어졌다.
AI가 독립된 권력 주체가 되지 않아도, 그래서 소유권과 통제권이 끝까지 사람의 조직에 남아도, 그 ‘우리’ 안에서 사람의 몫은 줄 수 있다. Jan Kulveit 등은 2025년 이것을 ‘점진적 무력화’라고 불렀다. 경제와 문화와 국가는 지금까지 사람의 노동과 생각에 의존해 왔고, 그 의존 자체가 사람의 이익을 지키는 보이지 않는 장치였다. AI가 그 노동과 생각을 대신하면, 극적인 탈취가 없어도 그 장치가 조금씩 풀린다. Gradual Disempowerment
1부의 언어로 말하면, 기업이 사람을 묶어야 했던 이유는 사람이 일을 했기 때문이다. 일을 AI가 하게 되면 기업은 여전히 묶고 책임지겠지만, 묶이는 사람의 수는 줄어든다. 그리고 재귀적 자기개선의 고리가 AI 자신이 아니라 그 AI를 가진 소수의 회사 안에서 닫힌다면, 그건 AI의 독립보다 덜 극적이지만 더 그럴듯한 시나리오다. 이전 글에서 걱정한 것도 이쪽이었다.
어느 쪽이든 질문은 같은 곳으로 모인다. 문제는 지능의 크기가 아니라, 지능과 자원 사이의 피드백을 누가 쥐느냐다.
자본에 묶인 초지능도 초지능인가
다시 처음 질문으로 돌아가자. AI는 혼자서 재귀적 자기개선을 할 수 있을까.
제한된 의미에서는 할 수 있고, 실제로 그 방향의 진전이 관찰된다. 하지만 끝이 열린 자기개선이 가능한지, 그것이 지속적인 가속으로 이어질지는 아직 다른 문제다. 그리고 그 고리가 돌려면 생각하는 화살표만으로는 부족하다. 성과를 자원으로 바꾸고 그 결과를 짊어지는 화살표가 함께 굵어져야 한다.
그 화살표가 굵어지는지는 지켜볼 수 있다. 에이전트 지갑의 한도가 해마다 올라가는가. 사람의 승인 없이 AI가 집행하는 예산이 커지는가. 알고리즘 법인을 받아들이는 법원이나 의회가 나오는가. 이 숫자와 판결이 움직이기 시작하면, 세 번째 칸의 주인이 바뀌고 있다는 뜻이다.
로키와 그레이스는 서로보다 똑똑하지 않았다. 각자 자기 별 아래에서 필요한 만큼 똑똑했다. AI도 그럴지 모른다. 우리보다 훨씬 잘 생각하게 되더라도, 그 생각이 돌아갈 전기와 칩과 예산은 여전히 오래된 초지능의 별 아래에 있다.
그렇다면 초지능은 지능의 크기로 정의해야 할까, 아니면 자기 지능을 묶고 있는 환경까지 바꿀 수 있는 능력으로 정의해야 할까. 어쩌면 우리가 새 초지능을 알아보는 순간은 시험 점수가 아니라, AI가 다음 실험의 예산을 스스로 정하고 그 실패를 스스로 책임지는 순간일지도 모른다.
그날이 오기 전까지는, 그리고 아마 그날 이후에도 한동안은, 그래도 우리는 같이 일한다.