Blog Home

AI가 일을 시작하면 CPU도 바빠진다

부제
에이전틱 AI가 키우는 범용 컴퓨팅 수요와, 투자에서 봐야 할 이익의 귀속
URL
작성일
2026/08/04

본문

‘GPU의 시대가 지고 CPU의 시대가 온다’는 말은 반은 맞고 반은 틀리다. 에이전틱 AI는 GPU를 덜 쓰는 기술이 아니라, GPU가 낸 답을 실제 업무로 연결하기 위해 CPU·메모리·스토리지·네트워크를 더 많이 붙이는 기술에 가깝다. 이 글에서는 먼저 CPU와 GPU가 일을 나누는 구조를 보고, 그 구조가 에이전트 런타임과 기업 실적으로 어떻게 이어지는지, 마지막으로 이미 크게 오른 종목들 사이에서 Intel이 왜 상대적으로 다시 볼 만한지 살펴본다.

CPU와 GPU는 무엇이 다른가

CPU는 적은 수의 강한 코어로 복잡하고 순서가 자주 바뀌는 일을 빠르게 처리하도록 설계된다. 큰 캐시, 정교한 분기 예측, 비순차 실행 같은 장치를 사용해 “다음에 무슨 일이 생길지 모르는 작업”의 지연시간을 줄인다. 운영체제, 데이터베이스, 웹 서버, API 호출, 파일 입출력, 보안 검사처럼 조건문과 예외가 많은 일이 CPU에 잘 맞는다.
GPU는 반대 방향에서 발전했다. 하나하나가 CPU 코어만큼 다재다능하지는 않지만, 수많은 연산 유닛이 같은 종류의 계산을 동시에 수행한다. NVIDIA의 CUDA 모델에서는 GPU가 여러 Streaming Multiprocessor(SM)로 구성되고, 스레드들은 묶음 단위로 병렬 실행된다. 행렬곱처럼 동일한 연산을 방대한 데이터에 반복하는 학습과 추론에 강한 이유다. GPU 옆에 HBM 같은 고대역폭 메모리가 붙는 것도 연산 유닛에 데이터를 끊임없이 공급하기 위해서다.
비유하면 CPU는 소수의 숙련된 실무자다. 갑자기 규정이 바뀌거나 예외가 생겨도 각자 판단해 일을 이어간다. GPU는 같은 계산을 놀라운 속도로 반복하는 대규모 전문 작업반이다. 일이 일정하게 쪼개질수록 강하지만, 작업마다 다른 사이트에 로그인하고 오류 메시지를 읽고 다음 행동을 바꾸는 일에는 맞지 않는다.
둘은 경쟁자라기보다 한 시스템의 서로 다른 기관이다. 실제 CUDA 프로그램도 CPU에서 시작한다. CPU가 데이터를 준비하고 GPU 커널을 실행한 뒤 결과를 기다리거나 다음 일을 배정한다. 현대 CPU에는 Intel AMX 같은 행렬 연산기가 들어가고 GPU도 캐시와 제어 기능이 고도화되면서 경계가 흐려지고 있지만, CPU는 지연시간과 제어 흐름, GPU는 처리량과 데이터 병렬성에 강하다는 큰 차이는 남아 있다.
그림 1. CPU가 제어·도구 실행을 맡고 GPU가 모델의 병렬 연산을 맡는 에이전트 런타임의 개념도. 직접 제작.

튜링 완전성은 CPU와 GPU의 우열을 말하지 않는다

여기서 “GPU도 튜링 완전하다면 결국 CPU가 하던 일을 전부 대신할 수 있는 것 아닌가?”라는 반론이 생긴다. 튜링 완전하다는 것은 충분한 시간과 메모리가 주어졌을 때 범용 튜링 머신이 계산할 수 있는 모든 알고리즘을 표현할 수 있다는 뜻이다. 무엇을 계산할 수 있는지에 관한 이론적 기준이지, 얼마나 빠르고 싸고 안정적으로 계산하는지를 평가하는 성능표가 아니다.
현대의 CPU와 GPU 프로그래밍 환경은 반복문, 조건문과 메모리를 사용해 매우 폭넓은 범용 계산을 수행할 수 있다. 그러나 이론적으로 할 수 있다는 말과 그 장치에 맡기는 것이 경제적이라는 말은 다르다. 한 명의 숙련자가 이론상 건물의 모든 공정을 수행할 수 있어도, 실제 현장에서는 공정별 장비와 작업반을 나누는 것과 같다.
NVIDIA의 CUDA 모델에서도 응용 프로그램은 CPU에서 시작한다. CPU인 호스트가 데이터를 준비하고 GPU 커널을 실행하며 완료 여부와 다음 작업을 관리한다. GPU 안의 각 스레드도 조건에 따라 다른 경로를 실행할 수 있지만, 같은 묶음의 스레드가 서로 다른 분기로 흩어지면 병렬 연산기의 효율이 떨어진다. 반대로 거대한 행렬곱을 CPU에만 맡기면 처리량과 전력 효율을 포기하게 된다.
에이전트 업무로 옮기면 웹 요청, 파일 입출력, 인증, 예외 처리, 재시도와 상태 전이는 불규칙한 제어 작업이다. 모델 추론의 행렬 연산은 규칙적인 대규모 병렬 작업이다. 전자를 GPU에 억지로 몰아넣으면 비싼 연산 유닛과 HBM을 충분히 활용하지 못하고, 후자를 CPU로 돌리면 속도와 비용이 나빠진다. 그래서 현실의 최적해는 한 종류의 칩이 모든 일을 독점하는 구조보다 CPU와 GPU가 각자의 강점에 맞게 일을 나누는 이기종 컴퓨팅에 가깝다.
“LLM이나 에이전트가 튜링 완전하다”는 표현도 구분해서 볼 필요가 있다. 고정된 모델 하나는 제한된 컨텍스트 안에서 다음 토큰을 생성하지만, 외부 메모리·코드 실행·도구·런타임을 붙인 전체 시스템은 훨씬 일반적인 계산 절차를 수행할 수 있다. 투자에서 중요한 것은 철학적인 튜링 완전성 판정이 아니라 그 계산을 실제 서비스 수준의 정확도와 비용으로 끝내기 위해 어떤 CPU·GPU·메모리·네트워크가 얼마나 사용되는가다.
이 관점은 투자 질문도 바꾼다. “어느 칩이 모든 계산을 할 수 있는가?”보다 “워크로드를 가장 경제적으로 분할하고 연결하는 회사가 누구인가?”가 중요해진다. 칩 자체뿐 아니라 컴파일러, 런타임, 인터커넥트, 메모리, 패키징과 스케줄링 소프트웨어가 해자가 되는 이유다. 튜링 완전성은 대체 가능성의 이론적 상한을 보여주지만, 실제 이익은 성능 대비 전력과 비용, 개발 편의성, 데이터 이동의 병목에서 갈린다.

에이전틱 AI가 CPU를 바쁘게 만드는 이유

기존 챗봇은 대체로 질문을 받고 모델이 한 번 답하면 끝났다. 에이전트는 자료를 찾고, 계획을 세우고, 모델을 호출하고, 엑셀·ERP·데이터베이스를 열고, 코드를 실행하고, 중간 상태를 저장하고, 결과를 검증한 뒤 실패하면 다시 시도한다.
하나의 사용자 요청은 다음과 같은 반복문으로 바뀐다.
사용자 요청 → CPU가 계획과 컨텍스트 구성 → GPU가 모델 추론 → CPU가 도구·API·코드 실행 → 상태 저장과 검증 → 필요하면 다시 GPU 호출
그래서 CPU 사용량은 대략 사용자 수 × 사용자당 실행 횟수 × 작업당 단계 수 × 단계당 CPU 처리량으로 생각할 수 있다. 모델이 더 똑똑해져 에이전트가 처리하는 일의 범위가 넓어지면, 각 요청이 더 많은 도구와 더 긴 상태를 거느릴 수도 있다.
AWS AgentCore가 사용자 세션마다 CPU·메모리·파일시스템이 격리된 microVM을 제공하는 것은 이 구조를 잘 보여준다. 여러 사용자의 에이전트가 동시에 실행되면 모델 추론만 복제되는 것이 아니라 실행 환경과 상태 관리도 함께 복제된다.
물론 이것만으로 CPU 투자액이 GPU 투자액을 넘어선다는 뜻은 아니다. 대형 모델 추론 비용이 압도적이면 여전히 GPU가 데이터센터 지출의 중심이다. 중요한 변화는 CPU가 GPU를 대체하는 것이 아니라, AI의 병목과 지출 범위가 가속기 하나에서 전체 시스템으로 넓어진다는 점이다.

주요 회사들은 무엇을 파는가

이제 구조를 종목으로 옮겨 보자. 같은 AI 데이터센터 성장률에 노출돼도 GPU 플랫폼, CPU, 클라우드, 파운드리와 시스템 조립은 매출총이익률과 자본집약도가 전혀 다르다. 따라서 주가가 아니라 무엇을 팔고 어느 비용을 떠안는지부터 나눠 보는 편이 낫다.

NVIDIA — GPU 회사에서 AI 시스템 회사로

NVIDIA의 가장 강한 해자는 GPU 칩 하나보다 CUDA, NVLink, 네트워킹, 라이브러리와 랙 설계를 묶은 플랫폼에 있다. 이제 Grace와 Vera 같은 Arm 기반 CPU까지 직접 설계해 CPU와 GPU 사이의 데이터 이동을 자기 시스템 안에서 최적화한다. 2027 회계연도 1분기 데이터센터 매출은 752억 달러로 전년 대비 92% 늘었다. 에이전틱 AI가 커질수록 GPU뿐 아니라 CPU·네트워크·소프트웨어를 함께 판매할 가능성이 있다는 뜻이다. 반대로 높은 기대가 이미 가격에 반영됐는지, 고객의 자체 가속기와 수출 규제가 성장률을 얼마나 낮출지는 별도로 봐야 한다.

AMD — CPU와 GPU를 함께 가진 가장 직접적인 대안

AMD는 EPYC 서버 CPU와 Instinct AI GPU를 모두 보유한다. Helios 랙 설계에는 EPYC, Instinct, Pensando 네트워킹과 ROCm 소프트웨어가 함께 들어간다. 2026년 1분기 데이터센터 매출은 58억 달러로 전년 대비 57% 증가했고, 회사는 EPYC와 Instinct 수요를 함께 이유로 들었다. CPU 점유율 확대와 GPU 대체재라는 두 가설에 동시에 노출된다는 것이 장점이다. 과제는 CUDA에 맞먹는 소프트웨어 경험과 대규모 랙 배치 능력을 얼마나 빨리 증명하느냐다.

Intel — 설치 기반과 제조 역량을 가진 턴어라운드 베팅

Intel은 이미 6개월 동안 약 87% 올라 ‘아무도 보지 않는 싼 주식’은 아니다. 그래도 비교 대상인 Arm과 Dell이 같은 기간 각각 약 128%, 252% 급등한 뒤라는 점을 감안하면 상대가치 관점에서는 다시 볼 여지가 있다. 근거도 단순한 기대만은 아니다. Intel의 2026년 2분기 매출은 161억 달러로 전년 대비 25% 늘었고, Data Center and AI 매출은 63억 달러로 59% 증가했다. 방대한 Xeon 설치 기반, x86 소프트웨어 호환성, CPU·첨단 패키징·파운드리를 한 회사 안에 가진 선택권이 에이전트 추론 확대와 맞물린다. 반대로 18A와 외부 파운드리 고객 확보, 막대한 설비투자, GAAP 손실과 재무구조는 여전히 큰 위험이다. 그래서 Intel은 ‘CPU 수요가 늘면 무조건 승리’하는 종목보다, 제품 사업의 회복이 파운드리 턴어라운드 시간을 벌어주는지 확인하는 비대칭 베팅에 가깝다.

Arm — 칩을 직접 팔지 않고 설계의 통행료를 받는 회사

Arm은 완제품 CPU를 대량 판매하기보다 명령어 집합과 코어·서버 설계를 라이선스하고 로열티를 받는다. AWS Graviton, Google Axion, Microsoft Cobalt, NVIDIA Grace·Vera처럼 서로 경쟁하는 CPU가 Arm 기반이면 승자가 누구든 일정 부분 생태계 확장의 수혜를 받을 수 있다. Arm은 2026 회계연도 데이터센터 로열티가 전년 대비 두 배 이상 늘었다고 밝혔다. 장점은 여러 고객에 분산된 자산 가벼운 구조이고, 위험은 높은 성장 기대와 대형 고객의 협상력이다.

AWS·Google·Microsoft — 칩 구매자이면서 CPU 경쟁자

AWS의 Graviton, Google의 Axion, Microsoft의 Cobalt는 모두 자체 설계한 Arm 기반 클라우드 CPU다. 이들은 칩 판매 마진보다 클라우드 서비스의 가격 대비 성능과 전력 효율을 높여 경제적 이익을 내부화하려 한다. 에이전트가 어떤 CPU에서 돌든 실행시간, 데이터베이스, 저장공간, 네트워크 사용료를 받을 수 있다는 것도 강점이다. 반면 막대한 데이터센터 투자가 감가상각비 이상의 매출과 현금흐름을 만들어야 한다.

TSMC — 설계 승자를 맞히지 않고 생산 병목에 투자하는 방법

NVIDIA, AMD와 많은 자체 칩은 최첨단 제조와 패키징을 TSMC에 의존한다. TSMC의 2026년 1분기 매출에서 HPC 비중은 61%였고, 전 분기보다 20% 증가했다. CPU와 GPU 중 어느 쪽이 더 성장하든 고급 공정과 패키징 수요가 늘면 수혜를 받을 수 있다. 대신 지정학, 대규모 설비투자, 고객 집중과 반도체 사이클이라는 다른 종류의 위험을 부담한다.
위 숫자들은 회계기간과 사업부 범위가 달라 기업 규모를 직접 비교하는 표가 아니다. 각 회사가 현재 어느 영역에서 성장 신호를 보이는지 확인하기 위한 지표에 가깝다.

더 작고 더 흔들리는 후보군

첨부한 2026년 8월 4일 Google Finance 화면에서는 최근 6개월 동안 Arm이 약 128%, Intel이 약 87%, Dell이 약 252%, Amazon이 약 22% 올랐다. 주가 상승률만으로 고평가를 단정할 수는 없지만, AI 인프라라는 이유만으로 멀티플이 빠르게 확장된 종목이 많다는 경고로는 충분하다. 아래 종목들은 ‘더 싸다’기보다 기업 규모가 작아 수주와 제품 사이클이 주가에 더 크게 반영되는 고베타 관찰군이다. 매수 시점에는 미국 주요 거래소 상장 여부뿐 아니라 20일 평균 거래대금, 호가 스프레드와 고객 집중도를 다시 확인해야 한다.
Astera Labs(ALAB)는 PCIe·CXL·Ethernet 연결 반도체와 스위치를 판다. 2026년 1분기 매출은 3억840만 달러로 전년 대비 93% 늘었고 GAAP 매출총이익률은 76.3%였다. GPU 수가 늘수록 연결 병목이 커진다는 가장 순수한 베팅이지만, 높은 성장률과 마진이 이미 기대에 반영돼 있을 가능성과 고객 집중이 위험이다.
Credo(CRDO)는 AEC, DSP, 광트랜시버와 리타이머로 랙 안팎의 데이터 이동을 판다. 2026 회계연도 4분기 매출은 4억3700만 달러로 전년 대비 157% 늘었고 연간 매출은 13억3500만 달러로 세 배 이상 증가했다. 성장의 질은 강하지만 고객 집중과 높은 기대치 때문에 한 번의 가이던스 미스가 주가에 크게 반영될 수 있다.
Celestica(CLS)는 데이터센터 스위치와 서버 플랫폼을 설계·제조한다. 2026년 2분기 매출은 47억 달러로 62% 늘었고 Connectivity & Cloud Solutions 매출은 38억1000만 달러로 84% 증가했다. 반도체보다 랙과 시스템 출하량에 직접 연결되지만 조립·제조업 특성상 조정 영업이익률은 8.2%로 낮아, 매출 성장보다 믹스와 운전자본을 봐야 한다.
Coherent(COHR)는 AI 클러스터의 광통신용 레이저와 트랜시버에 노출된다. 2026 회계연도 3분기 매출은 18억1000만 달러로 전년 대비 21% 늘었고 데이터센터·통신 수요가 성장을 이끌었다. 광학 병목의 수혜가 장점이지만 증설, 부채와 통신 사이클을 함께 떠안는다.
Amkor(AMKR)는 첨단 패키징과 테스트를 제공한다. 2026년 2분기 매출은 19억 달러로 26% 늘었고 회사는 AI·HPC 고객 프로그램과 패키징 설비 확대를 강조했다. CPU와 GPU 어느 설계가 이겨도 수혜를 받을 수 있지만, 막대한 설비투자와 상대적으로 낮은 마진 때문에 가동률이 중요하다.
내 결론은 이 후보들을 Intel 대신 사자는 것이 아니다. ALAB와 CRDO는 연결 반도체, COHR은 광학, CLS는 시스템 제조, AMKR은 패키징이라는 서로 다른 병목에 베팅한다. 성장률은 더 높지만 기대가 꺾일 때의 낙폭도 더 크다. 지금처럼 관련 종목의 재평가가 이미 진행된 구간에서는 Intel을 핵심 관찰 대상으로 두고, 작은 종목은 실적 발표 때 거래대금과 밸류에이션을 다시 확인한 뒤 더 작은 비중으로 접근하는 편이 논리적이다.

투자할 때 확인할 숫자

첫째, 에이전트가 데모를 넘어 실제 유료 실행시간과 도구 호출을 만들고 있는가.
둘째, AI 서버와 랙에서 CPU 수량·코어 수·메모리·네트워크의 탑재 가치가 실제로 증가하는가.
셋째, AWS Graviton·Google Axion·Microsoft Cobalt 같은 자체 CPU의 비중이 얼마나 빨리 높아지는가. CPU 총수요가 늘어도 이 비중이 커지면 Intel과 AMD의 몫은 제한될 수 있다.
넷째, 하드웨어 매출이 아니라 매출총이익률과 현금흐름으로 남는가. 공급 부족으로 매출이 늘어도 가격 경쟁과 감가상각이 이익을 삼킬 수 있다.
다섯째, 성능보다 성능/전력과 성능/달러가 어떻게 변하는가. 데이터센터는 전력과 냉각 한도 안에서 계산량을 극대화해야 하므로, 코어 수보다 와트당 처리량이 더 중요한 경우가 많다.
여섯째, 소프트웨어 생태계와 전환 비용이다. 칩의 벤치마크가 좋아도 개발자가 기존 코드를 옮기기 어렵다면 점유율은 천천히 움직인다.
결국 질문은 “GPU 다음은 CPU인가?”가 아니다. 에이전틱 AI는 GPU의 시대가 끝났다는 이야기가 아니라, GPU만 보던 시야를 CPU·메모리·네트워크·클라우드·파운드리까지 넓혀야 한다는 이야기다.
투자에서는 수요의 방향보다 이익의 귀속을 봐야 한다. 늘어난 계산을 누가 청구하고, 누가 가격 결정력을 가지며, 누가 설비와 감가상각 비용을 떠안는가. 그 세 문장을 분리해서 보는 것이 CPU 논리를 종목으로 옮길 때의 출발점이다.

참고자료

[2] Amazon Bedrock AgentCore — Use isolated sessions for agents https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/runtime-sessions.html
[11] Alan Turing — On Computable Numbers, with an Application to the Entscheidungsproblem (1936) — https://academic.oup.com/book/42030/chapter-abstract/355742425
[12] Intel Q2 2026 Financial Results — https://www.intc.com/news-events/press-releases/detail/1776/intel-reports-second-quarter-2026-financial-results
[13] Dell Technologies Q1 FY2027 Financial Results — https://investors.delltechnologies.com/news-releases/news-release-details/dell-technologies-delivers-first-quarter-fiscal-2027-financial
[14] Astera Labs Q1 2026 Financial Results — https://ir.asteralabs.com/news-releases/news-release-details/astera-labs-reports-first-quarter-2026-financial-results
[15] Credo FY2026 Financial Results — https://investors.credosemi.com/news-events/news/news-details/2026/Credo-Technology-Group-Holding-Ltd-Reports-Fourth-Quarter-and-Fiscal-Year-2026-Financial-Results/default.aspx
[16] Celestica Q2 2026 Financial Results — https://corporate.celestica.com/news-releases/news-release-details/celestica-announces-second-quarter-2026-financial-results
[17] Coherent Q3 FY2026 Financial Results — https://www.coherent.com/news/press-releases/third-quarter-fiscal-year-2026-results
[18] Amkor Q2 2026 Financial Results — https://ir.amkor.com/news-releases/news-release-details/amkor-technology-reports-financial-results-second-quarter-2026
[19] 2026년 8월 4일 Google Finance 주가 화면 — 글쓴이 제공 캡처