NVIDIA.
처음에는 그냥 그래픽 칩 회사였습니다. 게임을 위한 회로. 화면을 그리기 위한 도구.
그런데 30년이 지난 지금, 그 냅킨 위의 이름이 AI 세계의 전력망이 됐습니다. 챗GPT가 당신에게 답변을 내놓는 순간, 거의 확실하게 엔비디아 칩이 돌아가고 있습니다.
그리고 지금, 전 세계 수십 개의 스타트업이 그 전력망을 대체하겠다고 나섰습니다.
1. 🔑 읽기 전에: GPU / ASIC / NPU / LPU — 용어 정리
이 글에 나오는 용어를 먼저 정리합니다.
GPU(그래픽처리장치): 원래 게임 그래픽용으로 설계됐지만, 병렬 연산 능력 덕에 AI 학습의 표준 도구가 됐습니다. 엔비디아 H100·B200이 대표 주자입니다.
ASIC(주문형반도체): 특정 작업 하나만을 위해 처음부터 설계한 칩입니다. GPU보다 범용성은 낮지만, 그 특정 작업에서는 전력 효율과 속도에서 GPU를 압도할 수 있습니다. 구글 TPU, AWS 트레이니엄, FuriosaAI RNGD가 대표적입니다.
NPU(신경망처리장치): AI 연산에 특화된 프로세서입니다. ASIC과 개념적으로 겹치지만, 스마트폰·엣지 기기용으로 쓰이는 소형 버전을 주로 가리킵니다.
LPU(언어처리장치): Groq가 만든 새로운 범주입니다. AI 모델의 추론(Inference) 속도를 극단적으로 높이기 위해 메모리 병목 문제를 완전히 새로운 방식으로 푼 칩입니다.
학습(Training)과 추론(Inference)의 차이도 중요합니다.
학습은 AI 모델 자체를 만드는 과정입니다. 수조 개의 파라미터를 조정하는 대규모 연산이 수 주에서 수 개월간 지속됩니다. 현재 엔비디아 GPU의 핵심 시장입니다.
추론은 완성된 AI 모델이 실제 답변을 내놓는 순간입니다. 당신이 챗GPT에 질문을 입력할 때마다 추론이 일어납니다. 현재 GPU가 지배하지만, ASIC·LPU가 빠르게 점유율을 넓히는 시장입니다.
2. 🏆 왜 엔비디아는 아직 압도적인가: CUDA라는 30년짜리 해자
엔비디아의 진짜 무기는 칩이 아닙니다. CUDA입니다.
CUDA는 2006년 출시된 엔비디아의 병렬 연산 플랫폼입니다. 전 세계 AI 연구자와 개발자들이 20년 가까이 CUDA 위에서 코드를 짜왔습니다. 파이토치, 텐서플로우 등 AI 프레임워크가 모두 CUDA 기반입니다.
숫자로 보겠습니다. 2026년 상반기 기준 엔비디아의 데이터센터 GPU 시장 점유율은 약 92%입니다. FY2026 연간 매출은 2,159억 달러(약 300조 원), 그 중 데이터센터 부문이 1,937억 달러입니다. 전년 대비 65% 성장입니다.
H100 한 개 가격은 2만7천~4만 달러. B200이 탑재된 DGX 시스템 8개 묶음은 40만~50만 달러.
그리고 2026년 하반기, 루빈(Rubin) 아키텍처가 나옵니다. B200 대비 추론 처리량 10배, 학습 성능은 GPU 4배 축소로 동일 처리. 루빈 NVL144 한 랙에 8엑사플롭스의 AI 연산 성능이 들어갑니다.
엔비디아를 꺾으려면 이 생태계를 통째로 대체해야 합니다. 칩 하나가 아니라.
3. 💥 그런데 왜 대체하려 하는가: 세 가지 균열
엔비디아가 압도적이지만, 균열이 있습니다.
첫 번째 균열: 가격입니다. 엔비디아 H100 한 개가 2만7천 달러입니다. AI 데이터센터 하나에 수만 개가 들어갑니다. 클라우드 임대도 시간당 수 달러. 오픈AI, 구글, 메타 같은 기업들은 연간 수백억 달러를 엔비디아에 지불합니다. 여기서 단 20%만 절감해도 수조 원이 남습니다.
두 번째 균열: 전력입니다. 엔비디아 H100 SXM은 최대 700W를 먹습니다. B200은 그보다 높습니다. AI 데이터센터 전력 소비가 국가 단위 전력망을 흔들고 있습니다. 전력당 성능(Performance per Watt)이 GPU보다 높은 ASIC의 존재 이유가 여기 있습니다.
세 번째 균열: 추론 시장의 폭발입니다. 2025년 글로벌 AI 추론 시장 규모는 약 1,030억 달러로 추정됩니다. 2030년에는 2,550억 달러 규모로 성장 전망입니다. 모델 학습은 가끔 하지만, 추론은 매초마다 전 세계에서 수십억 번 일어납니다. ASIC과 LPU는 바로 이 추론 시장을 노립니다.
4. 🔴 AMD — 가장 현실적인 2인자
AMD는 AI 칩 경쟁에서 유일하게 엔비디아와 풀스택으로 맞붙는 경쟁자입니다.
MI300X는 192GB HBM3 메모리를 탑재해 엔비디아 H100보다 메모리 용량에서 우위를 점합니다. 초거대 모델 추론에서 강점입니다. MI350은 2026년 출시 예정으로, 엔비디아 B200 대항마로 포지셔닝합니다.
소프트웨어 생태계 ROCm은 CUDA 대비 여전히 뒤처집니다. 그러나 AMD가 오픈AI를 주요 고객으로 확보했다는 보고가 나오고 있습니다. 엔비디아 의존도를 낮추려는 AI 기업들의 분산 전략 덕입니다.
현실적 평가: GPU 시장 2위지만, 1위와의 격차는 여전히 압도적입니다. 그러나 대안이 없던 시장에서 대안이 됐다는 것 자체가 의미 있습니다.
5. 🌊 Cerebras — 웨이퍼를 통째로 만든다
Cerebras의 아이디어는 단순하고 괴상합니다. “칩을 크게 만들면 되지 않나?”
일반 칩은 손톱만 합니다. Cerebras의 WSE-3(Wafer Scale Engine)는 12인치 웨이퍼 전체가 칩 하나입니다. 엔비디아 H100보다 칩 면적이 57배 큽니다. 온칩 SRAM 44GB, 메모리 대역폭 21PB/s.
결과적으로 칩 간 통신 지연이 없습니다. 거대한 단일 칩에서 모든 연산이 이루어집니다. 클러스터링이 필요 없습니다.
2026년 5월 14일, Cerebras는 나스닥에 상장했습니다. 기업가치 230억 달러. 오픈AI와 3년간 200억 달러 규모의 컴퓨트 파트너십, 750MW 용량 확보도 함께 발표됐습니다.
단점은 제조 난이도입니다. 웨이퍼 전체를 칩으로 쓰면 불량 트랜지스터 하나가 전체를 망가뜨릴 수 있습니다. 수율(yield) 관리와 제조 비용이 일반 칩과 비교가 안 됩니다.
6. ⚡ Groq → 엔비디아에 20조 원에 인수됐다
Groq는 추론 속도의 한계를 다시 정의한 회사입니다.
LPU(Language Processing Unit)는 GPU와 다른 접근법입니다. GPU는 연산 코어와 메모리가 분리돼 있어 데이터를 계속 주고받습니다. LPU는 메모리와 연산을 통합해 이 병목을 제거합니다. 결과적으로 토큰 생성 속도가 GPU 대비 수십 배 빠릅니다. 2024년 기준 라마2 70B 모델 초당 300토큰 기록.
그런데 2025년 12월, 엔비디아가 Groq를 200억 달러(약 27조 원)에 인수했습니다. 추론 속도 기술을 직접 흡수한 것입니다. 역설적이게도 엔비디아의 가장 강력한 도전자가 엔비디아의 일부가 됐습니다.
7. 🇰🇷 Rebellions — 삼성·SK하이닉스·ARM이 베팅한 한국 칩
Rebellions는 한국 AI 칩의 가장 현실적인 대표 주자입니다.
2025년 9월, 삼성전자·ARM·SK하이닉스가 참여한 시리즈 C 2,500억 원 투자를 완료했습니다. 기업가치 약 1조4,000억 원. 상장을 위해 삼성증권을 주간사로 선정했고, 프리IPO 라운드 4,000억 원을 추가로 유치했습니다. REBEL 칩은 추론 특화 AI 가속기로, 사피온코리아와의 합병으로 기술 기반을 넓혔습니다. SK텔레콤, KT 등 국내 통신사가 주요 잠재 고객군입니다.
글로벌 추론 칩 리더들(Groq·Cerebras)에 비해 아직 인지도는 낮지만, 삼성 파운드리 + SK하이닉스 HBM 공급망을 등에 업은 구조적 강점이 있습니다.
8. 🦁 FuriosaAI — 메타 8,000억 원 거절하고 독립한 회사
FuriosaAI의 이야기는 숫자보다 스토리가 먼저입니다.
2025년 3월, 메타가 약 8,000억 원을 제시하며 인수를 타진했습니다. CEO 백준호는 거절했습니다. “사업 전략과 인수 후 조직 운영 방향의 차이”가 이유였습니다.
그리고 LG AI연구원과의 계약을 첫 번째 대형 고객으로 확보했습니다. RNGD(“Renegade”) 칩이 LG의 엑사원(EXAONE) 대형언어모델을 구동하는 데 사용됩니다.
RNGD는 TSMC 5나노 공정, HBM3 48GB, 512 TFLOPS FP8 성능입니다. 소비전력은 180W. 엔비디아 H100 SXM(700W) 대비 4분의 1 수준의 전력으로 추론에서 H100 대비 2.25배 처리량을 냈다고 주장합니다. 시스템 구축 비용은 엔비디아 대비 약 50% 수준입니다.
핵심 아키텍처는 TCP(Tensor Contraction Processor)입니다. 기존 칩이 행렬 곱셈을 기본 연산으로 쓰는 반면, RNGD는 텐서 수축(Tensor Contraction)을 최우선 연산으로 처리합니다. 데이터 이동 횟수를 줄여 에너지와 속도 모두 개선하는 방식입니다.
2026년 6월 현재 Series D(기업가치 약 2조3,000억 원 목표) 라운드가 진행 중입니다. OpenAI 서울 행사에서 RNGD 위에 GPT-OSS 120B 모델을 구동하는 시연도 완료했습니다.
9. 🌐 빅테크 자체칩: 구글·AWS·메타가 엔비디아를 피하려는 이유
빅테크들도 자체 칩을 만듭니다. 이유는 하나입니다. 엔비디아 의존도를 줄이기 위해서입니다.
구글 TPU: 학습과 추론 모두 지원하는 가장 성숙한 자체 칩입니다. 제미나이 모델 학습에 대규모로 사용됩니다. Cloud TPU로 외부에도 제공합니다.
AWS 트레이니엄·인퍼런시아: 트레이니엄은 학습용, 인퍼런시아는 추론용 ASIC입니다. AWS 내부 모델과 고객 워크로드에 적용 중입니다.
메타 MTIA: 라마(Llama) 모델 추론에 사용됩니다. 인수하려 했던 FuriosaAI가 거절하자 자체 개발을 가속한 구조이기도 합니다.
마이크로소프트 마이아(Maia): 애저(Azure) AI 인프라용 자체 칩입니다. 오픈AI 워크로드를 엔비디아 외 옵션으로 처리하기 위한 전략 자산입니다.
빅테크 자체 ASIC 출하량은 2026년 44.6% 성장 전망. 같은 기간 GPU 출하량 성장률은 16.1%입니다. 방향이 보입니다.
10. 🏗️ AI 데이터센터의 미래: 혼합 인프라 시대
결론부터 말씀드립니다.
“GPU 없는 AI 데이터센터”는 당장은 불가능합니다. 그러나 “GPU만 있는 AI 데이터센터”도 빠르게 과거의 이야기가 되고 있습니다.
학습 시장은 당분간 GPU가 지배합니다. 초거대 모델 학습은 엄청난 병렬 연산과 대용량 메모리가 필요합니다. CUDA 생태계와 엔비디아의 NVLink 기반 GPU 클러스터를 대체할 현실적인 대안이 아직 없습니다.
추론 시장은 다릅니다. 2026년 현재, 추론용 칩 투자는 전체 AI 칩 투자의 42%를 차지합니다. Groq·Cerebras·FuriosaAI·Rebellions·d-Matrix·Etched·Positron 등 수십 개의 추론 특화 칩 회사들이 실제 제품을 출하하고 있습니다. 특정 추론 워크로드에서 GPU 대비 5~10배 에너지 효율을 보여주는 사례가 속속 나오고 있습니다.
미래의 AI 데이터센터 모습은 아마 이럴 것입니다. 프런티어 모델 학습에는 엔비디아 GPU 클러스터. 실시간 추론 서빙에는 ASIC·LPU 혼합. 특수 목적(비전, 언어, 에이전트)에 따라 최적 칩을 선택하는 워크로드 분산 구조.
11. ⚠️ 리스크: ASIC의 치명적 약점
균형을 위해 짚겠습니다.
ASIC의 가장 큰 약점은 유연성 부족입니다. 특정 작업에 최적화된 칩은 AI 모델 아키텍처가 바뀌면 하루아침에 구식이 될 수 있습니다. 트랜스포머 전용 칩을 만들었는데 차세대 아키텍처가 완전히 다른 구조라면?
소프트웨어 생태계 부재도 현실입니다. 개발자들은 CUDA로 짜인 코드를 새 칩에 맞게 다시 최적화해야 합니다. 이 전환 비용이 하드웨어 비용 절감을 상쇄할 수 있습니다.
검증 부족도 문제입니다. 벤더들의 성능 주장 중 일부는 특정 워크로드, 특정 모델, 특정 조건에서의 수치입니다. 실제 프로덕션 환경에서의 성능은 다를 수 있습니다.
12. 💼 투자자 시사점: 어떤 레이어를 볼 것인가
이 구도에서 투자자가 주목할 레이어를 정리합니다.
엔비디아 포지션: 단기 압도적 지배력 유지. 그러나 추론 시장 다변화와 빅테크 자체칩 확대가 장기 성장률 둔화 요인입니다.
HBM 공급망: AI 학습용 GPU는 HBM 없이 작동 불가능합니다. SKHynix·삼성전자의 HBM4 전환이 2026년 하반기부터 본격화합니다. 다만 GLM-5.2 사례처럼 HBM 없이 프런티어급 추론 칩이 가능해지는 시나리오는 HBM 수요 전망에 변수입니다.
한국 AI 칩: Rebellions와 FuriosaAI 모두 IPO를 준비 중입니다. 삼성·SK하이닉스의 HBM 공급망, 정부의 AI 반도체 육성 정책과 맞물린 구조입니다. 글로벌 추론 칩 시장에서 한국이 의미 있는 자리를 차지할 수 있을지는 2~3년 안에 판가름납니다.
인프라 레이어: 에너지 효율 높은 추론 칩이 데이터센터 구조를 바꾸면, 냉각·전력·서버 랙 설계도 함께 변합니다. 이 인프라 전환의 수혜는 칩 회사만이 아닙니다.
🚀 진스브리프 한 줄 요약
학습은 GPU가 당분간 핵심이지만, 추론 시장의 패권은 아직 열려 있습니다 — 엔비디아는 강하지만 추론 시장에서만큼은 ASIC·LPU·자체칩이 뜯어낼 조각이 분명히 존재합니다.
📌 관련 글도 함께 읽어보세요.
👉 [GLM-5.2 분석: 엔비디아 없이 세계 2위
— HBM 봉쇄 전략의 역설]
미국이 자물쇠를 걸었습니다.
👉 [엔비디아를 이길 남자
스페이스X 엔지니어가 한국으로 돌아온 이유]
https://jinsbrief.com/324
⚠️ 면책 고지: 이 글은 공개된 뉴스 및 발표 자료를 바탕으로 한 정보 제공 목적의 분석입니다. 특정 종목의 매수·매도를 권유하지 않으며, 투자 결정은 본인의 판단과 책임 하에 이루어져야 합니다.
답글 남기기