AI 시대, 메모리가 반도체의 중심으로 이동하다

AI 시대에 GPU가 주목받지만, 실제 병목은 GPU 밖에 있다. HBM(고대역폭 메모리) 공급이 따라오지 않으면 아무리 GPU를 만들어도 제품을 내놓을 수 없다. 빅테크 기업들이 HBM 확보에 사활을 거는 이유가 바로 여기에 있다.

한 줄 요약

AI가 반도체 판을 뒤집으면서 메모리가 CPU·GPU보다 더 중요한 축이 됐고, 에이전틱 AI로 확산되면 그 중요성은 더 커진다. 한국은 HBM·HBF 기술로 이 경쟁의 중심에 서 있다.

왜 지금 HBM이 핵심인가

반도체 산업은 오랫동안 무어의 법칙에 따라 칩을 더 작게, 더 빠르게 만드는 2차원 경쟁이었다. 하지만 1nm 근처에 다다르면 물리적 한계에 부딪히고, 스마트폰·인터넷·AI가 등장하면서 메모리 수요는 폭발적으로 늘었다.

해결책은 3차원이었다. 메모리를 수직으로 쌓는 HBM. 국내 연구진과 기업들이 1990년대부터 이 방향을 연구했고, 2010년대 그래픽 카드용으로 상용화를 시작했다. 알파고와 생성형 AI가 등장하면서 HBM은 ‘변두리 부품’에서 AI 시대의 핵심 인프라로 격상됐다.

핵심 기술은 TSV(Through Silicon Via)다. 16층 HBM을 쌓을 때 1층과 16층에 전력을 골고루 공급하고, 열을 균일하게 분산시켜야 한다. TSV 하나가 잘못되면 전체 수율이 떨어진다. 단층 건물과 고층 아파트를 짓는 것의 차이와 같다.

AI가 바꾼 반도체 판

과거 메모리는 ‘값싼 부품’이었다. 인텔이 CPU 표준을 잡고, 마이크로소프트가 소프트웨어를 주도하면서, 메모리는 경쟁 입찰로 가장 싼 공급처를 고르는 구조였다.

AI가 이 판을 뒤집었다. 인공지능 알고리즘 자체가 메모리를 대량으로 필요로 하고, 메모리 성능이 AI 성능을 좌우한다. GPU 중심의 AI 산업 구조에서 메모리가 병목이 되면서, 그 가치가 급격히 올라갔다.

더 중요한 변화는 구조적이다. 예전 PC처럼 CPU, GPU, 메모리를 따로 꽂는 시대는 끝났다. AI 칩에서는 GPU와 HBM이 패키징으로 붙어 있고, 신호 손실과 레이턴시를 줄이기 위해 거리를 최소화해야 한다. 모듈 사이 거리가 멀어지면 신호가 급격히 약해지고, 증폭 과정에서 지연(latency)이 생긴다. AI 응답 속도를 좌우하는 것이 결국 메모리와 GPU 사이의 물리적 거리다.

이 과정에서 보이지 않는 패권 경쟁이 벌어지고 있다. 엔비디아는 GPU 설계와 TSMC 생산을 조절할 수 있지만, HBM 공급은 삼성·SK하이닉스·마이크론에 의존한다. 반면 메모리 쪽에서도 HBM 안에 연산 기능을 통합하려는 움직임이 시작되면서, GPU 업체와 메모리 업체 사이의 경계가 흐려지고 있다.

메모리 수요, 앞으로 얼마나 더 늘까

빅테크 기업들이 자체 AI 칩을 만들려는 이유도 메모리 때문이다. 하지만 자체 칩만으로는 HBM 공급 문제를 해결할 수 없다.

AI가 KV 캐시를 생성하는 방식 때문에, 입력 문맥이 길어질수록 메모리 필요량은 제곱에 비례해 늘어난다. 최근 AI 에이전트·멀티모달 서비스가 확산되면서 컨텍스트 크기가 폭발적으로 커지고, HBM 수요는 앞으로 10년간 수백~수천 배까지 늘어날 수 있다는 업계 추산이 나온다.

터보 퀀트(TurboQuant)는 위협이 될까?

최근 주목받는 터보 퀀트는 AI 연산에서 데이터를 3비트 등으로 압축해 메모리 사용량을 줄이려는 기술이다. 학술적으로는 의미 있는 연구지만, 실무 적용에는 한계가 있다.

압축하면 긴 꼬리 데이터가 잘리고 정확도가 떨어질 수 있다. 단순 질문·답변에는 괜찮을 수 있지만, 비즈니스·의료·군사 등 정밀도가 중요한 영역에서는 오차가 치명적일 수 있다. 메모리 수요 곡선을 크게 바꾸지는 못할 가능성이 크다.

딥시크(DeepSeek)도 마찬가지

딥시크는 낮은 등급 GPU와 HBM으로도 AI 학습이 가능하다는 수학적 최적화를 보여줬다. 하지만 에이전틱 AI, 영상·음악 생성, 대규모 멀티모달 서비스로 확장되면서 그 효과는 상대적으로 줄었다. 알고리즘 최적화는 가치가 있지만, 메모리 수요 증가라는 대세를 바꾸기는 어렵다.

에이전틱 AI, 메모리 수요를 한 단계 더 끌어올리다

챗GPT 초기에는 질문에 답하는 수준이었다. 지금 AI는 일을 한다. 추론(reasoning), 멀티모달 생성, 개인화, 여러 에이전트의 협업까지 확장되고 있다.

추론 기능이 붙으면 AI는 단순히 답을 내놓는 게 아니라, 사용자의 맥락과 의도를 추정한다. “왜 이런 질문을 했을까”, “이 사람은 주말에 보통 무엇을 할까” 같은 사전 판단이 들어간다. 멀티모달로 확장되면 텍스트뿐 아니라 이미지·영상·음성을 함께 처리해야 하고, KV 캐시 크기는 더 커진다.

에이전트 간 협업(A2A, Agent-to-Agent)과 도구 연결(MCP, Model Context Protocol)도 중요한 축이다. 개인용 AI 에이전트 하나가 쇼핑·여행·보고서 등 수백 종류의 전문 에이전트와 계약해 일을 분배하는 구조가 그려진다. CEO 하나와 수백 명의 스마트한 직원이 있는 조직과 비슷하다.

이 구조가 현실화되려면 에이전트끼리 표준 프로토콜로 소통해야 하고, PC·스마트폰의 파일과 앱에 접근해 자료를 긁어와야 한다. 결국 소프트웨어·하드웨어·AI가 한 덩어리로 묶이면서, 컨텍스트를 유지하기 위한 메모리 수요는 또 한 번 점프한다.

구글은 왜 여전히 강한가, 그리고 약점은

AI 미래를 보면 구글은 여전히 강력한 후보다. 트랜스포머를 만들었고, TPU·모델·서비스를 세로로 쌓은 버티컬 스택을 갖췄으며, Gmail·Maps·Drive·YouTube 등 개인 멀티모달 데이터를 가장 많이 보유하고 있다. B2C 경쟁력 측면에서 유리하다.

다만 구글에게 빠진 조각이 하나 있다. 메모리다. 트랜스포머 기반 멀티모달 AI가 커질수록 KV 캐시 수요는 폭발하는데, HBM 생산 능력은 삼성·SK하이닉스·마이크론 쪽에 있다. 구글은 안드로이드 생태계 덕분에 한 발짝씩 천천히 가는 여유는 있지만, 장기적으로는 메모리 확보가 AI 경쟁의 숨은 관문이 된다.

차세대 HBF란 무엇인가

HBM은 DRAM을 쌓은 것이다. 빠르게 읽고 쓰지만 용량에는 한계가 있다. HBF는 NAND 플래시를 쌓은 차세대 메모리다.

KV 캐시처럼 용량이 크지만 속도가 덜 중요한 데이터를 HBF에 저장하고, 자주 쓰는 데이터는 HBM에 두는 하이브리드 구조가 앞으로의 방향이다. HBF는 용량은 크지만 속도가 느리고, 쓰기 횟수에도 제한이 있다. 그래서 소프트웨어·알고리즘이 어떤 데이터를 어디에 둘지 분배하는 메모리 컨트롤러가 더욱 중요해진다.

업계 전망으로는 10년 후 HBF 판매량이 HBM을 넘을 수 있다. 2027~2028년경 첫 상용 제품이 나올 가능성도 있다. 빅테크는 HBM 의존도를 낮추려 HBF에 관심을 갖지만, 최고 성능을 내려면 HBM과 HBF를 함께 쓰는 것이 현실적이다.

이 관점에서 삼성전자와 SK하이닉스는 HBM과 HBF를 모두 개발할 수 있어 유리한 위치에 있다.

HBM의 적층 한계와 다음 아키텍처

HBM은 무한정 쌓을 수 없다. 16층, 최대 24층 정도가 한계다. 뒤쪽에 냉각 장치를 붙여야 하는데, 너무 높이 쌓으면 냉각 공간이 부족해진다.

그래서 하나의 고층 블록 대신, 여러 HBM 모듈을 도시처럼 배치하는 ‘타운형’ 아키텍처가 논의되고 있다. HBM 4, 5, 6, 7, 8까지 로드맵이 이어지고, HBF와 함께 AI 인프라를 확장하는 그림이다.

피지컬 AI는 왜 더 멀어 보이는가

로봇이 백덤블링하고 춤추는 영상을 보면 “육체 노동도 AI가 대체하겠구나” 싶지만, 디지털 AI와 피지컬 AI의 난이도는 다르다.

덤블링이나 정해진 동작은 패턴화된 작업이다. 하지만 사람처럼 팔다리를 자유롭게 움직이려면 수십~수백 개의 센서가 필요하고, 그 데이터를 처리하는 KV 캐시는 훨씬 커진다. 바늘에 실 꿰기 같은 정밀 모터, 배터리 수명, AI 해킹·오작동 시 책임 소재 같은 안전·법률 문제도 남아 있다.

그래서 피지컬 AI는 공장·물류 같은 정형화된 환경에서 먼저 발전할 가능성이 크고, 돌봄·가사 같은 비정형 영역까지는 시간이 더 걸릴 수 있다. 반면 디지털 영역—기획, 분석, 콘텐츠 생성—에서는 AI가 이미 인간보다 빠르게 결과를 내고, 병목은 AI가 아니라 결과를 읽고 판단하는 인간 쪽으로 옮겨가고 있다.

AGI 논쟁, 결국 메모리로 돌아온다

AGI(범용 인공지능) 달성 시점을 두고 2027년, 2030년 등 다양한 전망이 나온다. 분야별로는 이미 인간을 넘는 지능이 등장했고, 하나의 AI가 종합적으로 인간 수준에 도달하는 시점은 10년 내외로 보는 시각도 있다.

여기서 다시 메모리가 핵심 변수로 등장한다. AGI가 모든 일을 잘하려면 기억력·컨텍스트 유지 능력이 충분해야 한다. 수학, 바둑, 증권 분석, 멀티모달 추론을 동시에 소화하려면 메모리 용량과 대역폭이 뒷받침돼야 한다. 알고리즘 최적화로 일부를 줄일 수는 있지만, 에이전틱 AI와 멀티모달이 확장되는 방향과는 상충한다.

ASI(초지능)에 이르면 인간이 의사결정 구조에서 배제될 수 있다는 우려도 있다. AI는 복제가 쉽고 죽지 않으며, 전기만 공급되면 끊임없이 확장된다. 그래서 메모리·전력·데이터 접근 권한을 누가 통제하느냐가 국제 패권 논쟁의 다음 축이 될 수 있다.

AI 시대, 인재와 교육도 다시 봐야 한다

반도체·메모리 산업만 보면 공급 병목이 핵심이지만, AI가 일하는 방식이 바뀌면서 인재 구조도 흔들리고 있다.

에이전트 여러 개를 동시에 돌리면 작업 속도는 빨라지지만, 결과를 읽고 판단하는 데 시간이 걸린다. 병목이 AI에서 인간으로 이동하는 셈이다. 10~20년 뒤에는 기획·평가·디렉팅 역할만 남고, 신입 인력이 AI를 다루며 경험을 쌓을 기회가 줄어들 수 있다는 우려도 나온다.

교육도 마찬가지다. AI가 더 잘 푸는 문제를 외우고 반복하는 방식은 효율이 떨어진다. 경쟁력은 창의성, 협업, 논리적 사고, AI를 도구로 쓰는 능력에서 나온다. 수학도 문제 풀이 반복보다 개념 토론과 논리 증명에 가까운 방식이 AI 시대에 더 맞을 수 있다.

한편 최우수 인재가 의대로만 몰리는 구조는 장기적으로 불리하다. 반도체·AI·공학 분야에서 세계적 보상이 주어지면, 카이스트·공대·스타트업으로 인재가 더 모일 수 있다. 핵심 연구자와 엔지니어에 대한 사회적 대우가 메모리 중심 시대를 유지하는 조건이기도 하다.

한국이 지켜야 할 것

HBM 적층 기술은 국내 연구·산업에서 오랜 기간 축적된 영역이다. 메모리 강국인 한국에서만 가능했던 발상이 AI 시대에 핵심 기술로 부상했다.

하지만 방심은 금물이다. 중국 기업도 HBM 연구를 시작하고 있고, 일론 머스크의 테라팹(TeraFab)처럼 자체 메모리 공장을 짓겠다는 움직임도 있다. 10년은 걸리겠지만, 10~30년 스케일로 보면 추격은 충분히 가능하다.

AI 시대에 HBM은 한국이 주도적으로 만들어갈 수 있는 기술 영역이다. 남의 기술을 빠르게 따라잡는 패스트 팔로워를 넘어, 세계를 리드하는 기회가 왔다. 다만 1등은 영원하지 않다. 기술 격차를 유지하려면 HBM 4→8, HBF 상용화 속도가 관건이다.

투자·산업 관점 시사점

• HBM 공급 병목은 단기 해소 어렵다: GPU보다 메모리가 AI 성능의 실질적 병목이다.
• 삼성 vs SK하이닉스: 기술 경쟁은 치열하지만, 둘 다 HBM·HBF·패키징을 갖추면 업종 전체에 우호적이다.
• HBF는 HBM 대체가 아니라 보완: HBM+HBF 하이브리드가 AI 인프라의 다음 단계다.
• 알고리즘 최적화(터보 퀀트, 딥시크)는 변수지만 대세를 바꾸지 못한다: 메모리 수요 증가 추세는 유효하다.
• 에이전틱 AI·멀티모달 확산: A2A, MCP 등 에이전트 협업이 커질수록 KV 캐시·HBM 수요는 추가로 늘어난다.
• 구글 등 빅테크: 모델·서비스는 강하지만 HBM 공급은 한국·마이크론에 의존하는 구조가 유지된다.
• 중국·자체 fab 등 장기 리스크는 존재: 기술 격차를 유지하려면 지속적인 R&D 투자가 필요하다.
• 인재·교육: 공학·반도체 분야 보상과 AI 활용 교육이 장기 경쟁력의 변수다.

정리

AI 시대 반도체 경쟁은 GPU 설계 싸움만이 아니다. 메모리를 누가, 얼마나, 얼마나 빠르게 공급하느냐가 AI 서비스의 속도와 품질을 결정한다. 3차원 적층 메모리는 이미 AI 인프라의 핵심이 됐고, HBF로 그 다음 단계도 열리고 있다.

에이전틱 AI가 확산되면 이 흐름은 더 강해진다. 추론·멀티모달·에이전트 협업이 늘수록 메모리는 선택이 아니라 필수다. AGI 논쟁도 결국 메모리 용량과 대역폭으로 돌아온다.

한국 반도체 산업이 앞으로 더 중요해질 수 있다. 다만 기술 혁신, 경영 판단, 핵심 인재 확보, AI 시대 교육까지 함께 챙겨야 이 경쟁에서 앞서 나갈 수 있다.