젠슨 황의 ‘신비로운’ 메모리 플랫폼 ICMS란?
엔비디아 추론 시대, 삼성전자·SK하이닉스가 기회를 잡을 수 있는 이유
AI 반도체 시장의 판을 뒤집는 발표는 언제나 엔비디아 젠슨 황 CEO의 입에서 나옵니다.
HBM으로 메모리 업계의 지형을 바꿨던 그가, CES 2026에서 또 하나의 ‘의미심장한 플랫폼’을 공개했습니다.
이름부터 낯선 Inference Context Memory Platform, 줄여서 ICMS.
이 플랫폼은 단순한 서버 장비가 아닙니다.
👉 AI 추론(Inference) 시대의 메모리 구조 자체를 재정의하는 시도이며,
👉 그동안 ‘HBM의 그늘’에 가려졌던 SSD·낸드플래시의 부활 신호탄이기도 합니다.
그리고 이 변화의 중심에는 삼성전자, SK하이닉스라는 국내 반도체 대표 기업들이 있습니다.
1️⃣ AI는 이제 ‘학습’이 아니라 ‘추론’의 시대
과거 생성형 AI의 경쟁력은
👉 얼마나 많은 데이터를 학습했는가에 달려 있었습니다.
하지만 지금은 다릅니다.
- 실시간 대화
- 맥락 이해
- 장시간 멀티턴 추론
- 이미지·영상·음성 복합 처리
이 모든 것은 추론(Inference) 능력에서 결정됩니다. 그리고 이 추론의 성능을 좌우하는 핵심 요소가 바로 KV 캐시(Key-Value Cache) 입니다.
2️⃣ KV 캐시란 무엇인가? (초보자도 이해되는 설명)
예를 들어, 우리가 챗GPT에게 이렇게 묻는다고 가정해봅시다.
“지드래곤이 왜 한 시대의 아이콘이야?”
AI는 이 질문을 이해하기 위해
- ‘그 사람’이 누구인지
- 이전 대화에서 어떤 정보가 나왔는지
- 어떤 맥락에서 질문이 이어졌는지
이 모든 중간 계산값과 맥락 정보를 불러와야 합니다. 이때 사용하는 것이 바로 KV 캐시입니다.
- Key : 질문의 대상과 문맥을 정확히 조준
- Value : 이전 대화·연산 결과·중간 계산값 저장
KV 캐시가 없다면?
👉 AI는 매 질문마다 처음부터 다시 계산
👉 GPU 부하 폭증
👉 속도 저하 + 환각(Hallucination) 증가
3️⃣ 문제는 ‘KV 캐시가 너무 커진다’는 것
AI 사용량이 늘어날수록 KV 캐시는 폭발적으로 증가합니다.
- 사용자 증가
- 대화 길이 증가
- 이미지·영상 추론
- 멀티모달 AI 확산
하지만 기존 서버 구조는 한계가 있습니다.
기존 메모리 계층 구조
- HBM (GPU 옆) – 빠르지만 비쌈
- DRAM 모듈
- 서버 내 SSD
- 외부 스토리지
👉 KV 캐시는 커지는데
👉 HBM은 너무 비싸고
👉 DRAM은 전력 소모가 크며
👉 SSD는 네트워크 병목으로 속도를 못 냄
여기서 젠슨 황이 꺼내든 해답이 바로 ICMS입니다.
4️⃣ ICMS(Inference Context Memory Storage)란?
ICMS는 한마디로 말하면,
“KV 캐시 전용 초대형 저장 플랫폼”
핵심 구성
- 블루필드-4 DPU
- 초고용량 엔터프라이즈 SSD
- GPU와 분리된 독립 랙 구조
용량 구조
- SSD 트레이 16개
- 트레이당 600TB
- 총 9,600TB (9.6PB)
👉 GPU 랙 1개가 아니라
👉 GPU 랙 여러 개 분량의 KV 캐시를 외부에서 담당
5️⃣ DPU가 핵심인 이유
ICMS의 진짜 주인공은 SSD가 아니라 DPU입니다.
DPU는
- 네트워크 처리
- 데이터 이동
- 스토리지 접근 최적화
를 전담합니다.
젠슨 황은 이를 통해
👉 KV 캐시 전송 속도 200GB/s 유지
👉 GPU가 연산에만 집중하도록 구조를 재설계했습니다.
즉, GPU – DPU – SSD 이 삼각 구조가 추론 시대의 새로운 표준이 되는 셈입니다.
6️⃣ 엔비디아 메모리 전략의 변화 포인트
엔비디아는 메모리 계층을 3.5단계로 재정의했습니다.
- HBM도 아니고
- DRAM도 아니고
- 기존 SSD도 아닌
👉 ‘추론 전용 캐시 영역’
이 영역의 특징은 다음과 같습니다.
| 구분 | HBM | DRAM | ICMS SSD |
| 속도 | 최고 | 빠름 | 충분히 빠름 |
| 용량 | 매우 작음 | 제한적 | 압도적 |
| 전력 | 높음 | 높음 | 낮음 |
| 비용 | 매우 비쌈 | 비쌈 | 상대적으로 저렴 |
이 조합이 AI 데이터센터의 비용 구조 자체를 바꿀 가능성이 큽니다.
7️⃣ 삼성전자·SK하이닉스에 왜 기회인가?
📈 핵심 포인트는 ‘비트(Bit)’
HBM은
- 단가 높음
- 수율 부담
- 공급 제한
반면 ICMS는
- SSD 수요 폭증
- 낸드 비트 수요 급증
랙 하나에 9.6PB가 추가됩니다. 👉 기존 GPU 랙 대비 낸드 탑재량 수 배 증가
삼성전자
- 서버용 SSD 시장 1위권
- PCIe 5.0 / 6.0 대응
- 엔비디아 공급 이력
SK하이닉스
- AI-N P 프로젝트
- 엔비디아와 PoC 진행 중
- 초고성능 스토리지 로드맵 공개
👉 HBM + SSD 투 트랙 수혜 구조
8️⃣ 관련 주식 종목 분석 (투자 관점)
📌 삼성전자 (005930)
투자 포인트
- 서버 SSD 점유율 확대
- 낸드 업황 반등 초입
- AI 데이터센터 CAPEX 수혜
리스크
- HBM 경쟁 심화
- 단기 실적 변동성
👉 중장기 AI 인프라 핵심 포트
📌 SK하이닉스 (000660)
투자 포인트
- HBM 독보적 지위
- AI-N P로 SSD 영역 확장
- 엔비디아 협업 명확
리스크
- 주가 선반영 부담
- 메모리 업황 사이클
👉 AI 메모리 최선호 종목
📌 관련 소부장 (간접 수혜)
- SSD 컨트롤러
- DPU 관련 네트워크 장비
- 데이터센터 전력·냉각
👉 후속 테마 확산 가능성
9️⃣ 정리: ‘쩌리’ 취급받던 낸드의 반격
그동안 AI 시장의 주인공은 GPU와 HBM이었습니다. 하지만 추론 시대로 접어들면서 상황이 바뀌고 있습니다.
- KV 캐시 폭증
- 비용 효율성 중시
- 에너지 효율 중요
👉 SSD와 낸드플래시가 다시 중심으로 이동 ICMS는 그 시작점일 뿐입니다.
🔚 결론
젠슨 황의 ICMS는 단순한 신제품이 아니라 AI 인프라의 다음 단계입니다. 그리고 그 변화의 수혜는
👉 삼성전자·SK하이닉스,
👉 그리고 한국 반도체 생태계 전반으로 확산될 가능성이 큽니다.
AI 투자, 아직 끝나지 않았습니다. 방향만 바뀌었을 뿐입니다.
출처 참고 : [강해령의 테크앤더시티]
