CXL·칩렛 기술 병용, CPU 서버 D램 용량 확장

글로벌 메모리사와 협업…하이퍼스케일러와 상용화 논의

 

---

[디지털데일리 고성현기자] 반도체 팹리스 기업인 프라임마스가 미국 메모리반도체 기업인 마이크론과 인공지능(AI) 인프라 확대를 위한 협력에 나섰다. AI 서비스 인프라 성능의 병목 원인으로 지목되는 CPU D램의 용량 한계 극복이 목표다. 이와 함께 글로벌 메모리사, 하이퍼스케일러들과 논의 속도를 올리며 사업 범위를 확장하고 있다.

 

22일 업계에 따르면 프라임마스는 CPU D램 용량 증설을 위한 용도로 마이크론과 본격적입 협력을 지속하고 있다. 마이크론은 프라임마스가 공급하는 칩렛 SoC '팔콘(Falcon)'과 CXL 모듈 '제이밤(JBOM: Just a Bunch of Memory)을 활용한다. 이를 통해 CPU D램 용량을 최소 수십 테라바이트(TB)에서 페타바이트(PB) 이상까지 확장하는 개발 프로젝트를 추진 중이다.

 

프라임마스는 2023년 1월 박일 대표가 미국 뉴욕에 설립한 반도체 팹리스 스타트업이다. 칩렛 기반의 시스템온칩(SoC)을 토대로 대용량 메모리·칩렛 모듈을 개발하고 있다. 박일 대표는 미국 IBM 왓슨 연구소와 삼성전자, SK하이닉스를 거친 메모리·SoC 분야 전문가다. 프라임마스 대부분 인력도 유력 반도체 기업을 거친 SoC 전문가로 포진돼 있다.

 

◆데이터 폭증, 서버 D램 병목으로…용량 증설이 대안

 

CPU D램은 추론용 AI 인프라에서 메모리 병목을 야기하는 대표적인 난제 중 하나로 꼽힌다. AI 환각(Hallucination) 현상을 줄이기 위한 방안인 그래프 DB와 검색증강생성(RAG) 방식이 도입되면서 CPU 데이터 탐색·정제를 위한 D램 부담이 급증하고 있다.

 

RAG AI 핵심 구성요소인 벡터DB, 그래프DB 처리와 운영은 데이터 구조 처리·탐색에 유리한 CPU 서버 환경에서 이뤄진다. 하지만 막대한 외부 데이터와 DB 용량이 증가하면서 부족한 CPU D램 용량으로는 처리가 어려워졌다.

 

이로 인해 SSD등 저장장치(Storage)에 접근하는 횟수가 잦아져 반복적으로 참조하는 시간이 길어지게 됐다. 그 결과 DB 서버에서 LLM 서비스를 위한 GPU 서버로의 데이터 전달 지연이 발생, GPU가 연산하지 못하고 대기하는 병목 현상이 늘어나게 됐다.

 

이를 해결하려면 CPU D램 용량을 늘려야 하지만 이 마저도 쉽지 않다. 통상 CPU D램은 칩셋 하나 당 최대 2TB까지만 지원한다. D램과 CPU 간 물리적 거리가 멀어질수록 메모리 인식이 어려워지는 영향이다. 이로 인해 메모리 용량을 늘리려면 CPU를 추가로 장착해야해 비용 부담이 컸다.

 

프라임마스는 CXL·칩렛의 기술적 특성에 착안해 CPU D램 용량 문제를 타개했다. 자체 반도체 칩 '팔콘'을 적용한 대용량 메모리 모듈을 AIC(Add-In-Card) 형태로 구성하면서다. 이를 CPU와 연결하면 D램 용량을 획기적으로 증설할 수 있다. D램 지연속도(Latency)는 다소 늘어나지만 단일 보드 기준 CXL 스위치 없이 최대 8~10TB, CXL 스위치를 활용한 제이밤(JBOM) 구성으로는 수백 TB에서 수 PB까지 증설이 가능해 CPU 데이터 참조·탐색 속도를 높일 수 있다.

 

프라임마스 관계자는 "팔콘을 적용한 AIC를 만들어 CPU에 연결하면 부족한 D램 용량을 획기적으로 늘릴 수 있어, CPU가 외부 데이터 등을 반복 참조할 때 걸리는 시간을 단축할 수 있다"며 "특히 팔콘에 적용된 칩렛 아키텍처인 '허블릿'은 자체 특허 기술로 내부 버스(Bus) 경로를 최적화해 지연속도도 크게 줄였다"고 강조했다.

◆신개념 칩렛으로 글로벌 공략…무한 확장·성능 확대 가능

 

프라임마스는 이러한 성과를 낼 수 있는 배경으로 블루오션인 '칩렛 SoC' 선제 개발을 꼽았다.

 

당초 다양한 시장 요구에 부합하려면 여러 종류 반도체를 개발해야 했다. 하지만 칩 개발당 수천억원과 2~3년이 소요되는 데다 칩당 최소 수백명 전문 고급 엔지니어가 필요해 사실상 불가능했다. 이로 인해 가장 큰 매출이 예상되는 특정 시장을 선택하고 나머지 시장은 포기하는 것이 일반적인 사업 전략이었다.

 

프라임마스가 개발한 SoC칩은 허블릿 구조다. 레고 블록처럼 서로 연결해 제품 성능과 기능을 확대하거나 축소할 수 있다. 또 특정 시장이 요구하는 새로운 기능만 연결해 적은 비용과 시간으로 여러 시장을 공략할 수 있다는 차별성도 갖췄다.

 

아울러 개발 비용을 기존 대비 1/100 이하까지도 낮출 수 있으며, 신제품 개발에 필요한 시간도 기존 2~3년이 아니라 6개월 이하로 낮출 수 있다는 게 회사 측 설명이다.

 

연구개발(R&D) 활용도 역시 높다. 프라임마스가 자체 개발한 FPGA 칩렛인 '카멜레온(Kamelon)'을 팔콘에 연결하면 고객은 원하는 맞춤(Bespoke) 제품을 단 한시간 만에 개발 가능하거나 수시로 제품 하드웨어 수정이 가능해진다.

 

이 관계자는 "허블릿의 강점은 메모리 등 같은 칩 용량·성능을 끊임없이 확대하는 스케일 업(Scale-Up), NPU 등 이기종 칩을 결합해 기능을 확대하는 스케일 아웃(Scale-Out)을 저비용으로 빠르게 가능케 한다는 점"이라며 "이를 활용하면 빠르게 변하는 AI 서비스의 속도에 대응한 제품 출시 및 고성능 AI 데이터센터 인프라의 CPU 메모리 병목 해결 등 다양한 영역에 활용될 수 있다"고 강조했다.

 

기존 ‘인메모리 데이터베이스(IMDB)' 성능 향상을 위한 잠재력에 대해서도 강조했다. IMDB는 지연시간이 수 백 마이크로초(us)인 SSD 등 스토리지에 담긴 막대한 DB 일부를 100나노초(ns) 단위 D램 메모리에 올려 빠른 DB 처리 및 운영에 활용하는 기술이다. 팔콘으로 여러 D램을 묶어 운용하면 IMDB 운용에 필요한 용량과 속도를 확보할 수 있는 셈이다.

 

프라임마스의 또 다른 솔루션인 제이밤은 팔콘이 탑재된 AIC 카드 수십개를 CXL 스위치로 묶은 구조다. 이를 활용하면 종전 2~4TB 수준인 CPU의 D램 용량 한계를 CPU 서버당 수백 TB 이상 메모리 풀로 확대할 수 있다.

 

프라임마스 관계자는 "PCIe 기술 발전에 더해 CXL 3.x 기반의 생태계가 꾸려지면 CXL 스위치 없는 고성능 풀드 메모리(Pooled Memory)나 제이밤과 같은 초거대용량 메모리 제공을 통해 고성능 AI 데이터 센터의 인프라 성능을 획기적으로 향상시킬 것"이라며 "AI 서비스의 질적, 양적 확산으로 이어질 것"이라고 밝혔다.

◆마이크론 이어 메모리사 논의 확대…하이퍼스케일러 도입 검토

 

프라임마스는 창립 초기부터 삼성전자, SK하이닉스 및 마이크론과 전략적 협업을 지속하며 자사 팔콘 제품의 엔지니어링 샘플과 개발 보드를 제공해왔다. 그러다 최근 마이크론의 에코시스템 파트너로 선정되면서 협력 수준을 높이고 있다.

 

현재 마이크론은 프라임마스의 팔콘 제품을 이용한 AIC 기반의 제이밤 솔루션을 개발 중이다. 제이밤은 이 AIC를 수 십 장 탑재해 100TB 이상의 메모리 풀을 지원할 수 있다. 아울러 마이크론 이러한 제이밤을 기반으로 미국 에너지부(DOE)가 추진한 국가사업에 참여해 AI 데이터센터 성능 향상을 목표로 프라임마스와 인프라 실증을 진행하고 있다.

 

프라임마스는 최근 제이밤을 기반으로 한 한국, 미국을 포함한 글로벌 협력을 가속화하고 있다. CXL D램의 트렌드가 CPU용 D램 대용량 증설로 방향이 이동한 만큼, 이에 최적화한 D램 개발을 가속화하려는 니즈가 늘어난 덕이다.

 

이밖에 미국과 일본의 주요 데이터센터 기업들과도 팔콘을 기반으로 한 스위치리스 풀드 메모리(Switchless Pooled Memory)의 공급도 함께 논의하고 있다.