 |
Supermicro Petascale 스토리지 서버, IBM Storage Scale 소프트웨어, NVIDIA Dynamo 추론 소프트웨어, NVIDIA Spectrum-X 이더넷 스위치를 묶은 KV(key-value, 키값) 캐시 솔루션이 나왔다. 성능 테스트에서는 KV 캐시를 쓰지 않은 시스템에 비해 긴 컨텍스트 구간의 첫 토큰 생성 시간(TTFT)이 줄었다. GPU 활용률과 처리량, 인프라 확장성도 높아져 고객의 추론 효율이 크게 개선된다.
Data Center Building Block Solutions®(DCBBS)를 기반으로 AI, 엔터프라이즈, 스토리지, 5G/엣지 분야에 토털 IT 솔루션을 공급하는 슈퍼마이크로(Supermicro, Inc., 나스닥: SMCI)가 11월 5일 IBM, 엔비디아(NVIDIA)와 함께 새로운 KV 캐시 스토리지 솔루션을 발표했다. 이 솔루션은 AMD EPYC 9005 Series 프로세서('Turin')를 탑재한 Supermicro Petascale 올플래시 스토리지 서버에 IBM Storage Scale 소프트웨어, NVIDIA Dynamo 추론 프레임워크 소프트웨어, Spectrum-X Ethernet 네트워킹을 통합한 제품이다.
KV Cache high-performance platform for large-scale AI inference
이 기술들을 결합하면 AI 모델이 응답 생성을 시작하기까지 걸리는 시간을 크게 줄일 수 있다. 기업이 에이전틱 AI와 긴 컨텍스트를 활용하는 AI 워크플로를 도입할 때 중요한 강점이 된다. KV 캐시 용량을 로컬 GPU 메모리의 한계 너머로 늘리면 GPU 활용률과 추론 처리량이 높아진다. 동시에 KV 캐시 콘텐츠의 고가용성이 확보되고, 서비스를 중단하지 않고도 KV 캐시 용량을 키울 수 있다. 그 결과 추론 아키텍처의 확장성과 복원력이 높아지고, AI 경험은 더 빠르고 반응성이 좋아진다.
찰스 리앙(Charles Liang) 슈퍼마이크로 사장 겸 CEO는 "AI 워크로드가 학습에서 추론으로 확대되면서, 에이전틱 AI와 긴 컨텍스트 다중 턴 생성형 AI가 특징인 고처리량 추론 워크로드를 구축하는 기업과 네오클라우드 사업자는 병목 현상을 해소해야 GPU 효율을 높일 수 있다"며 "IBM, 엔비디아와 함께 개발한 이번 솔루션은 이러한 성능상의 장점이 분명하다"고 말했다.
이번 발표의 요약 영상은 여기를 클릭하면 볼 수 있다.
추론 워크로드는 프리필(prefill)과 디코드(decode)라는 두 단계로 이루어진다. 프리필 단계에서는 입력 텍스트가 토큰으로 바뀌고, 대규모 언어 모델(LLM)이 이를 처리해 추론에 필요한 중간 KV 상태를 만들어낸다. 이미 계산된 KV 상태를 영구 저장형 KV 캐시에 보관하면, 시스템은 후속 요청에서 같은 컨텍스트를 다시 계산하지 않고 재사용할 수 있다. 에이전틱 워크플로, 코딩 도우미, 긴 컨텍스트를 활용하는 RAG, 멀티모달 AI, 다중 턴 애플리케이션은 대규모 코드베이스, 문서, 대화, 이미지 등 다양한 컨텍스트를 처리하면서 KV 상태를 상당량 만들어낸다. 그 결과 GPU와 CPU 메모리 용량이 빠르게 초과되고, KV 캐시를 대용량 공유 네트워크 스토리지로 옮길 필요가 생긴다.
슈퍼마이크로, IBM, 엔비디아의 KV 캐시 솔루션은 이러한 영구 저장 계층을 제공해 중복 연산을 줄이고, 추론 효율과 처리량, 확장성을 개선하도록 돕는다.
고객이 KV 캐시 솔루션으로 얻는 편익은 다음과 같다.
공동 솔루션 검증 – 슈퍼마이크로, IBM, 엔비디아는 클러스터 수준에서 방대한 테스트를 실시했다. 높은 동시 처리 수준과 다른 워크로드의 간섭으로 네트워크 트래픽이 발생하는 시나리오까지 모두 다뤘다.
대폭 향상된 추론 속도와 일관된 성능 – 슈퍼마이크로와 엔비디아가 매개변수 1200억 개의 LLM으로 진행한 공동 테스트에서, 영구 저장형 KV 캐시는 13만 토큰 프롬프트의 TTFT를 최대 56배 단축했다.[1] 입력 길이가 3만 토큰에서 13만 토큰으로 늘어났을 때, KV 캐시를 사용한 경우 TTFT 증가는 0.377초에 그쳤다. KV 캐시를 사용하지 않은 경우에는 29.55초 늘어났다. 이에 따라 긴 컨텍스트 워크로드에서도 더 일관된 성능을 구현할 수 있다.
GPU 활용률과 처리량 향상 – 이 솔루션은 재사용이 잦은 컨텍스트를 GPU 메모리 외부에 유지해 이용할 수 있도록 한다. 이를 통해 GPU 유휴 시간을 줄이고 추론 처리량을 높이며, GPU 자원을 비례해 늘리지 않고도 더 많은 동시 요청을 처리하도록 돕는다.
기업급 복원력과 신뢰할 수 있는 AI 운영 – 가용성이 높은 영구 저장형 KV 캐시가 있으면 캐시에 저장된 추론 상태가 보호되고, GPU 노드와 클러스터 전반에서 공유 접근이 가능하다. 대규모 환경에서도 AI 서비스의 복원력과 스토리지 효율이 더욱 높아진다.
검증된 턴키 AI 인프라 – 슈퍼마이크로, IBM, 엔비디아는 NVIDIA Dynamo, IBM Storage Scale 소프트웨어, Supermicro Petascale 서버, NVIDIA Spectrum-X 네트워킹을 결합해, 동시 처리 수준이 높고 다른 워크로드의 간섭이 발생하는 시나리오 전반에서 통합 아키텍처를 공동으로 검증했다.
신속한 구축 서비스 – 슈퍼마이크로의 공장 내 랙 통합과 현장 구축 서비스를 이용하면 솔루션 구축 기간을 수 주에서 수일로 줄일 수 있다.
샘 워너(Sam Werner) IBM 스토리지 총괄은 "기업에는 AI 추론을 확장할 수 있는 근본적으로 더 나은 방식이 필요하다. IBM, 슈퍼마이크로, 엔비디아는 고객이 GPU 투자 가치를 극대화하고, 연산 자원과 독립적으로 확장하며, 인프라 효율을 크게 높여주는 고성능 강력 복원력의 KV 캐시 솔루션을 함께 제공하고 있다"며 "이번 협력은 기업용 AI 추론의 확장성과 신뢰성, 비용 대비 효율을 높이는 중대한 진전"이라고 말했다.
슈루티 코파르카르(Shruti Koparkar) 엔비디아 AI 추론 제품 총괄은 "에이전틱 AI와 긴 컨텍스트 애플리케이션에서는 여러 단계에 걸쳐 컨텍스트를 효율적으로 재사용하는 것이 핵심이다. NVIDIA Dynamo는 분산 추론을 조율해 기업이 GPU별로 실질적으로 활용할 수 있는 처리량을 높여준다"며 "이번 KV 캐시 솔루션은 NVIDIA Dynamo 및 Spectrum-X Ethernet을 Supermicro Petascale 스토리지 서버, IBM Storage Scale과 결합한 제품으로, 중복 연산을 줄이고 첫 토큰 생성 시간을 개선하며, 고객에게 복원력 있는 AI 추론 서비스를 확장하는 고성능 공유 스토리지 계층을 구현해준다"고 말했다.
슈퍼마이크로와 IBM 솔루션에 관한 자세한 내용은 여기를 클릭하면 확인할 수 있다. IBM 레드북 'Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference(한계 없는 컨텍스트: 대규모 AI 추론을 위한 고성능 KV 캐시 플랫폼)'은 여기를 클릭하면 볼 수 있다.
슈퍼마이크로 컴퓨터 소개
슈퍼마이크로(나스닥: SMCI)는 애플리케이션 최적화 토털 IT 솔루션 분야의 글로벌 선도기업이다. 미국 캘리포니아주 새너제이에서 설립돼 사업을 영위하고 있으며, 기업, 클라우드, AI, 5G 통신/엣지 IT 인프라 분야에서 혁신 기술을 시장에 가장 먼저 선보이기 위해 노력하고 있다. 슈퍼마이크로는 서버, AI, 스토리지, 사물인터넷(IoT), 스위치 시스템, 소프트웨어 및 지원 서비스를 제공하는 토털 IT 솔루션 공급업체다. 메인보드, 전원 및 섀시 설계에 대한 전문성은 개발과 생산 역량을 더욱 강화해, 전 세계 고객이 클라우드부터 엣지까지 차세대 혁신을 실현하도록 돕고 있다. 슈퍼마이크로는 미국, 아시아, 네덜란드의 자체 시설에서 제품을 설계하고 제조하며, 글로벌 운영을 통해 규모의 경제와 효율성을 확보하고 총소유비용(TCO)을 개선하며, 환경 영향을 줄이도록 제품을 최적화하고 있다(그린 컴퓨팅). 고객은 수상 경력에 빛나는 Server Building Block Solutions® 포트폴리오를 통해 유연하고 재사용 가능한 빌딩 블록을 토대로 구축된 다양한 시스템 제품을 만날 수 있다. 폼팩터, 프로세서, 메모리, GPU, 스토리지, 네트워킹, 전력 및 냉각 솔루션(공조, 프리 에어 냉각 또는 액체 냉각)을 포괄적으로 조합해 원하는 워크로드와 애플리케이션에 맞게 최적화할 수 있다.
Supermicro, Server Building Block Solutions 및 We Keep IT Green은 슈퍼마이크로 컴퓨터의 상표 및/또는 등록상표다.
기타 모든 브랜드, 명칭 및 상표는 각 소유자의 자산이다.
1 결과의 상세 내용은 IBM 레드북 참조: https://www.redbooks.ibm.com/docs/MD260021/MD260021.html
