한 대의 GPU를 최대 7개로 나누는 공유 구조

엔비디아 뉴스룸에 따르면 회사는 A100 GPU를 최대 7개의 독립 인스턴스로 나누는 MIG 기술을 이미 생산 단계에 반영했습니다. 각 인스턴스는 자체 고대역폭 메모리, 캐시, 컴퓨팅 코어를 갖추고 완전히 격리됩니다. MIG 공식 페이지는 GB200 기준 95GB×2, 45GB×4, 23GB×7의 분할 구성을 안내했습니다.

새로운 점은 메모리 경계의 강제

출처: 조사 출처

NVIDIA 개발자 블로그에 따르면 CUDA 13.4는 나눠 쓰는 GPU 인스턴스 간 메모리 경계를 강제하고 하드 캡을 두는 기능을 도입했습니다. 기존 GPU 공유는 연산 자원만 나누는 방식이라 한 작업이 메모리를 과다 사용하면 다른 작업이 영향을 받을 수 있었습니다. 블로그와 GitHub 저장소 2곳, Run:ai 블로그까지 세 곳이 이 메모리 제한 동작을 동일하게 설명했습니다.

쿠버네티스로 쓰는 오픈소스 도구 결합

엔비디아는 Run:ai 전체를 오픈소스화하고, GPU Fractioning Operator와 KAI Scheduler의 NvFractions 모드를 GitHub에 공개했습니다. README에 따르면 40GiB와 60GiB처럼 GPU 용량을 비율로 나눠 각 작업에 배정할 수 있습니다. 기존의 시간 분할 방식과 SM 공유 방식도 함께 지원해 운영자가 선택 폭을 넓히게 됐습니다.

GPU 공유 자체는 처음이 아닙니다

GPU 공유라는 전제는 이번 공개와 어긋나는 것이 없지만, 그 자체가 새 개념은 아닙니다. MIG는 2020년에 발표됐고 KAI Scheduler는 2025년 4월부터 오픈소스로 배포돼 왔습니다. 이번 공개의 실질적 변화는 CUDA 13.4가 메모리 경계를 강제하는 기능을 더하고, 이를 쿠버네티스 환경에서 쓰는 오픈소스 도구와 묶었다는 점입니다. 다만 이 조합이 AI 인프라 운용 방식을 구조적으로 바꾸는지는 몇 분기의 도입 관측이 더 필요합니다.

엔비디아의 공식 발표와 소스코드 원자료에 비춰 볼 때 고가 GPU를 여러 AI가 나눠 쓰고 메모리까지 통제하는 공유 기술을 공개했다는 주장은 사실입니다. 이후 확인할 지점은 주요 클라우드 사업자와 기업이 이 기능을 실제 배포에 얼마나 빨리 반영하는가입니다.