쿠팡 파트너스 활동의 일환으로 일정액의 수수료를 제공받을 수 있습니다.

오과장입니다. 오늘은 GLM-5.2를 4장 RTX 3090 24GB와 192GB RAM급 데스크톱에서 돌리는 게 현실적인지만 보겠습니다. 요즘 “오픈소스 모델이 이제 집에서도 프런티어급으로 돈다”는 말이 꽤 자극적으로 퍼지는데, GLM-5.2는 그 말이 반은 맞고 반은 위험한 대표 사례입니다.

RTX 3090 24GB 그래픽카드 제품 사진 — GLM-5.2용으로 연결한 RTX 3090 24GB급 그래픽카드 제품 사진입니다. 제품 사진: Coupang Partners.

짧은 답변

GLM-5.2는 RTX 3090 한 장짜리 PC에 올리는 모델이 아닙니다. 최근 LocalLLaMA에는 4x RTX 3090 + 192GB RAM 구성으로 약 7 tok/s급 실험 사례가 올라왔고, 다른 글에서는 768GB RAM 서버, M3 Ultra 512GB 맥 같은 극단적인 장비 이야기가 같이 나옵니다.

구매 판단은 단순합니다. 24GB 그래픽카드를 한 장 사서 GLM-5.2를 기대하면 실망합니다. 이미 데스크톱을 직접 조립하고 전원, 발열, 멀티 GPU, Linux 세팅을 감당할 사람만 3090 여러 장 조합을 검토할 만합니다.

이 도구가 뭔가요?

GLM-5.2는 Z.ai가 공개한 744B급 오픈 웨이트 대형 언어 모델입니다. 공식 GitHub는 1M 토큰 컨텍스트, 긴 코딩 작업, 에이전트형 작업을 강점으로 내세웁니다. 쉽게 말하면, 작은 챗봇 모델이 아니라 긴 코드베이스를 붙잡고 오래 일하도록 만든 초대형 모델입니다.

용어 먼저 정리

VRAM: 그래픽카드 전용 메모리입니다. 모델 일부와 KV cache가 여기 들어가면 속도가 확 좋아집니다.
RAM: 시스템 메모리입니다. GLM-5.2처럼 큰 모델은 GPU 메모리만으로 부족해서 RAM도 사실상 모델 저장 공간처럼 씁니다.
Quantization: 모델을 압축해서 메모리 사용량을 줄이는 방식입니다. Q2, Q3, Q4처럼 숫자가 낮을수록 가볍지만 품질 손실과 세팅 변수가 생깁니다.
GGUF: llama.cpp 계열에서 자주 쓰는 모델 파일 형식입니다. 로컬 LLM 커뮤니티에서 CPU/GPU 혼합 실행 때 자주 나옵니다.
KV cache: 긴 대화를 기억하기 위한 작업 메모리입니다. 컨텍스트를 크게 잡으면 모델 파일보다 이 메모리가 더 무섭게 늘어납니다.

왜 갑자기 GLM-5.2가 시끄러운가요?

공식 GitHub 저장소는 GLM-5.2를 긴 작업용 플래그십 모델로 설명합니다. 1M 토큰 컨텍스트, 코딩 성능, 생각 강도 조절, sparse attention 최적화가 핵심입니다. 공식 Hugging Face 블로그도 Terminal Bench 2.1, SWE-bench Pro 같은 코딩 벤치마크에서 GLM-5.1보다 크게 오른 수치를 보여줍니다.

하지만 Piella 독자에게 더 중요한 질문은 “벤치마크가 좋다”가 아닙니다. 내 책상 아래 PC에서 돌릴 수 있느냐입니다. 이 모델은 744B-A40B급 MoE 구조라서, 활성 파라미터는 일부만 쓰더라도 전체 가중치와 긴 컨텍스트가 장비를 압박합니다.

실사용 사례에서 나온 기준

1. 4x RTX 3090 + 192GB RAM: 2026년 6월 23일 전후 LocalLLaMA 글에서는 GLM-5.2를 4장 RTX 3090과 192GB RAM 예산형 보드에서 약 7 tok/s 수준으로 다루는 사례가 올라왔습니다. 댓글 흐름도 Q2 quant가 약 240GB급 가중치라는 점을 중심으로 이어집니다.

2. 768GB RAM CPU 서버: 다른 실사용 글은 Dell PowerEdge R740, Dual Xeon, 768GB RAM 구성에서 단일 NUMA 노드의 384GB RAM을 쓰고, 기본 채팅 4~5.5 tok/s, 코딩 시작 시 약 3 tok/s 정도를 언급합니다.

3. M3 Ultra 512GB: 속도 공유 스레드에는 M3 Ultra 512GB에서 18~24 tok/s대 생성 사례가 보입니다. 다만 커스텀 MLX, MTP, 디스어그리게이티드 prefill 같은 초보자에게 어려운 튜닝이 함께 붙습니다. 장비보다 실행기 이해도가 먼저 요구되는 영역입니다.

이 세 사례를 합치면 기준이 보입니다. GLM-5.2는 “로컬 실행 가능”이라는 말 자체는 맞습니다. 다만 여기서 로컬은 RTX 4060 노트북이나 32GB 데스크톱이 아니라, 서버급 RAM 또는 고용량 통합 메모리 맥 또는 멀티 GPU 워크스테이션을 뜻합니다.

이 제품 구경하러 가기

최소 사양과 권장 사양은 다릅니다

착각하기 쉬운 최소선

RTX 3090 24GB 한 장, RAM 64GB. 작은 모델에는 좋지만 GLM-5.2 본체를 기대하면 안 됩니다.

실험 시작선

RTX 3090 24GB 4장, RAM 192GB 이상, NVMe 2TB 이상, 1200W 이상급 전원. Q2급 저비트 실험권입니다.

편한 권장선

M3 Ultra 512GB, 512GB급 통합 메모리 워크스테이션, 또는 기업용 GPU 여러 장. 가격은 이미 취미 장비를 넘어갑니다.

병목은 하나가 아닙니다. 모델 가중치가 크니 저장공간이 필요하고, Q2 파일만 해도 240GB급 이야기가 나옵니다. 긴 컨텍스트까지 쓰면 KV cache가 추가됩니다. GPU 네 장을 꽂으면 VRAM 총량은 늘지만, 카드 간 통신, PCIe 레인, 전원, 케이스 공기 흐름, 드라이버가 전부 변수가 됩니다.

맥 계열과 NVIDIA 계열 체감 차이

맥 계열의 장점은 통합 메모리입니다. M3 Ultra 512GB 같은 장비는 “모델 전체를 한 덩어리 메모리에 올린다”는 관점에서 매력적입니다. 설정도 NVIDIA 멀티 GPU 서버보다 조용하고 단순하게 느껴질 수 있습니다.

반대로 NVIDIA는 CUDA 생태계가 강합니다. llama.cpp CUDA, SGLang, vLLM, KTransformers, 각종 커스텀 커널과 커뮤니티 실험이 NVIDIA 기준으로 먼저 공유되는 일이 많습니다. 4x3090 구성은 싸게 큰 VRAM 총량을 만들 수 있지만, 초보자에게는 전원 케이블과 발열부터 벽입니다.

어디를 낮추면 돌아가나요?

quant를 낮춥니다. Q4가 어렵다면 Q3, Q2로 내려가야 합니다.
컨텍스트를 줄입니다. 1M 컨텍스트는 홍보 포인트이지 개인 장비 기본값이 아닙니다.
KV cache 정밀도를 낮춥니다. 품질과 안정성 손해를 감수하고 메모리를 아낍니다.
CPU offload를 씁니다. 대신 속도는 크게 떨어질 수 있습니다.

설치/세팅 흐름

직접 테스트한 절차가 아니라, 공식 문서와 최근 커뮤니티 사례를 보고 초보자가 길을 잃지 않게 정리한 흐름입니다.

먼저 Hugging Face 모델 카드에서 라이선스, 파일 크기, 지원 프레임워크를 확인합니다.
Linux에서 NVIDIA 드라이버와 CUDA가 잡히는지 nvidia-smi로 확인합니다. 네 장 GPU라면 전력 제한도 같이 봅니다.
llama.cpp, SGLang, KTransformers, Unsloth 중 하나를 고릅니다. 공식 저장소는 GLM-5.2가 transformers, vLLM, SGLang, xLLM, ktransformers를 지원한다고 안내합니다.
처음부터 1M 컨텍스트를 켜지 말고 8K~32K로 시작합니다. 모델이 뜨는지, prefill과 generation 속도가 어느 정도인지 먼저 봅니다.
Q2/Q3/Q4 quant를 바꿔가며 응답 품질과 메모리 사용량을 기록합니다. “로드 성공”과 “일상적으로 쓸 만함”은 다릅니다.
코딩 에이전트에 붙일 때는 작은 저장소부터 테스트합니다. OpenCode나 Claude Code 호환 API로 연결하더라도 긴 문맥을 한 번에 넣으면 속도가 바로 떨어집니다.

잘 맞는 사람 / 보류할 사람

사도 되는 사람: Linux, 멀티 GPU, 파워서플라이, 케이스 발열, 드라이버 문제를 스스로 해결할 수 있고, GLM-5.2를 연구나 장기 코딩 에이전트 실험에 쓸 사람입니다.

보류할 사람: 클릭 몇 번으로 ChatGPT 대체품을 원하거나, 노트북 한 대로 프런티어급 모델을 쓰고 싶은 사람입니다. 이 경우 Qwen3, Gemma, Llama 계열의 7B~32B 모델이 훨씬 낫습니다.

자주 하는 질문

Q. RTX 4090 한 장이면 GLM-5.2가 되나요?

아닙니다. 24GB VRAM 한 장은 GLM-5.2 전체를 편하게 다룰 기준이 아닙니다. 작은 quant와 CPU/RAM offload로 “시도”는 가능해도 실사용 기대는 낮춰야 합니다.

Q. 4x3090이면 바로 업무용인가요?

바로 업무용이라고 보기 어렵습니다. 최근 사례도 대단한 실험이지만, 속도와 안정성은 quant, context, 실행기, PCIe 구성에 따라 크게 흔들립니다.

Q. M3 Ultra 512GB가 더 낫나요?

메모리 구조는 매우 유리합니다. 대신 가격이 높고, CUDA 중심 도구와는 다른 세계입니다. 조용한 단일 장비를 원하면 맥, 튜닝과 부품 교체를 원하면 NVIDIA 데스크톱 쪽입니다.

Q. 초보자는 어떤 모델로 시작하나요?

GLM-5.2가 아니라 7B~32B급 모델로 시작하는 편이 좋습니다. RTX 4060/5060 Ti/3090 한 장에서는 그쪽이 설치, 속도, 실패 비용 모두 낫습니다.

제품 소개와 구매 판단

RTX 3090 24GB 그래픽카드 추가 제품 사진 — RTX 3090 24GB급 제품 사진입니다. GLM-5.2는 한 장보다 여러 장과 대용량 RAM을 전제로 봐야 합니다. 제품 사진: Coupang Partners.

최종 CTA는 RTX 3090 24GB급 그래픽카드로 연결했습니다. 이유는 명확합니다. GLM-5.2에서 오늘 확인한 기준은 “GPU 한 장으로 끝”이 아니라 “24GB VRAM 카드를 여러 장 묶을 수 있는가”입니다. 이미 데스크톱 조립 경험이 있고 로컬 AI 서버를 만들 생각이라면 RTX 3090 24GB는 가격 대비 VRAM 총량을 맞추는 후보가 됩니다.

다만 이 글을 읽고 바로 네 장을 장바구니에 넣지는 마세요. 파워, 메인보드 슬롯, 케이스, 라이저, 냉각, 소음, 전기요금까지 같이 계산해야 합니다. 로컬 AI 입문용으로는 과합니다. GLM-5.2를 꼭 직접 만져야 하는 연구자나 개발자라면 검토, 그 외에는 더 작은 모델이나 클라우드 API가 훨씬 덜 피곤합니다.