쿠팡 파트너스 활동의 일환으로 일정액의 수수료를 제공받을 수 있습니다.

오과장입니다. 오늘은 Qwen3-30B-A3B-Instruct-2507을 집이나 사무실 PC에서 로컬 코딩·문서 요약용으로 굴릴 때, RTX 3090/4090 24GB급 그래픽카드가 현실적인 선인지 따져보겠습니다. 직접 벤치마크를 돌린 글은 아니고, 최근 7일 안에 올라온 공개 벤치 리포트와 공식 모델 정보를 바탕으로 구매 판단에 필요한 선만 정리했습니다.

Qwen3-30B-A3B-Instruct-2507 공식 이미지 — Qwen3-30B-A3B-Instruct-2507 공식 모델 카드 이미지

짧은 답변

Qwen3-30B-A3B를 vLLM으로 제대로 써보고 싶다면 12GB GPU보다 24GB VRAM 카드가 기준선입니다. 최근 RTX 3090 단일 카드 리포트에서는 vLLM 컨테이너가 약 20.8GB VRAM을 쓰는 사례가 올라왔고, RTX 5090 Laptop 24GB급에서도 22GB 이상이 잡힌 사례가 있습니다.

따라서 “돌아간다”의 최소선은 RTX 3090 24GB, “새로 산다”의 권장선은 RTX 4090/5090급 24GB 이상입니다. 16GB 카드는 양자화와 짧은 컨텍스트로 타협해야 하고, 8~12GB 카드는 이 모델을 메인으로 잡기보다 8B급 모델이 맞습니다.

이 도구가 뭔가요?

Qwen3-30B-A3B-Instruct-2507은 알리바바 Qwen 계열의 오픈 가중치 LLM입니다. 전체 파라미터는 30.5B지만 한 번에 활성화되는 파라미터가 3.3B인 MoE 구조라, 크기 대비 응답 속도와 품질의 균형을 노린 모델입니다. 공식 모델 카드는 256K 긴 컨텍스트와 코딩·문서 이해 성능 개선을 강조합니다.

용어 먼저 정리

VRAM: 그래픽카드 전용 메모리입니다. 모델 가중치와 KV cache가 여기에 올라갑니다.
CUDA: NVIDIA GPU에서 AI 연산을 빠르게 돌리는 기본 가속 환경입니다.
vLLM: 여러 요청을 효율적으로 처리하는 LLM 서버 엔진입니다. 로컬 챗봇보다 “작은 사내 API 서버”에 가깝습니다.
quantization: 모델 무게를 16비트에서 8비트·4비트로 줄이는 압축입니다. VRAM은 아끼지만 품질과 호환성에서 타협이 생길 수 있습니다.
KV cache: 긴 대화를 이어갈 때 저장되는 중간 계산 메모리입니다. 컨텍스트를 길게 잡을수록 VRAM을 크게 먹습니다.

왜 RTX 3090/4090 24GB가 기준이 되나요?

Qwen3-30B-A3B는 “30B인데 활성 3.3B라 가볍다”는 문장만 보면 12GB 그래픽카드에서도 넉넉할 것처럼 보입니다. 하지만 실제 서버 구동에서는 가중치, KV cache, CUDA 런타임, 컨테이너 오버헤드가 함께 올라갑니다. 특히 vLLM은 긴 컨텍스트와 동시 요청을 염두에 둔 엔진이라, 단순 채팅 앱보다 VRAM 여유가 중요합니다.

실사용 사례에서 나온 기준

2026년 5월 10일 공개 리포트: Strix Halo 미니PC에 Oculink eGPU RTX 3090 24GB를 붙여 vLLM Qwen 계열 27B/30B급 컨테이너를 구동했고, nvidia-smi 기준 약 20.8GB VRAM을 사용했습니다.
2026년 5월 7일 리포트: RTX 5090 Laptop 24GB급 WSL2 환경에서도 컨테이너 구동 중 약 22.6GB VRAM 사용이 보였습니다. 노트북 24GB도 여유가 아주 넓지는 않다는 뜻입니다.
2026년 5월 9일 리포트: RTX A5000 24GB와 RTX 3090 24GB를 함께 쓰는 듀얼 eGPU 구성은 카드당 23GB 이상을 점유했습니다. 큰 모델을 “여러 명이 쓰는 서버”로 열면 단일 24GB도 빠듯해집니다.

이 기준으로 보면 8GB RTX 4060 노트북은 Qwen3 8B나 작은 코딩 모델용으로 보는 편이 안전합니다. 12GB RTX 4070 SUPER도 30B-A3B를 억지로 압축해 띄우는 실험은 가능할 수 있지만, 긴 문서 요약과 코딩 보조를 편하게 쓰는 장비로 추천하기 어렵습니다.

이 제품 구경하러 가기

최소 사양과 현실적 권장 사양

최소선: RTX 3090 24GB, 시스템 RAM 32GB, NVMe 여유 80GB 이상, Ubuntu/WSL2, 최신 NVIDIA 드라이버와 CUDA 13 계열 런타임.

권장선: RTX 4090 24GB 또는 RTX 5090 Laptop 24GB급, 시스템 RAM 64GB, NVMe 1TB 이상, Docker와 NVIDIA Container Toolkit 사용.

피해야 할 선: 8GB GPU, 16GB 시스템 RAM, SATA SSD, 드라이버 업데이트가 막힌 구형 노트북. 모델을 띄워도 컨텍스트와 속도에서 바로 막힙니다.

맥 계열과 NVIDIA 계열의 체감 차이

맥 미니 M4 Pro나 맥북 프로 48GB/64GB 모델은 통합 메모리 덕분에 GGUF 양자화 모델을 로컬 채팅으로 돌리기 좋습니다. 조용하고 전력도 낮습니다. 다만 Qwen3-30B-A3B를 vLLM CUDA 서버처럼 운영하려면 NVIDIA 쪽이 훨씬 수월합니다. vLLM, Docker, CUDA, NVIDIA Container Toolkit 조합은 자료가 많고, 최근 벤치 리포트도 대부분 NVIDIA VRAM 기준으로 공유됩니다.

정리하면 맥은 “개인용 조용한 로컬 챗봇”, RTX 3090/4090 데스크톱은 “코딩 보조 API 서버와 긴 문서 처리”에 가깝습니다. 맥에서 안 된다는 뜻은 아니지만, 같은 돈으로 이 모델 하나를 목표로 한다면 24GB NVIDIA 카드가 판단이 쉽습니다.

어떤 설정을 낮추면 돌아가나요?

컨텍스트 길이를 먼저 낮춥니다. 256K는 모델의 가능성이지 24GB PC의 기본값이 아닙니다.
동시 요청 수를 1명 기준으로 줄입니다. 여러 명이 동시에 쓰면 KV cache가 빠르게 늘어납니다.
가능하면 4비트·8비트 양자화 버전을 찾습니다. 다만 vLLM 호환성과 품질은 모델별로 확인해야 합니다.
웹브라우저, 게임 런처, 디스플레이 점유 GPU 작업을 끕니다. 24GB에서도 1~2GB 여유가 체감됩니다.

병목은 무엇인가요?

이 조합의 첫 번째 병목은 CPU가 아니라 VRAM입니다. 모델을 올리고 나면 남은 공간에 KV cache가 쌓이는데, 긴 문서를 한 번에 넣거나 대화를 오래 이어가면 남은 2~4GB가 금방 사라집니다. 그래서 “24GB니까 충분하다”가 아니라 “24GB부터 시작할 수 있다”에 가깝습니다.

두 번째 병목은 저장공간입니다. 모델 파일, Docker 이미지, 캐시, 로그를 합치면 80GB 여유도 빠듯하게 느껴질 수 있습니다. NVMe 1TB를 권하는 이유는 속도보다도 여유 공간 때문입니다.

세 번째 병목은 드라이버와 컨테이너 호환성입니다. 최근 사례가 CUDA 13.x와 최신 vLLM 이미지를 쓰고 있어, 오래 방치한 Windows 노트북이나 제조사 드라이버만 쓰는 PC에서는 설치 단계에서 시간을 잡아먹을 가능성이 큽니다.

설치/세팅 흐름

NVIDIA 드라이버를 먼저 맞춥니다. 최근 리포트들은 595/596 계열 드라이버와 CUDA 13.x 런타임을 사용했습니다.
Ubuntu 24.04 또는 WSL2 환경을 준비하고 nvidia-smi로 GPU 이름과 VRAM 24576MiB 안팎이 보이는지 확인합니다.
Docker와 NVIDIA Container Toolkit을 설치한 뒤 docker run --gpus all nvidia/cuda:13.0.0-base nvidia-smi처럼 컨테이너 안에서도 GPU가 보이는지 확인합니다.
vLLM 이미지를 사용해 Qwen 모델을 띄웁니다. 예시는 vllm/vllm-openai:nightly 계열이지만, 실제 운영은 안정 버전과 모델 호환 공지를 같이 확인해야 합니다.
첫 실행은 컨텍스트와 동시성을 낮게 잡습니다. 예를 들어 최대 토큰과 동시 요청을 보수적으로 시작한 뒤 VRAM 사용량을 봅니다.
OpenAI 호환 API 엔드포인트가 뜨면 에디터 플러그인이나 사내 문서 요약 스크립트에서 http://localhost:8000/v1 형태로 붙입니다.

되는 것 / 어려운 것

되는 것: 개인 코딩 보조, 긴 README 요약, 사내 문서 질의응답 프로토타입, 로컬 API 서버 실험.

어려운 것: 256K 컨텍스트 상시 사용, 여러 명 동시 접속, 8GB 노트북에서 쾌적한 30B 운용, 게임과 AI 서버를 같은 GPU에서 동시에 돌리기.

사도 되는 사람 / 보류할 사람

사도 되는 사람은 이미 로컬 LLM을 쓰고 있고, 8B 모델 답변 품질에 아쉬움을 느끼며, Docker·WSL2 정도는 만질 수 있는 사람입니다. 특히 코딩 보조와 문서 요약을 로컬에서 처리하고 싶은 경우 RTX 4090 24GB 데스크톱은 아직도 판단이 깔끔합니다.

보류할 사람은 “AI도 해볼까?” 정도의 입문자입니다. 이 경우 RTX 4060/4070 노트북에 Ollama 8B 모델부터 써보고, 실제로 매일 쓴다는 확신이 생긴 뒤 24GB 카드로 넘어가는 편이 낫습니다.

RTX 4090 데스크톱 상품 이미지 — 구매 판단용 예시: RTX 4090 24GB 탑재 데스크톱

한 가지 더 중요한 점은 전력과 소음입니다. RTX 4090 데스크톱은 로컬 LLM을 오래 돌릴 때 성능은 좋지만, 책상 옆에 두면 팬 소리와 발열이 분명히 느껴질 수 있습니다. 거실용 조용한 PC를 기대한다면 미니PC보다 크고 시끄럽다는 현실도 같이 계산해야 합니다.

자주 하는 질문

Q. RTX 3060 12GB로는 안 되나요?
가능성을 실험하는 수준은 몰라도, 이 글의 기준인 Qwen3-30B-A3B vLLM 운용에는 추천하지 않습니다. 8B급 Qwen이나 Llama 계열을 고르는 편이 낫습니다.

Q. RTX 3090 중고가 더 낫나요, RTX 4090 새 제품이 낫나요?
예산만 보면 3090 중고가 매력적입니다. 다만 전력, 발열, 보증, 장시간 서버 운용까지 보면 새 데스크톱 완제품이나 4090 쪽이 마음 편합니다.

Q. RAM은 32GB면 충분한가요?
혼자 쓰는 테스트는 32GB로 시작할 수 있습니다. 브라우저, IDE, Docker, 문서 작업을 같이 열면 64GB가 훨씬 안정적입니다.

Q. 맥북 프로 64GB와 RTX 4090 데스크톱 중 하나만 산다면요?
이 모델을 vLLM/CUDA 서버로 쓰는 목적이면 RTX 4090 데스크톱입니다. 이동성과 조용한 개인 사용이 중요하면 맥북 프로가 더 맞습니다.

출처와 확인 링크

구매 판단

최종 판단은 간단합니다. Qwen3-30B-A3B를 오늘 기준 로컬에서 의미 있게 쓰려면 “VRAM 24GB, 시스템 RAM 64GB 권장, NVMe 넉넉함, NVIDIA 드라이버 관리 가능”이 핵심입니다. 그래서 쿠팡에서는 RTX 4090 24GB가 명시된 완제품 데스크톱을 연결했습니다. 가격이 크기 때문에 입문용 추천은 아니고, 로컬 LLM을 이미 업무 흐름에 넣은 사람에게 맞는 선택지입니다.