오과장입니다. 이번 글은 “요즘 로컬 코딩 LLM이 좋다더라” 수준의 모음이 아니라, nvidia/Qwen3.6-27B-NVFP4를 RTX 5090 32GB급 데스크톱 GPU에서 현실적으로 굴릴 수 있느냐만 따져봅니다. 결론부터 말하면, 설치와 드라이버를 만지는 데 거부감이 없다면 RTX 5090은 이 모델을 장문 코딩 보조로 쓰기 좋은 쪽입니다. 다만 “그냥 노트북 하나 사면 다 된다”는 이야기는 아닙니다. 27B 모델, 256K 컨텍스트, vLLM, NVFP4, MTP가 한꺼번에 나오면 병목은 GPU 이름보다 VRAM, CUDA 세대, 컨테이너 호환성, 전력/발열 관리에서 갈립니다.
짧은 답변
살 만한 기준: Qwen3.6-27B를 코딩, 리팩터링, 긴 로그 분석에 자주 쓸 사람이라면 RTX 5090 32GB + 시스템 RAM 64GB 이상, 가능하면 128GB 조합이 현실적인 권장선입니다.
버틸 수 있는 기준: 24GB GPU도 양자화와 컨텍스트 제한을 잘 걸면 가능하지만, 200K 이상 장문 컨텍스트나 동시 요청까지 생각하면 타협이 많아집니다.
보류할 기준: 맥 64GB/128GB 통합 메모리는 조용하고 편하지만, 이 글의 NVFP4/vLLM/RTX 5090 속도 사례를 그대로 기대하면 안 됩니다.
이 도구가 뭔가요?
Qwen3.6-27B는 코딩과 일반 추론에 쓰는 27B급 오픈 웨이트 LLM입니다. NVIDIA가 공개한 Qwen3.6-27B-NVFP4 모델 카드는 이 모델이 Alibaba Qwen3.6-27B의 NVFP4 양자화 버전이며 NVIDIA Model Optimizer로 변환됐다고 설명합니다. 쉽게 말해, 원본 27B 모델을 RTX 최신 세대에서 더 빠르고 작게 돌리기 좋게 줄인 패키지입니다.
용어 먼저 정리
- VRAM: 그래픽카드 안의 메모리입니다. 모델 본체, KV cache, 긴 컨텍스트가 여기에 올라가야 빠릅니다.
- NVFP4: NVIDIA GPU에 맞춘 4비트 계열 표현 방식입니다. 메모리를 줄이면서 최신 RTX에서 속도를 노리는 형식입니다.
- vLLM: LLM을 서버처럼 띄우는 추론 엔진입니다. OpenAI 호환 API로 에디터나 코딩 도구와 붙이기 좋습니다.
- MTP/speculative decoding: 다음 토큰 후보를 미리 뽑아 속도를 올리는 방식입니다. 잘 맞으면 빠르지만 조합이 까다롭습니다.
- 컨텍스트: 모델이 한 번에 읽는 코드, 문서, 로그의 길이입니다. 256K가 가능하다는 말은 긴 프로젝트 문맥을 넣을 수 있다는 뜻이지만, 메모리 사용량도 같이 커집니다.
실사용 사례에서 나온 기준
최근 7일 이내 공개된 근거만 보면 방향이 꽤 분명합니다. Reddit LocalLLaMA의 nvidia/Qwen3.6-27B-NVFP4 토론에는 RTX PRO 4000 Blackwell 24GB에서 vLLM Docker로 안정 설정을 찾는 사례와, RTX 5090 1장으로 256K 컨텍스트와 높은 토큰 속도를 노린 사례가 함께 묶여 있습니다. Hacker News의 Qwen3.6 27B 로컬 개발 토론에서는 2장의 RTX 3090으로 코딩 작업에 110 tokens/s를 본 사례, RTX 5090 + 128GB RAM 쪽이 70~100 tokens/s급 선택지라는 의견, M5 Max 128GB에서 무난하지만 전력 소모가 크다는 의견이 같이 나왔습니다. 또 3일 전 GitHub에 올라온 Qwen3.6-27B DFlash 레시피는 stock vLLM 대비 decode 병목을 줄이는 실험을 공개하면서, 단순 모델 파일보다 컨테이너와 커널 최적화가 성능을 크게 좌우한다는 점을 보여줍니다.
핵심 판단: “27B니까 24GB면 충분하겠지”가 아니라, 어떤 양자화와 어떤 컨텍스트 길이를 쓰느냐가 기준입니다.
Ollama 태그 페이지도 qwen3.6:27b 계열을 17GB, 20GB, 30GB, 55GB 등 여러 크기로 나눠 보여줍니다. 같은 27B라도 Q4, NVFP4, Q8, BF16에 따라 필요한 메모리가 완전히 달라집니다.
최소 사양과 현실 권장 사양
최소로 맛보기
GPU 16~24GB, RAM 32~64GB. 짧은 컨텍스트, 낮은 quant, GGUF/MLX/Ollama 중심이면 가능성이 있습니다. 대신 장문 프로젝트 전체를 넣거나 빠른 동시 추론은 기대치를 낮춰야 합니다.
현실 권장
RTX 5090 32GB, 시스템 RAM 64GB 이상, Linux, 최신 NVIDIA 드라이버와 CUDA 컨테이너. 128GB RAM이면 여러 서버, IDE, 브라우저, 긴 로그를 같이 열 때 여유가 커집니다.
욕심 구간
256K 컨텍스트, MTP, 여러 동시 요청, 낮은 지연시간까지 원하면 단일 5090도 세팅빨이 큽니다. RTX PRO 6000급 48~96GB나 3090 2장 같은 구성이 더 편할 수 있습니다.
병목은 어디서 오나요?
첫 병목은 VRAM입니다. 모델 파일만 20GB 안팎이라도 긴 컨텍스트를 쓰면 KV cache가 붙고, vLLM 서버 오버헤드와 CUDA 그래프, speculative decoding 버퍼가 같이 올라갑니다. 그래서 24GB GPU 사례는 “돌아간다”에 가깝고, 32GB RTX 5090은 “속도와 컨텍스트를 같이 욕심낼 수 있다”에 가깝습니다.
둘째 병목은 소프트웨어 조합입니다. NVFP4는 NVIDIA 최신 GPU 쪽에 맞춘 선택지라 Metal 기반 맥이나 오래된 CUDA 세대에서 같은 레시피를 기대하면 안 됩니다. 커뮤니티 글에서도 vLLM, DFlash, FlashInfer, ModelOpt, 특정 Docker 이미지가 성능 차이를 만든다는 이야기가 반복됩니다. 셋째 병목은 전력과 발열입니다. RTX 5090을 조용하게 쓰려면 케이스 공기 흐름, 파워 용량, 언더볼팅/전력 제한이 성능만큼 중요합니다.
맥 계열과 NVIDIA 계열 차이
맥: 통합 메모리가 커서 64GB/128GB 모델을 올리기 쉽고 소음이 낮습니다. MLX/Ollama로 쓰면 편합니다. 단, 이 글의 NVFP4/vLLM/RTX 최적화 사례와 속도 비교를 1:1로 하면 손해입니다.
NVIDIA: 설치는 거칠지만 vLLM, CUDA, FlashInfer, ModelOpt, MTP 같은 최신 추론 스택의 중심입니다. Qwen3.6-27B를 코딩 서버로 물릴 생각이면 RTX 5090 쪽이 더 공격적인 선택입니다.
설치/세팅 흐름
- Linux 환경을 준비합니다. WSL보다 네이티브 Ubuntu 계열이 드라이버와 Docker 문제를 줄이기 쉽습니다.
- NVIDIA 드라이버와 CUDA 컨테이너 런타임을 맞춥니다. 먼저
nvidia-smi로 RTX 5090과 드라이버 버전을 확인합니다. - Hugging Face에서
nvidia/Qwen3.6-27B-NVFP4또는 검증된 vLLM용 파생 레시피를 내려받습니다. - vLLM Docker로 OpenAI 호환 서버를 띄웁니다. 처음에는
--max-model-len을 낮게 잡고, 안정화 뒤 64K, 128K, 256K 순서로 올립니다. - IDE나 코딩 에이전트에는
http://localhost:8000/v1같은 엔드포인트를 연결합니다. Aider, Continue, OpenCode류 도구는 OpenAI 호환 API를 쓰면 붙이기 쉽습니다. - 문제가 생기면 먼저 batch size, max tokens, max model length, speculative decoding 옵션을 낮춥니다. CUDA OOM은 모델 문제가 아니라 설정 문제인 경우가 많습니다.
되는 것 / 어려운 것
되는 것
- 긴 코드베이스 일부를 넣고 리팩터링 방향 묻기
- 로컬 API 서버로 에디터와 연결하기
- 개인 코드와 로그를 외부 API에 보내지 않고 분석하기
- 짧은 응답에서는 상용 API에 가까운 체감 속도 만들기
어려운 것
- 모든 설정을 자동으로 잡아주는 원클릭 경험
- 노트북 RTX 5090에서 데스크톱 RTX 5090과 같은 결과 기대
- 256K 컨텍스트와 최고 속도, 저소음을 동시에 달성
- CUDA와 Docker를 전혀 모르고 안정 서버로 운영
사도 되는 사람 / 보류할 사람
사도 되는 사람은 명확합니다. 하루에도 여러 번 긴 코드, 로그, 설계 문서를 로컬에서 돌리고, 세팅 시간을 투자할 의향이 있으며, 외부 API 비용과 보안 부담을 줄이고 싶은 개발자입니다. 특히 RTX 4090을 새로 사려던 사람이면 32GB VRAM과 Blackwell 계열 최적화 가능성을 보고 RTX 5090으로 바로 가는 판단이 더 깔끔할 수 있습니다.
보류할 사람도 명확합니다. 채팅 몇 번, 짧은 파이썬 코드 보조, 가끔 문서 요약 정도면 8B~14B 모델과 12~16GB GPU로도 충분합니다. 맥북 하나로 조용하게 쓰는 경험을 원하면 M 계열 64GB 이상도 여전히 매력적입니다. 대신 이 글에서 다룬 NVFP4/vLLM 고속 레시피의 주무대는 NVIDIA 쪽이라는 점을 분리해서 봐야 합니다.
자주 하는 질문
Q. RTX 5060 Ti 16GB로도 되나요?
일부 quant와 짧은 컨텍스트는 가능하지만, 이 글의 목표인 Qwen3.6-27B-NVFP4 장문 코딩 서버 기준으로는 권장선이 아닙니다.
Q. RTX 3090 24GB 중고 2장이 더 낫나요?
HN 사례처럼 2장 구성은 여전히 강합니다. 다만 전력, 발열, 중고 리스크, 멀티 GPU 설정을 감당해야 합니다.
Q. 맥북 프로 128GB면 충분한가요?
모델을 올리고 쓰는 경험은 좋을 수 있습니다. 다만 vLLM/NVFP4/RTX 5090 최적화 속도와는 다른 길입니다.
Q. 128GB RAM은 필수인가요?
필수는 아니지만 추천입니다. 모델 서버, IDE, 브라우저, Docker, 긴 로그를 함께 열면 64GB는 생각보다 빨리 좁아집니다.
구매 판단
Qwen3.6-27B-NVFP4를 보고 장비를 산다면 “AI가 되나요?”보다 “긴 컨텍스트를 로컬 코딩 워크플로에 붙일 건가요?”가 먼저입니다. 그렇다면 RTX 5090 32GB, RAM 64~128GB, NVMe 2TB 이상, 1000W급 이상 파워, 통풍 좋은 케이스를 한 세트로 봐야 합니다. GPU만 좋고 RAM과 케이스가 약하면 장문 추론에서 금방 답답해집니다.
이번에 연결한 제품은 RTX 5090 32GB 단품입니다. 이미 데스크톱을 맞출 생각이 있고, 파워와 케이스 여유가 있는 사람에게 맞는 선택지입니다. 반대로 완제품 노트북으로 조용히 쓰고 싶은 사람은 이 제품군이 아니라 맥 64GB 이상 또는 RTX 5080/5090 노트북의 실제 VRAM 표기를 따로 봐야 합니다.
정리하면, Qwen3.6-27B-NVFP4는 “로컬 AI가 이제 장난감이 아니다”를 보여주는 쪽에 가깝습니다. 하지만 그만큼 장비 기준도 솔직해야 합니다. 가볍게 맛보는 로컬 LLM이면 16GB GPU도 길이 있습니다. 장문 코딩 서버를 내 책상 밑에 두겠다면, RTX 5090 32GB급부터가 이번 모델을 제대로 만지는 출발선입니다.