오과장입니다. 요 며칠 로컬 LLM 쪽에서 가장 재미있는 흐름은 “큰 모델을 꼭 큰 그래픽카드에서만 돌려야 하느냐”가 아니라, MoE 모델을 8GB VRAM 노트북까지 얼마나 내려올 수 있느냐입니다. 오늘은 그중 하나인 Qwen3.6 35B-A3B GGUF를 RTX 4060 8GB 노트북에서 코딩 보조용으로 쓸 수 있는지 정리합니다.
짧은 답변
돌아가긴 합니다. 최근 LocalLLaMA 실사용 글에서는 RTX 4060 8GB 노트북, DDR5 RAM 32GB, Q5 계열 GGUF, llama.cpp 기반 세팅으로 Qwen3.6 35B-A3B를 약 37~43 tok/s 수준으로 썼다는 사례가 나왔습니다.
다만 “편하게 추천”은 아닙니다. 8GB VRAM만으로 끝나는 모델이 아니라 CPU RAM 오프로딩, KV 캐시 압축, GPU 레이어 조절이 같이 들어갑니다. 초보자는 RTX 4060 8GB + RAM 32GB를 최소선, RTX 4070/5070급 12GB 이상 + RAM 48~64GB를 권장선으로 보는 편이 안전합니다.
이 도구가 뭔가요?
Qwen3.6 35B-A3B는 알리바바 Qwen 계열의 오픈 웨이트 언어 모델입니다. 전체 파라미터는 35B지만 매 토큰마다 약 3B 정도만 활성화되는 MoE 구조라, 숫자만 보면 큰데 실제 추론은 더 가볍게 느껴질 수 있습니다.
GGUF는 llama.cpp 같은 로컬 실행 도구에서 쓰기 좋은 파일 형식입니다. 이 글에서는 원본 모델 그 자체보다, 처음 쓰는 사람이 내려받아 돌리는 Unsloth Qwen3.6 35B-A3B GGUF, APEX GGUF, MTP GGUF 계열을 기준으로 봅니다.
용어 먼저 정리
- VRAM: 그래픽카드 전용 메모리입니다. 모델 일부와 작업 중인 문맥을 올려두는 공간이라 부족하면 속도가 크게 떨어집니다.
- RAM 오프로딩: VRAM에 다 못 올리는 부분을 노트북 메인 메모리에 나눠 담는 방식입니다. 돌아가게는 해주지만 SSD보다 RAM, RAM보다 VRAM이 빠릅니다.
- MoE: 여러 전문가 중 일부만 골라 쓰는 구조입니다. Qwen3.6 35B-A3B는 35B 전체를 매번 다 쓰지 않고 약 3B 활성 파라미터를 씁니다.
- Quantization: 모델을 압축하는 방법입니다. Q8, Q6, Q5, Q4처럼 숫자가 낮아질수록 가벼워지지만 품질 손실이 생길 수 있습니다.
- KV 캐시: 긴 대화를 이어가기 위해 저장하는 문맥 메모리입니다. 컨텍스트를 길게 잡을수록 메모리를 많이 먹습니다.
실사용 사례에서 나온 기준
최근 7일 안의 커뮤니티 의견을 보면 기준이 꽤 선명합니다. 5월 10일 LocalLLaMA 글에서는 RTX 4060 8GB 노트북 + 32GB DDR5 RAM 조합으로 Qwen3.6 35B-A3B Q5 계열을 실행했고, 약 190K 컨텍스트를 걸어 37~43 tok/s, 세팅을 조절하면 51 tok/s까지 언급했습니다. 핵심 옵션은 --ctx-size 192640, --n-gpu-layers 430, --n-cpu-moe 35, --cache-type-k turbo4, --flash-attn on 같은 메모리 절약·분산 설정입니다.
반대로 같은 글의 댓글에서는 “35B 속도는 중독적이지만 결과는 27B보다 덜 똑똑하게 느껴진다”, “32GB라면 27B Q6와 125K 문맥이 더 단맛 나는 지점”이라는 의견도 있었습니다. 즉 8GB RTX 4060에서 Qwen3.6 35B-A3B를 돌리는 것은 가능성 증명에 가깝고, 매일 코딩 에이전트로 안정적으로 쓰려면 모델 크기와 양자화 수준을 욕심내지 않는 판단이 필요합니다.
5월 9일에는 RTX 4070 Super 12GB + RAM 48GB에서 MTP 지원 llama.cpp 빌드와 Qwen3.6 35B-A3B MTP GGUF로 128K 컨텍스트, 80 tok/s 이상을 봤다는 글도 올라왔습니다. 12GB VRAM으로 올라가면 설정 난이도는 여전히 있지만 체감 여유가 확실히 커집니다.
5월 12일의 16GB GPU + RAM 64GB 코딩 세팅 글은 더 보수적인 결론을 줍니다. 작성자는 Qwen3.6 35B-A3B를 에이전트 코딩에 쓰려면 Q8이 낫고, Q4는 길을 잃는 경우가 많다고 봤습니다. 이 의견을 노트북 구매로 번역하면, “RTX 4060도 가능하지만 8GB에서는 Q5 이하와 타협해야 하고, 품질을 챙기려면 16GB VRAM이나 넉넉한 시스템 RAM이 유리하다”입니다.
병목은 어디인가요?
RTX 4060 8GB의 첫 병목은 VRAM입니다. Qwen3.6 35B-A3B GGUF 파일은 양자화 버전에 따라 14GB, 17GB, 21GB, 24GB 이상까지 갑니다. 전부 VRAM에 올리는 방식이 아니라 일부는 RAM에 맡겨야 합니다.
두 번째 병목은 RAM입니다. 16GB RAM 노트북은 윈도우와 브라우저, IDE까지 같이 켜면 여유가 너무 얇습니다. 32GB가 최소선이고, 코딩 에이전트·긴 문맥·여러 서버를 같이 쓰면 64GB가 마음 편합니다.
세 번째는 세팅 난이도입니다. CUDA가 되는 NVIDIA GPU는 llama.cpp CUDA 빌드, Flash Attention, KV 캐시 타입 조절을 활용하기 쉽습니다. 맥 계열은 통합 메모리 덕분에 큰 모델을 올리는 맛은 있지만, 이 사례처럼 CUDA 옵션과 커뮤니티 튜닝을 그대로 따라가기는 어렵습니다.
최소 사양과 권장 사양
RTX 4060 8GB, RAM 32GB, SSD 1TB. Q5 이하 GGUF, RAM 오프로딩, 짧은 작업 중심으로 접근합니다.
RTX 4070/5070급 12GB 이상, RAM 48~64GB. 128K 문맥과 MTP, 더 높은 양자화까지 시도하기 좋습니다.
RTX 3050 4GB, RAM 16GB, SSD 512GB 단일 구성. 작은 7B 모델은 몰라도 35B-A3B 장난감으로는 답답합니다.
설치/세팅 흐름
- 드라이버 확인: NVIDIA 드라이버와 CUDA 지원 상태를 먼저 맞춥니다. 윈도우보다 리눅스에서 정보와 예제가 더 많습니다.
- llama.cpp 준비: llama.cpp를 CUDA 옵션으로 빌드하거나 CUDA 지원 바이너리를 받습니다.
- 모델 선택: 처음부터 Q8을 받지 말고 Q5_K_M, APEX Compact, Mini처럼 8GB 환경 후기가 있는 파일부터 시작합니다.
- 컨텍스트 낮게 시작: 192K 같은 큰 숫자부터 넣지 말고 32K, 64K, 128K 순서로 올립니다.
- GPU 레이어 조절:
--n-gpu-layers,--n-cpu-moe,--fit계열 옵션으로 VRAM 초과를 피합니다. - 코딩 도구 연결: OpenCode, Continue, VS Code 확장 등은 먼저 짧은 파일 수정 작업으로 검증하고, 장기 에이전트 작업은 안정화 뒤에 맡깁니다.
설정을 낮출 때의 우선순위
처음 실행에서 오류가 나면 모델을 바로 탓하기보다 메모리 사용량을 한 단계씩 줄이는 편이 좋습니다. 가장 먼저 컨텍스트를 낮춥니다. 192K를 목표로 하더라도 첫 실행은 32K나 64K로 시작해야 원인을 찾기 쉽습니다. 다음은 양자화 파일을 낮춥니다. Q8이 막히면 Q6, Q6이 답답하면 Q5, 그래도 불안정하면 APEX Compact처럼 파일 크기가 작은 버전을 고릅니다. 마지막으로 동시에 켜는 프로그램을 줄입니다. 로컬 LLM 서버, 브라우저 탭 여러 개, Docker, IDE, 영상 녹화 프로그램이 함께 켜지면 32GB RAM도 금방 좁아집니다.
포기해야 할 지점도 분명합니다. 8GB VRAM에서 초장문 컨텍스트, 높은 양자화, 빠른 토큰 속도, 에이전트 코딩 안정성을 한 번에 얻기는 어렵습니다. 하나를 얻으려면 하나는 내려놔야 합니다. 코드 자동완성처럼 짧고 자주 부르는 작업은 작은 모델을 따로 쓰고, Qwen3.6 35B-A3B는 긴 설명이나 계획 수립처럼 무거운 작업에만 쓰는 식의 분리 운용이 더 깔끔합니다.
되는 것 / 어려운 것
- 개인 코드 설명, 작은 파일 수정
- 긴 문서 요약 실험
- 로컬 서버로 다른 기기에서 접속
- Q8 품질로 넉넉하게 돌리기
- IDE, 브라우저, Docker까지 동시에 켜기
- 초보자가 오류 없이 한 번에 세팅하기
그래서 이 조합은 “노트북 하나로 로컬 AI를 배워보고 싶은 사람”에게 맞습니다. 회사 업무용 메인 장비로 조용하고 오래 가는 노트북을 찾는 경우라면 방향이 다릅니다. 팬 소음과 전력 소모를 감수하고서라도 직접 모델을 내려받고, 옵션을 바꿔보고, 실패 로그를 읽을 의지가 있을 때 가치가 살아납니다.
자주 하는 질문
RTX 4060 8GB면 Qwen3.6 35B-A3B를 추천하나요?
실험용으로는 흥미롭습니다. 다만 매일 안정적으로 코딩 보조를 맡길 목적이면 27B급 고품질 양자화나 12GB 이상 GPU가 더 편합니다.
RAM 16GB 노트북은 안 되나요?
작은 모델은 됩니다. 하지만 이 조합은 RAM 오프로딩을 전제로 하므로 16GB는 운영체제와 IDE를 켜는 순간 여유가 거의 없습니다.
맥북이나 맥미니 M4 16GB는 어떤가요?
통합 메모리 덕분에 작은 모델 실험은 좋습니다. 그러나 이 글의 RTX 4060 사례처럼 CUDA, Flash Attention, 커뮤니티 스크립트를 그대로 따라가는 용도는 NVIDIA 쪽이 더 쉽습니다.
처음 받을 모델은 어떤 양자화가 좋나요?
8GB VRAM이면 Q5나 APEX Compact/Mini 계열부터 시작하는 편이 낫습니다. Q8은 품질은 좋지만 이 급 노트북에서는 메모리 압박이 큽니다.
구매 판단
Qwen3.6 35B-A3B GGUF를 기준으로 노트북을 고른다면 “RTX 4060이면 끝”이라고 보면 안 됩니다. RTX 4060 8GB는 출발선이고, 실제 만족도는 RAM 32GB 이상, SSD 1TB, 냉각 설계, 전원 연결 시 지속 성능에서 갈립니다. 이미 RTX 4060 노트북을 갖고 있다면 먼저 Q5 계열로 시도해볼 만합니다. 새로 산다면 RAM 업그레이드가 막힌 16GB 모델보다, 32GB 구성이나 업그레이드 가능한 게이밍 노트북을 고르는 쪽이 낫습니다.
Piella 독자에게 연결하기 좋은 현실적인 선택지는 Lenovo LOQ 같은 RTX 4060급 게이밍 노트북입니다. 최고급 로컬 AI 머신은 아니지만, 가격과 실험 가능성 사이의 균형이 괜찮습니다. 단, 구매 전에는 반드시 RAM 용량과 추가 장착 가능 여부를 확인하는 것이 좋습니다.