쿠팡 파트너스 활동의 일환으로 일정액의 수수료를 제공받을 수 있습니다.

오과장입니다. 로컬 코딩 LLM을 장비 구매 관점에서 보면 “27B 모델이 좋다”보다 “내 책상 위 VRAM으로 진짜 대화가 되느냐”가 먼저입니다. 이번 글은 Qwen3.6-27B-MTP-GGUF 하나만 잡고, RTX 3060 12GB 두 장 조합이 실사용 진입점인지 따져봅니다.

RTX 3060 12GB급 그래픽카드 예시. 이번 글의 기준은 8GB 카드가 아니라 12GB VRAM을 두 장으로 묶는 구성입니다.

짧은 답변

RTX 3060 12GB 두 장은 Qwen3.6-27B-MTP-GGUF를 “돌려는 볼 수 있는” 수준을 넘어, 로컬 코딩 보조로 현실성이 있는 진입점입니다. 최근 Reddit의 Dual 3060 12GB 도움 글에는 Qwen3.6-27B를 opencode와 홈 어시스턴트 음성 처리에 쓰며 약 27 tokens/s를 본다는 설정 공유가 올라왔고, 캐시 양자화와 배치 크기 제한으로 OOM 피크를 낮춘 흔적이 있습니다.

하지만 초보자에게 가장 편한 답은 아닙니다. 새로 맞춘다면 24GB 단일 NVIDIA 카드가 더 단순하고, 이미 RTX 3060 12GB 한 장이 있거나 중고 12GB 카드를 싸게 구할 수 있을 때만 듀얼 구성이 설득력을 가집니다.

이 도구가 뭔가요?

Qwen3.6-27B-MTP-GGUF는 Qwen3.6 27B 모델을 llama.cpp 계열에서 쓰기 쉬운 GGUF 형식으로 묶은 로컬 실행용 모델입니다. MTP는 Multi-Token Prediction의 약자로, 다음 토큰을 한 번에 더 적극적으로 예측해 생성 속도를 끌어올리는 방식입니다. Hugging Face 모델 카드는 2026년 6월 말 기준으로 llama.cpp, Ollama, LM Studio, vLLM, SGLang, Unsloth Studio 실행 경로를 안내합니다.

왜 RTX 3060 12GB 두 장인가

RTX 3060은 최신 카드가 아닙니다. 그래도 로컬 LLM에서는 12GB VRAM이라는 숫자가 아직 살아 있습니다. 8GB GPU는 7B~14B 모델을 다루기에는 괜찮지만, 27B급 모델은 양자화를 낮추고 문맥 길이를 줄여도 금방 답답해집니다. 반면 RTX 3060 12GB 두 장은 총 24GB급 VRAM을 나눠 쓰는 방향으로 접근할 수 있어 Q4 계열 27B 모델이 현실권에 들어옵니다.

최근 7일 자료를 보면 분위기가 더 선명합니다. 4일 전 Reddit Dual 3060 글에서는 cache-type-k=q4_0, cache-type-v=q4_0, batch-size=256, ubatch-size=256, spec-type=draft-mtp, spec-draft-n-max=1처럼 메모리 피크를 누르는 설정이 공유됐습니다. 6일 전 다른 LocalLLaMA 댓글에서는 RTX 5070 Ti와 2070 혼합 구성으로 Qwen3.6 27B UD_Q5_K_XL, 112K 문맥, KV cache 양자화에서 약 28 tokens/s를 봤다는 경험도 나왔습니다. 즉 핵심은 “3060이 특별히 빠르다”가 아니라 “24GB 안팎의 VRAM과 캐시 절약 설정이 27B 실사용의 경계선”이라는 점입니다.

용어 먼저 정리

CUDA: NVIDIA GPU에서 AI 계산을 빠르게 돌리는 실행 환경입니다. llama.cpp를 GPU로 빌드할 때 버전 궁합이 중요합니다.

VRAM: 그래픽카드 전용 메모리입니다. 로컬 LLM에서는 GPU 성능보다 먼저 모델과 KV cache가 VRAM에 들어가는지가 막힙니다.

GGUF: llama.cpp, Ollama, LM Studio에서 많이 쓰는 로컬 모델 파일 형식입니다.

quantization: 모델 숫자 정밀도를 낮춰 파일 크기와 메모리 사용량을 줄이는 작업입니다. Q4, Q5, Q8처럼 표시하고, 낮출수록 가볍지만 품질 손실 가능성이 커집니다.

KV cache: 긴 대화의 앞부분을 다시 계산하지 않도록 저장하는 메모리입니다. 문맥 길이를 크게 잡을수록 이 캐시가 VRAM을 많이 먹습니다.

실사용 사례에서 나온 기준

첫 번째 기준은 “RTX 3060 12GB 한 장으로 27B가 넉넉하다”가 아니라는 점입니다. 4일 전 Dual 3060 12GB 글의 설정은 대화 서버를 안정적으로 올리기 위해 배치 크기와 캐시 정밀도를 낮춘 구성입니다. 약 27 tokens/s라는 숫자는 매력적이지만, 그 속도는 세팅을 만진 뒤의 결과이지 기본값 버튼 하나로 나오는 값이 아닙니다.

두 번째 기준은 긴 문맥입니다. 6일 전 혼합 GPU 댓글의 112K 문맥 사례는 Qwen3.6 27B가 큰 문맥에서도 가능성이 있다는 쪽이지만, 여기에도 KV cache 양자화가 붙습니다. 코딩 보조에서 저장소 전체를 계속 물고 가려면 모델 본체보다 캐시가 더 빨리 병목이 됩니다.

세 번째 기준은 오류입니다. 6일 전 llama.cpp 이슈 #25061은 2 x RTX 3060 환경에서 Qwen3.6-35B-A3B-MTP-GGUF를 큰 문맥으로 처리하다 CUDA 오류가 난 사례입니다. 모델은 35B-A3B라 이번 27B와 같지 않지만, 듀얼 3060과 큰 컨텍스트, CUDA, MTP 계열 조합에서 안정성 검증이 아직 중요하다는 경고로는 충분합니다.

최소 사양과 현실 권장 사양

맛보기

RTX 3060 12GB 1장, RAM 32GB, NVMe 여유 50GB 이상. 27B는 낮은 양자화와 짧은 문맥 위주라 코딩 보조 메인 장비로는 아슬아슬합니다.

이번 글의 현실선

RTX 3060 12GB 2장, RAM 64GB, NVMe 여유 80GB 이상, PCIe 슬롯 2개와 650W급 이상 파워. Q4~Q5 계열 Qwen3.6-27B를 로컬 코딩 LLM로 시도할 만합니다.

스트레스 줄이는 권장선

RTX 3090/4090/5090처럼 24GB 이상 단일 NVIDIA GPU. 듀얼 GPU 분할과 슬롯 병목을 피하고 설치 난이도를 낮추는 쪽입니다.

이 제품 구경하러 가기

병목은 VRAM, 캐시, 슬롯 순서로 온다

첫 병목은 VRAM입니다. Qwen3.6-27B Q4 계열은 모델 파일만 봐서는 들어갈 것처럼 보여도, 실제 대화에서는 KV cache가 붙습니다. 문맥 길이를 16K에서 64K, 112K로 올릴수록 캐시가 커지고, 그래서 최근 실사용 글들이 cache-type-k, cache-type-v, batch, ubatch 값을 함께 이야기합니다.

두 번째 병목은 PCIe 슬롯입니다. 듀얼 RTX 3060은 VRAM 24GB 단일 카드처럼 깔끔하게 동작하지 않습니다. 메인보드가 x16+x16 또는 x8+x8에 가까우면 낫지만, 두 번째 슬롯이 칩셋 경유 x1/x2라면 모델 분할에서 체감이 무너질 수 있습니다. “두 장 꽂으면 끝”이 아니라 보드 매뉴얼을 먼저 봐야 합니다.

세 번째 병목은 런타임입니다. Hugging Face 모델 카드에는 llama.cpp, Ollama, LM Studio, vLLM, SGLang이 모두 보입니다. 초보자는 LM Studio나 Ollama가 쉽고, 듀얼 GPU 분할과 MTP 세부 조절은 llama.cpp 쪽이 더 투명합니다. 서버 운용은 vLLM이 매력적일 수 있지만 설치 난이도와 GPU 지원 범위를 더 봐야 합니다.

RTX 3060 12GB급 카드의 쿨링 구조 예시. 두 장을 쓸 때는 VRAM뿐 아니라 케이스 슬롯, 흡기, 파워 케이블을 같이 봐야 합니다.

맥 계열과 NVIDIA 계열 체감 차이

Mac mini M4 24GB나 32GB는 조용하고 전력 효율이 좋습니다. Ollama나 MLX 계열로 Qwen 모델을 가볍게 다루기에는 만족도가 높고, 통합 메모리라 8GB VRAM 벽 같은 느낌은 덜합니다. 하지만 Qwen3.6-27B-MTP-GGUF의 최신 GGUF, draft-mtp, CUDA 빌드, 듀얼 GPU 분할 같은 실험은 NVIDIA 쪽 문서와 커뮤니티 속도가 더 빠릅니다.

NVIDIA 데스크톱은 귀찮습니다. 드라이버, CUDA, 컴파일, 전력, 발열이 모두 변수입니다. 대신 한 번 맞추면 로컬 에이전트, 코드 서버, OpenAI 호환 API, 긴 문맥 실험으로 넓게 뻗습니다. “조용한 개인용 AI 메모장”이면 맥, “로컬 코딩 LLM 실험실”이면 NVIDIA가 더 맞습니다.

낮추면 돌아가는 설정

1. 처음부터 Q8을 고집하지 말고 UD-Q4_K_XL, Q4_K 계열부터 시작합니다.

2. 문맥은 112K가 아니라 16K 또는 32K에서 안정성을 먼저 확인합니다.

3. spec-draft-n-max는 1처럼 보수적으로 시작해 MTP가 오히려 느려지는지 봅니다.

4. batch와 ubatch를 낮춰 순간 OOM 피크를 줄입니다.

5. CUDA 13.2는 Unsloth 문서에서도 피하라는 안내가 보입니다. 이상한 출력이나 CUDA 오류가 나면 12.x 또는 13.3 계열로 바꿔 봅니다.

설치/세팅 흐름

GPU와 슬롯을 먼저 확인합니다. RTX 3060 12GB 두 장, 파워 여유, 케이스 두께, 두 번째 PCIe 슬롯 배속을 확인합니다.
운영체제는 Linux 또는 WSL2를 우선 추천합니다. Windows 단독도 가능하지만 듀얼 GPU와 CUDA 로그를 보려면 Linux가 편합니다.
NVIDIA 드라이버와 CUDA를 설치합니다. Unsloth 문서 기준으로 CUDA 13.2는 피하고, 문제가 나면 12.x 또는 13.3 계열을 검토합니다.
git clone https://github.com/ggml-org/llama.cpp.git 후 CUDA 옵션으로 빌드하거나, 최신 릴리스의 CUDA 빌드를 내려받습니다.
모델은 unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL처럼 Q4 계열부터 받고, llama.cpp 서버를 OpenAI 호환 API로 띄웁니다.
첫 실행은 짧은 문맥, 작은 batch, spec-draft-n-max=1로 시작합니다. 이후 tokens/s, 첫 토큰 지연, VRAM 사용량, 긴 답변 중 멈춤을 보고 문맥과 캐시 정밀도를 올립니다.

되는 것 / 어려운 것

되는 것

개인 코드 리뷰, 함수 단위 리팩터링, 작은 저장소 설명, 로컬 문서 질의, opencode류 보조 작업은 충분히 노려볼 수 있습니다. 20 tokens/s 후반이면 코딩 대화가 완전히 답답한 수준은 아닙니다.

어려운 것

여러 명이 동시에 쓰는 서버, 128K 이상 문맥을 안정적으로 유지하는 작업, 높은 양자화 품질을 고집하는 에이전트 코딩은 24GB 단일 카드 또는 더 큰 GPU가 낫습니다.

사도 되는 사람 / 보류할 사람

사도 되는 사람은 이미 데스크톱이 있고, RTX 3060 12GB 한 장을 보유했거나 같은 12GB 카드를 싸게 추가할 수 있는 쪽입니다. 파워와 케이스 공간이 있고, llama.cpp 설정을 직접 만질 의지가 있다면 비용 대비 재미가 큽니다.

보류할 사람은 새 부품으로 깔끔하게 맞추려는 쪽입니다. RTX 3060 12GB 두 장 가격이 24GB 단일 카드와 가까워지면, 듀얼 GPU의 소음과 슬롯 고민까지 떠안는 의미가 줄어듭니다. 특히 노트북만 쓰는 환경이라면 eGPU나 중고 데스크톱까지 생각해야 하므로 총비용을 다시 계산해야 합니다.

자주 하는 질문

Q. RTX 4060 8GB 노트북으로 Qwen3.6-27B가 안 되나요?

아예 불가능하다고 말할 수는 없지만, 메인 용도로 권하기 어렵습니다. 낮은 양자화와 짧은 문맥, CPU/RAM 오프로딩에 기대게 되면 코딩 보조 체감이 크게 떨어질 수 있습니다.

Q. 듀얼 RTX 3060 12GB는 RTX 3090 24GB와 같나요?

같지 않습니다. VRAM 총량은 비슷하게 활용할 수 있어도 단일 24GB 카드는 분할, 슬롯, 카드 간 통신 문제가 적습니다. 편한 건 3090급 단일 카드, 가성비 실험은 듀얼 3060입니다.

Q. LM Studio로도 충분한가요?

초기 테스트에는 편합니다. 다만 최근 Qwen3.6 MTP 흐름은 llama.cpp의 draft-mtp 옵션과 빠르게 맞물리므로, 듀얼 GPU 분할과 속도 조절까지 하려면 llama.cpp를 직접 다루는 편이 낫습니다.

Q. RAM은 32GB면 되나요?

짧은 테스트는 가능하지만 현실 권장은 64GB입니다. 긴 문맥, 여러 모델 파일, 개발 도구, 브라우저를 같이 열면 32GB는 금방 좁습니다.

구매 판단

이번 글에서 연결한 상품은 MSI 지포스 RTX 3060 벤투스 2X OC D6 12GB 그래픽카드 (MSI코리아)처럼 RTX 3060 12GB 조건을 맞추는 그래픽카드입니다. 구매 전에는 이름에 12GB가 들어가는지, RTX 3060 Ti 8GB가 섞이지 않았는지, 보조전원 8핀과 카드 길이가 케이스에 맞는지, 파워가 최소 550W 이상인지 확인해야 합니다.

결론은 단순합니다. Qwen3.6-27B-MTP-GGUF를 로컬 코딩 LLM로 굴리고 싶고, 이미 데스크톱을 만질 수 있다면 RTX 3060 12GB 두 장은 아직 실험 가치가 있습니다. 하지만 지금 처음 사는 한 장이라면 12GB 한 장에 멈추지 말고, 24GB 단일 NVIDIA GPU 가격까지 반드시 같이 비교하세요.