쿠팡 파트너스 활동의 일환으로 일정액의 수수료를 제공받을 수 있습니다.

오과장입니다. 오늘 볼 조합은 Qwen3.6-35B-A3B 계열을 RTX 5060 Ti 16GB 데스크톱에서 로컬 코딩 보조로 굴리는 경우입니다. 핵심은 “35B 모델이 16GB VRAM에 통째로 들어간다”가 아니라, MoE 구조와 GGUF 양자화, CPU/RAM 오프로딩을 이용하면 실제 작업 속도까지 노려볼 수 있다는 쪽입니다.

RTX 5060 Ti 16GB 그래픽카드 제품 이미지 — 이번 글의 기준 하드웨어는 RTX 5060 Ti 16GB급 데스크톱 GPU입니다.

짧은 답변

RTX 5060 Ti 16GB는 Qwen3.6-35B-A3B를 ‘입문용 최저선’이 아니라 ‘만져볼 수 있는 현실선’으로 봐야 합니다. 64GB RAM, 빠른 NVMe, 최신 CUDA 드라이버, llama.cpp 또는 LM Studio GGUF 조합이면 코딩 질문과 짧은 파일 수정 보조는 가능합니다. 다만 긴 리포지터리 전체를 128K 이상으로 계속 물고 가는 작업, 여러 사람이 동시에 쓰는 서버, 완전 초보자의 원클릭 환경까지 기대하면 RTX 5090 32GB나 2장 구성 쪽이 훨씬 편합니다.

이 도구가 뭔가요?

Qwen3.6-35B-A3B는 Qwen 팀이 공개한 오픈 웨이트 모델로, 총 35B 파라미터 중 일부 전문가만 활성화하는 MoE 구조입니다. 공식 모델카드는 Apache 2.0 라이선스, 35B total / 3B activated, 기본 262K 컨텍스트를 밝히고 있습니다. 요즘 관심을 받는 이유는 코딩 에이전트, 저장소 단위 추론, 긴 문맥 작업을 로컬 장비에서도 어느 정도 흉내 낼 수 있기 때문입니다.

용어 먼저 정리

VRAM: 그래픽카드 전용 메모리입니다. 모델 가중치와 KV cache가 먼저 부딪히는 공간입니다.
CUDA: NVIDIA GPU에서 AI 연산을 빠르게 돌리는 소프트웨어 기반입니다.
GGUF: llama.cpp 계열에서 많이 쓰는 로컬 LLM 파일 형식입니다.
Quantization: 모델을 4비트, 6비트처럼 작게 압축해 메모리 사용량을 줄이는 방식입니다.
MoE / A3B: 전체 모델은 크지만 토큰마다 일부 전문가만 계산합니다. 그래서 “35B인데 3B active” 같은 표현이 나옵니다.
오프로딩: GPU에 못 올린 일부 작업을 CPU와 시스템 RAM으로 넘기는 방식입니다. 돌아가게 만들지만 속도와 세팅 난도가 따라옵니다.

실사용 사례에서 나온 기준

최근 7일 안의 커뮤니티 흐름은 꽤 흥미롭습니다. 2026년 7월 12일 기준 약 3시간 전 올라온 LocalLLaMA 글에서는 커스텀 C++/CUDA 엔진으로 Qwen3-30B-A3B를 RTX 5060 Ti 16GB에서 50~54 tok/s까지 봤다고 공유했습니다. 같은 글 댓글에서 작성자는 CPU가 Ryzen 7 9800X3D, RAM이 64GB였고, 병목은 긴 컨텍스트보다 전문가 이동과 CPU 쪽 전문가 계산이라고 설명했습니다.

반대로 2026년 7월 10일 올라온 r/ollama 질문은 더 평범한 기준을 줍니다. Core Ultra 7 155H, 64GB LPDDR5, RTX 5060 Ti 16GB 장비를 쓰는 사람이 “일상용과 코딩용 로컬 모델”을 묻자, 답변들은 Qwen3.6-35B-A3B를 추천하면서도 Ollama보다 llama.cpp, GPU 오프로딩, Windows 환경의 여유 VRAM 문제를 같이 언급했습니다. 댓글 중에는 12GB VRAM에서도 RAM 오버스필로 23 tok/s를 봤다는 의견도 있지만, 이건 세팅과 모델 파일 선택을 잘 만진 사람의 사례로 보는 게 맞습니다.

현실 판단 카드

최소는 RTX 5060 Ti 16GB + RAM 32GB도 가능권입니다. 하지만 권장은 RAM 64GB, NVMe 여유 80GB 이상, 데스크톱급 쿨링, 최신 NVIDIA 드라이버입니다. Q4_K_M GGUF가 21.2GB 수준이라 16GB VRAM 하나로는 전체를 깔끔하게 담지 못합니다. 그래서 GPU에 최대한 싣고 나머지를 CPU/RAM으로 넘기는 설계가 핵심입니다.

이 제품 구경하러 가기

맥 계열과 NVIDIA 계열의 체감 차이

Mac Studio나 MacBook Pro의 64GB, 128GB 통합 메모리는 큰 GGUF 파일을 “적재”하는 데 유리합니다. 대신 같은 가격대에서 토큰 생성 속도와 CUDA 최적화 생태계는 NVIDIA 쪽이 더 빠르게 움직입니다. Qwen3.6-35B-A3B 공식 안내도 vLLM, SGLang, KTransformers 같은 서버형 프레임워크를 중심으로 설명하고, GGUF 사용은 llama.cpp/LM Studio 쪽 커뮤니티 양자화가 실전 경로입니다.

정리하면 맥은 큰 모델을 조용히 오래 붙잡는 데 좋고, RTX 5060 Ti 16GB는 저렴한 데스크톱에서 CUDA 실험과 로컬 코딩 보조를 빠르게 맛보는 데 좋습니다. 다만 16GB NVIDIA는 VRAM이 명확한 벽입니다. 컨텍스트를 욕심내면 KV cache가 커지고, 오프로딩이 늘면 RAM 대역폭과 CPU가 발목을 잡습니다.

병목은 어디서 오나요?

첫 번째 병목은 모델 파일 크기입니다. LM Studio 커뮤니티 GGUF 페이지 기준 Q4_K_M만 해도 21.2GB라서 RTX 5060 Ti 16GB의 VRAM보다 큽니다. 그래서 “실행된다”는 말은 GPU VRAM 안에 모든 것이 들어간다는 뜻이 아니라, 일부 레이어와 전문가 계산을 CPU/RAM 쪽으로 넘긴다는 뜻에 가깝습니다.

두 번째 병목은 컨텍스트입니다. 공식 모델은 262K 컨텍스트를 말하지만, 로컬 데스크톱에서 그 숫자를 그대로 쓰면 KV cache가 커지고 응답 지연이 늘어납니다. 처음부터 긴 문서를 통째로 넣기보다, 작업 파일 몇 개와 에러 로그, 필요한 함수 주변 코드만 넣는 식으로 문맥을 작게 유지하는 편이 훨씬 안정적입니다.

설치/세팅 흐름

NVIDIA 드라이버를 최신으로 맞추고, CUDA가 필요한 앱을 쓸 계획이면 CUDA Toolkit 호환 버전을 확인합니다.
초보자는 LM Studio에서 lmstudio-community/Qwen3.6-35B-A3B-GGUF를 검색하고 Q4_K_M부터 받습니다.
터미널 선호자는 llama.cpp를 설치한 뒤 llama serve -hf lmstudio-community/Qwen3.6-35B-A3B-GGUF:Q4_K_M 형태로 서버를 띄웁니다.
처음에는 컨텍스트를 16K~32K로 낮춰 시작합니다. 안정적이면 64K, 128K 순서로 올립니다.
GPU offload 값을 자동 또는 보수적으로 두고, 느리면 n-cpu-moe, KV cache 타입, batch 크기를 하나씩 바꿉니다.
Open WebUI, Continue, OpenClaw 같은 클라이언트는 http://127.0.0.1:8080/v1의 OpenAI 호환 서버로 연결합니다.

되는 것 / 어려운 것

되는 것

짧은 코드 설명과 리팩터링 방향 잡기
Dockerfile, PowerShell, 간단한 웹 앱 보조
개인용 로컬 채팅과 문서 요약
Q4_K_M 기준 실험적 코딩 에이전트 연결

어려운 것

거대한 저장소를 128K 이상으로 계속 유지
여러 명이 동시에 쓰는 사내 서버
Q6, Q8 고품질 양자화를 16GB VRAM 하나에 편하게 운용
초보자가 한 번에 빠른 속도를 보장받는 환경

다른 RTX 5060 Ti 16GB 그래픽카드 제품 이미지 — 16GB VRAM은 시작점입니다. 긴 컨텍스트와 고품질 양자화까지 원하면 24GB 이상이 편합니다.

사도 되는 사람 / 보류할 사람

사도 되는 사람: 이미 데스크톱이 있고, 64GB RAM 업그레이드가 가능하며, 로컬 코딩 보조와 모델 실험을 직접 만지는 사람입니다. RTX 4060 8GB보다 여유가 확실하고, 중고 3090의 전력/발열/크기 부담이 싫다면 5060 Ti 16GB가 꽤 현실적입니다.

보류할 사람: “설치 누르면 바로 Claude급 코딩 에이전트”를 기대하는 사람, 노트북 한 대로 조용히 쓰려는 사람, 100K 이상 긴 컨텍스트를 매일 쓰는 개발자입니다. 이쪽은 24GB~32GB VRAM, 또는 128GB 이상 맥/워크스테이션을 보는 게 덜 피곤합니다.

자주 하는 질문

Q1. RTX 4060 8GB로도 되나요?

가능 사례는 있지만 권장하지 않습니다. 35B MoE는 파일과 컨텍스트, 오프로딩 조합이 민감해서 8GB는 “돌려보기”에 가깝고, 매일 쓰기에는 16GB가 최소 체감선입니다.

Q2. Q4_K_M과 Q6_K 차이가 큰가요?

LM Studio GGUF 기준 Q4_K_M은 21.2GB, Q6_K는 28.5GB로 표시됩니다. 16GB GPU 하나라면 Q4부터 시작하는 게 맞고, Q6는 오프로딩 부담이 커집니다.

Q3. RAM 32GB면 충분한가요?

짧은 테스트는 가능하지만, 브라우저와 IDE, 로컬 서버까지 같이 띄우면 64GB가 훨씬 낫습니다. 커뮤니티의 빠른 사례도 64GB RAM을 함께 쓰는 경우가 많았습니다.

Q4. Ollama로 하면 안 되나요?

편의성은 좋지만, 이 조합에서는 llama.cpp나 LM Studio처럼 GPU 오프로딩과 컨텍스트를 세밀하게 만질 수 있는 경로가 더 유리하다는 최근 의견이 많습니다.

구매 판단

이번 글의 결론은 단순합니다. RTX 5060 Ti 16GB는 Qwen3.6-35B-A3B를 “16GB GPU에서도 큰 코딩 모델을 실험해 볼 수 있다”는 쪽으로 열어 주는 카드입니다. 하지만 16GB라는 숫자만 보고 완전한 여유를 기대하면 실망합니다. 구매한다면 GPU만 보지 말고 RAM 64GB, NVMe 여유 공간, 케이스 쿨링, 파워 용량까지 같이 맞추세요. 이미 데스크톱을 쓰고 있다면 그래픽카드 교체가 가장 합리적이고, 새 PC를 맞춘다면 처음부터 32GB RAM 모델은 피하고 64GB 구성을 잡는 편이 낫습니다.

특히 조립 PC를 고를 때는 “RTX 5060 Ti”만 보고 끝내면 안 됩니다. 같은 GPU라도 8GB 모델이면 이 글의 판단과 맞지 않고, 메모리 16GB 완제품은 브라우저와 IDE를 같이 켜는 순간 바로 답답해질 수 있습니다. 파워는 여유 있게, 저장공간은 모델 파일과 캐시까지 생각해 1TB 이상으로 잡는 쪽이 좋습니다. 케이스 내부 공기 흐름도 중요합니다. 긴 답변을 계속 생성하면 GPU보다 CPU와 메모리까지 함께 열을 받기 때문입니다.

마지막 체크

로컬 LLM을 처음 사는 목적이면 RTX 5060 Ti 16GB는 괜찮은 첫 카드입니다. 이미 24GB 이상 GPU를 살 예산이 있다면 굳이 낮출 이유는 없습니다. Qwen3.6-35B-A3B를 오래 쓸 계획이라면 “16GB로도 된다”보다 “16GB부터 세팅 싸움이 시작된다”에 가깝게 보면 판단이 편합니다. 이 차이가 큽니다.