오과장입니다. 오늘은 Qwen3.6-35B-A3B를 llama.cpp로 돌릴 때 Intel Arc B580/B60/B70 계열 GPU가 진짜 구매 후보인지, 아니면 아직은 “고생을 즐기는 사람용”인지 정리합니다.
- Intel Arc B580/B60/B70은 llama.cpp의 SYCL/Vulkan 개선 덕분에 Qwen3.6 계열 실험 가치가 올라가고 있습니다.
- 하지만 초보자가 “로컬 코딩 LLM을 바로 업무에 쓰겠다”면 아직 NVIDIA CUDA 쪽이 더 안전합니다.
- Intel Arc를 산다면 Windows+WSL보다 Linux, llama.cpp 직접 빌드, 최신 PR 추적을 각오해야 합니다.
- 최소선은 Arc B580 12GB 또는 RTX 4060 8GB+시스템 RAM 32GB, 현실 권장선은 16GB VRAM 이상과 RAM 64GB입니다.
llama.cpp는 GGUF 모델을 CPU, NVIDIA CUDA, Apple Metal, AMD/Intel 계열 백엔드에서 실행하는 오픈소스 추론 엔진입니다. Qwen3.6-35B-A3B는 전체 35B급 MoE 모델이지만 한 번에 활성화되는 파라미터가 더 작아, 양자화하면 개인 장비에서도 코딩 보조 실험이 가능합니다. Intel Arc는 가격 대비 VRAM이 매력적이라 관심을 받지만, 소프트웨어 경로는 CUDA보다 덜 매끈합니다.
- VRAM: GPU 안의 메모리입니다. 모델 파일, KV 캐시, 긴 문맥이 여기를 먼저 먹습니다.
- GGUF: llama.cpp에서 많이 쓰는 로컬 모델 파일 형식입니다.
- Quantization: 모델을 16비트 그대로 쓰지 않고 8비트, 5비트, 4비트 등으로 줄여 메모리 사용량을 낮추는 방식입니다.
- SYCL/Vulkan: Intel Arc 같은 비-NVIDIA GPU에서 연산을 돌리기 위한 백엔드 경로입니다.
- PP와 TG: PP는 긴 프롬프트를 읽는 속도, TG는 답변 토큰을 생성하는 속도입니다. 코딩 에이전트는 둘 다 중요합니다.
실사용 사례에서 나온 기준
최근 7일 안의 근거만 보면 분위기는 꽤 선명합니다. Reddit LocalLLaMA의 Intel Arc 관련 글에서는 llama.cpp PR 하나로 B580의 긴 컨텍스트 프롬프트 처리 시간이 510초에서 262초로 줄었다는 보고가 나왔습니다. 같은 스레드의 B60 이용자는 짧은 8k 전후 프롬프트에서는 PP가 519.72 tokens/s에서 682.94 tokens/s로 늘었지만, 91k 토큰대 큰 프롬프트에서는 차이가 거의 없었다고 적었습니다. 즉 “좋아졌다”는 말과 “모든 상황에서 해결됐다”는 말은 다릅니다.
근거 링크는 Intel Arc llama.cpp 실사용 스레드, llama.cpp PR #25222, Arc Pro B70 관련 커뮤니티 논쟁, Qwen3.6-35B-A3B 공식 모델 카드, Unsloth GGUF 실행 예시를 기준으로 잡았습니다.
- Qwen3.6-35B-A3B는 공식 모델 카드 기준 35B급 MoE 모델이고, GGUF 배포판은 llama.cpp 실행 예시를 제공합니다.
- Intel Arc B580에서는 긴 컨텍스트 PP가 크게 개선된 사례가 있지만, PR 의존성이 큽니다.
- B60 사례는 짧은 프롬프트에서는 개선이 보였고, 아주 긴 프롬프트에서는 체감이 제한적이었습니다.
- B70 커뮤니티 반응은 “가격 대비 좋다”와 “지원이 아직 별로다”가 갈립니다.
하드웨어 판단
Qwen3.6-35B-A3B를 Q5 계열로 길게 쓰려면 모델 본체보다 KV 캐시와 프롬프트 처리 부담이 커집니다. Intel Arc B580 12GB는 “돌려 보는” 데 의미가 있고, Arc Pro B60/B70처럼 VRAM이 큰 카드는 장기적으로 흥미롭습니다. 다만 CUDA처럼 설치 자료와 오류 해결 사례가 압도적으로 많은 생태계가 아닙니다. 그래서 장비값만 보면 Arc가 매력적이어도, 시간 비용까지 넣으면 초보자에게는 RTX 4060/5060/5070 계열이 더 정직한 선택입니다.
Arc B580 12GB 또는 RTX 4060 8GB, 시스템 RAM 32GB, SSD 여유 80GB 이상. Q4/IQ 계열, 짧은 문맥, 단일 이용자 기준입니다.
VRAM 16GB 이상, 시스템 RAM 64GB, SSD 1TB 이상. 코딩 에이전트, 긴 파일 읽기, 브라우저와 IDE 동시 사용까지 생각하면 이쪽이 편합니다.
“AI-ready” 문구만 보고 Intel GPU 장비를 사서 Ollama나 LM Studio가 자동으로 GPU를 잘 잡아 줄 거라고 기대하면 실망할 수 있습니다.
맥 계열과 NVIDIA, Intel Arc의 체감 차이
맥은 조용하고 통합 메모리 덕분에 큰 모델 파일을 올리기 좋습니다. 대신 같은 Qwen3.6 계열이라도 최신 최적화가 CUDA나 llama.cpp 특정 PR에서 먼저 검증되는 경우가 많습니다. NVIDIA는 CUDA 덕분에 설치, 오류 검색, vLLM/llama.cpp 문서가 가장 풍부합니다. Intel Arc는 가격 대비 VRAM과 미래 가능성이 매력입니다. 하지만 “오늘 바로 쓰는 도구”라기보다 “최신 빌드를 쫓아가며 성능을 끌어내는 장비”에 가깝습니다.
설치/세팅 흐름
- 운영체제를 정합니다. Intel Arc는 가능하면 Linux에서 시작하고, Windows+WSL은 변수가 많다고 봅니다.
- 드라이버와 런타임을 먼저 확인합니다. NVIDIA는
nvidia-smi, Intel은 oneAPI/SYCL 또는 Vulkan 경로를 확인합니다. - llama.cpp를 최신으로 빌드합니다. CUDA는
-DGGML_CUDA=ON, Intel 경로는 현재 문서와 PR 설명을 맞춰 봅니다. - GGUF 모델은 먼저 Q4 계열로 받습니다. Q5부터는 품질은 좋아지지만 VRAM과 처리 시간이 올라갑니다.
- 처음에는
--ctx-size 8192또는 16384로 시작하고, 안정화 뒤 64k 이상을 시도합니다. - PP와 TG를 따로 봅니다. 긴 코드베이스를 읽는 용도라면 PP가 느리면 체감이 확 나빠집니다.
낮추면 되는 설정, 포기해야 할 지점
제일 먼저 낮출 것은 컨텍스트 길이입니다. 262k 같은 숫자는 멋있지만, 개인 장비에서는 VRAM과 대기시간을 동시에 밀어 올립니다. 다음은 quant입니다. Q5가 욕심나도 Q4 또는 IQ 계열로 내려야 할 때가 많습니다. 마지막으로 동시 요청과 에이전트 루프를 줄여야 합니다. 여러 파일을 한 번에 넣고, 긴 reasoning을 켜고, 서버를 계속 물고 있으면 12GB~16GB VRAM은 금방 답답해집니다.
- 되는 것: Q4 계열 단일 모델, 짧은 코딩 질문, 파일 몇 개 단위의 로컬 코드 설명.
- 되는 것: Intel Arc에서 최신 llama.cpp 빌드를 따라가며 PP 개선을 테스트하는 실험.
- 어려운 것: 초보자가 Intel Arc로 Ollama 설치만 하고 바로 안정적인 GPU 추론을 기대하는 것.
- 어려운 것: 12GB VRAM에서 100k 이상 긴 문맥, Q5 이상, 코딩 에이전트 상시 실행을 한꺼번에 노리는 것.
사도 되는 사람 / 보류할 사람
- Intel Arc를 사도 되는 사람: Linux 빌드, PR 추적, 벤치마크 비교를 취미처럼 할 수 있는 사람입니다.
- Intel Arc를 사도 되는 사람: CUDA 독점 생태계가 싫고, 가격 대비 VRAM 실험을 하고 싶은 사람입니다.
- 보류할 사람: 설치 실패가 싫고, 업무용 코딩 보조를 바로 써야 하는 사람입니다.
- 보류할 사람: 노트북 한 대로 IDE, Docker, 브라우저, 로컬 LLM을 모두 안정적으로 돌리고 싶은 사람입니다. 이 경우 RTX 4060/5060급 32GB RAM 노트북이 더 쉽습니다.
자주 하는 질문
충분하다기보다 “실험 가능”에 가깝습니다. Q4 계열과 짧은 문맥은 시도할 수 있지만, 긴 컨텍스트와 Q5 이상은 기다림과 튜닝이 필요합니다.
초보자 경험은 Ollama가 편하지만, Intel Arc처럼 백엔드 최적화가 빠르게 변하는 영역은 llama.cpp 직접 빌드가 더 유리할 때가 많습니다.
조용하고 통합 메모리가 넓다는 장점은 큽니다. 다만 코딩 에이전트 속도와 최신 최적화 추적은 NVIDIA CUDA 장비가 더 쉬운 경우가 많습니다.
학습과 실험 자체가 목적이면 Intel Arc도 흥미롭습니다. 결과물이 필요한 사람, 특히 코딩 보조를 바로 쓰려는 사람은 NVIDIA가 덜 피곤합니다.
제품 소개와 구매 판단
이 글의 결론은 Intel Arc를 무시하자는 쪽이 아닙니다. 오히려 최근 개선은 꽤 흥미롭습니다. 다만 Piella 독자 기준으로 “장비를 샀는데 바로 써야 한다”면 추천 상품은 검증된 CUDA 경로가 있는 RTX 4060/5060급 32GB RAM 노트북 쪽입니다.
제품 한줄 소개
MSI 소드 GF76 B13VFK는 i7-13620H, RAM 32GB, RTX 4060 8GB 조합으로 로컬 LLM 입문과 일반 개발 작업을 함께 노릴 수 있는 게이밍 노트북입니다.
추천 대상
Qwen3.6-35B-A3B를 아주 크게 욕심내기보다, Q4 계열 로컬 코딩 보조와 IDE, 브라우저, 문서 작업을 한 대에서 같이 해보고 싶은 사람에게 맞습니다.
비추천 대상
100k 이상 장문 컨텍스트, Q5 이상 고품질 quant, 여러 이용자 API 서버, 대형 MoE 상시 실행이 목표라면 8GB VRAM 노트북은 부족합니다. 그런 목표는 16GB~24GB VRAM 이상 데스크톱으로 보는 편이 정직합니다.
정리하면, Intel Arc는 2026년 7월 초 기준으로 “가능성이 커지는 실험장”입니다. 하지만 로컬 AI 장비를 처음 사는 사람에게는 가능성보다 안정성이 더 중요합니다. Qwen3.6-35B-A3B를 진지하게 만지려면 VRAM, RAM, 드라이버, 백엔드가 모두 맞아야 합니다. 가격표만 보고 들어가면 고생하고, 세팅까지 즐기면 재미있습니다. 구매 판단은 그 차이를 인정하는 데서 시작하면 됩니다.