오과장입니다. 2026년 6월 30일 기준으로 로컬 코딩 모델 쪽에서 새로 말이 많은 이름은 DeepReinforce의 Ornith 1.0 35B입니다. 오늘은 이 모델을 넓게 훑는 글이 아니라, 최근 커뮤니티에 올라온 RTX 4060 Laptop GPU 8GB + RAM 32GB 실사용 사례를 중심으로 “정말 집 노트북에서 쓸 수 있나”만 따져보겠습니다.
RTX 4060 8GB 노트북에서도 Ornith 1.0 35B GGUF Q4를 구동한 최근 사례가 있습니다. 다만 핵심은 8GB VRAM이 아니라 32GB 이상의 시스템 RAM, CUDA 13 계열, llama.cpp 서버, MoE 일부 CPU 오프로딩입니다. 새로 산다면 RTX 4060만 보고 고르지 말고 RAM 32GB 이상, SSD 여유 1TB, 냉각 좋은 게이밍 섀시를 같이 봐야 합니다.
이 도구가 뭔가요?
Ornith 1.0 35B는 DeepReinforce가 공개한 오픈소스 계열 코딩용 언어 모델입니다. Hugging Face 모델 카드 기준 MIT 라이선스이며, 35B MoE 모델을 GGUF로 내려받아 llama.cpp, Ollama, LM Studio 같은 로컬 실행 도구에서 쓸 수 있습니다. 목표는 일반 잡담보다 코드 수정, 도구 호출, 에이전트식 작업에 더 가깝습니다.
왜 RTX 4060 8GB 이야기가 나왔나
공식 모델 카드만 보면 Ornith 1.0 35B는 “가벼운 35B”라고 해도 만만한 모델이 아닙니다. 공식 GGUF 페이지는 llama.cpp 실행 예시를 제공하지만, 원본 35B를 서버로 제대로 돌리는 레시피는 큰 GPU 노드 기준입니다. 반면 최근 Reddit LocalLLM 글에서는 ASUS TUF Gaming A15, Ryzen 5 7535HS, RTX 4060 Laptop GPU 8GB, RAM 32GB, Windows 11 Pro, CUDA 13 조합으로 Q4 GGUF를 llama.cpp 서버에서 돌렸다고 공유됐습니다. 핵심 설정은 N_CPU_MOE=36, ctx-size 65536, cache-ram 2048처럼 “전부 GPU에 넣지 않는” 쪽입니다.
최근 노트북 사례는 Ornith 35B Q4를 로컬 코딩 모델로 쓰며 25~35 t/s라는 제목의 실사용 공유였습니다. 단순 채팅보다 코딩 CLI, 로컬 서버, 에이전트 보조 작업에 맞춘 세팅입니다.
8GB VRAM은 모델 전체를 담기 부족합니다. MoE 전문가 일부를 CPU/RAM으로 빼고, 컨텍스트와 KV 캐시를 조절해야 하므로 세팅 실패 시 바로 느려지거나 메모리 부족이 납니다.
이미 RTX 4060 8GB 노트북이 있다면 시도할 만합니다. 새로 산다면 16GB RAM 모델은 피하고, 32GB 이상 구성 또는 업그레이드 쉬운 모델을 우선하세요.
용어 먼저 정리
- CUDA: NVIDIA GPU가 AI 계산을 하도록 해주는 실행 환경입니다. 같은 RTX 4060이라도 CUDA/드라이버가 꼬이면 속도가 확 떨어집니다.
- VRAM: GPU 전용 메모리입니다. RTX 4060 Laptop은 보통 8GB라 35B 모델 전체를 넣기엔 작습니다.
- RAM: 노트북 시스템 메모리입니다. 이 글의 조합에서는 VRAM보다 RAM 여유가 더 중요합니다.
- GGUF: llama.cpp 계열에서 쓰기 좋은 로컬 모델 파일 형식입니다. 노트북에서는 원본 safetensors보다 GGUF를 고르는 편이 현실적입니다.
- Quantization: 모델 숫자를 낮은 정밀도로 압축해 메모리 사용량을 줄이는 방법입니다. Q4는 품질과 용량의 중간 지점, Q3는 더 작지만 품질 손실이 커질 수 있습니다.
- MoE: 전문가 여러 묶음 중 일부만 계산하는 구조입니다. 계산은 가벼워질 수 있지만, 전체 파라미터를 어딘가에는 올려야 하므로 RAM 요구량이 사라지지는 않습니다.
실사용 사례에서 나온 기준
최근 7일 안쪽 자료만 판단 근거로 보면 분위기는 꽤 분명합니다. 첫째, RTX 4060 8GB 노트북 사례는 “전부 VRAM”이 아니라 GPU + CPU/RAM 혼합 구동입니다. 둘째, Q3_K_M 양자화 공유 글은 16.8GB 안팎의 파일/로드 기준을 제시하며 Q4보다 작지만 품질 손실이 있다는 비교를 올렸습니다. 셋째, MTP 실험 글은 RTX PRO 6000 96GB 같은 훨씬 큰 워크스테이션에서 1.3배 이상 디코드 개선을 보였지만, 그 숫자를 4060 노트북에 그대로 가져오면 안 됩니다. 넷째, “Ornith가 훌륭하다”는 반응과 동시에 Kotlin 대형 코드베이스에서는 Qwen 쪽이 더 나았다는 반론도 같이 나왔습니다.
- RTX 4060 8GB: 구동 가능 사례는 있음. 단, CPU MoE 오프로딩 전제.
- RAM 16GB: 권하지 않음. 모델 파일, KV 캐시, OS, 개발 도구까지 같이 버티기 어렵습니다.
- RAM 32GB: 실험 가능한 하한선. 긴 컨텍스트와 병렬 작업은 욕심을 줄여야 합니다.
- RAM 64GB 이상: 로컬 코딩 모델을 자주 쓸 사람에게 현실적 권장선.
- VRAM 16GB 이상: 같은 모델을 더 편하게 돌리려면 여기부터 체감이 큽니다.
맥 계열과 NVIDIA 계열 차이
맥은 통합 메모리 덕분에 “VRAM 8GB” 같은 벽이 덜 명확합니다. 하지만 24GB 통합 메모리 맥에서 35B Q4를 여유롭게 굴린다고 기대하면 곤란합니다. OS와 앱이 쓰는 메모리까지 빼면 긴 컨텍스트, 브라우저, IDE, 로컬 서버를 동시에 열 때 금방 빡빡해집니다. 반대로 NVIDIA 노트북은 VRAM 8GB라는 벽이 명확하지만 CUDA, llama.cpp CUDA 빌드, Flash Attention, CPU MoE 오프로딩 같은 최적화 자료가 많습니다. 그래서 초보자가 “일단 따라 해보기”에는 RTX 4060 8GB 노트북 쪽 사례가 더 직접적입니다.
최소 사양과 권장 사양
RTX 4060 Laptop 8GB, RAM 32GB, SSD 여유 80GB 이상, Windows 11 또는 Linux, CUDA 13 계열, llama.cpp 최신 릴리스. 컨텍스트는 32K~64K부터 보수적으로 시작합니다.
RTX 4070/4060급이라도 RAM 64GB, SSD 1TB 이상, 냉각 좋은 15~16형 게이밍 노트북. 장시간 에이전트 작업이면 전원 연결과 성능 모드가 사실상 필수입니다.
VRAM 16GB 이상 GPU 또는 24GB 데스크톱 GPU. Q4/Q5 선택 폭이 넓어지고 CPU 오프로딩 의존도가 줄어 세팅 스트레스가 낮아집니다.
어떤 설정을 낮추면 돌아가나
가장 먼저 낮출 것은 모델 크기가 아니라 컨텍스트 길이입니다. 262K 같은 큰 숫자는 공식 모델의 능력이지, RTX 4060 8GB 노트북의 현실적 시작점이 아닙니다. 32K로 시작해서 48K, 64K로 올리세요. 다음은 KV 캐시 타입입니다. q8_0이 안정적일 수 있지만 메모리를 더 먹습니다. 메모리가 부족하면 q4 계열 KV 캐시를 검토하되, 출력 품질과 안정성을 같이 봐야 합니다. 마지막은 MoE CPU 오프로딩입니다. GPU에 너무 많이 올리려다 공유 메모리로 밀리면 오히려 PCIe 전송 때문에 느려질 수 있습니다.
설치/세팅 흐름
- NVIDIA 드라이버와 CUDA 13 계열 런타임을 설치하고 재부팅합니다.
- llama.cpp 최신 릴리스 또는 CUDA 빌드를 준비합니다. Windows라면 미리 빌드된
llama-server.exe부터 쓰는 편이 빠릅니다. - Hugging Face에서 Ornith 1.0 35B GGUF Q4 계열을 받습니다. 처음부터 Q5/Q6를 고르지 말고 Q4로 감을 잡습니다.
--ctx-size 32768또는65536,--cache-ram 2048,--flash-attn on처럼 보수적인 값으로 서버를 띄웁니다.- 작업 관리자나
nvidia-smi로 VRAM, RAM, GPU 사용률을 확인합니다. VRAM이 꽉 차고 공유 메모리로 밀리면 컨텍스트부터 줄입니다. - OpenCode, Claude Code 호환 로컬 엔드포인트, Continue 같은 도구에
http://localhost:포트/v1을 연결해 실제 코드 작업으로 테스트합니다.
되는 것 / 어려운 것
짧은 함수 작성, 코드 설명, 파일 단위 리팩터링 보조, 로컬 코딩 CLI에 붙여 작은 작업을 여러 번 시키는 방식은 시도할 만합니다.
대형 레포 전체 설계 변경, 긴 컨텍스트를 계속 유지하는 에이전트 루프, 브라우저와 IDE와 모델 서버를 모두 켜는 장시간 작업은 32GB RAM에서 금방 답답해질 수 있습니다.
VRAM 6~8GB에서 Q5/Q6 고집, 128K 이상 컨텍스트 고집, RAM 16GB 구성은 시간을 너무 많이 잡아먹습니다. 이 경우 작은 9B/12B 모델이 더 낫습니다.
사도 되는 사람 / 보류할 사람
- 사도 되는 사람: RTX 4060 노트북으로 게임과 개발을 같이 하고, RAM 32GB 이상 모델을 고르며, 로컬 AI는 실험과 보조 도구로 쓸 사람.
- 보류할 사람: 클라우드 Claude/ChatGPT 수준의 대형 레포 자동 수정을 기대하는 사람, RAM 업그레이드가 막힌 16GB 모델을 보려는 사람.
- 다른 선택: 로컬 코딩 모델이 주목적이면 RTX 4060보다 RAM 64GB 구성, 또는 VRAM 16GB 이상 GPU가 더 오래 갑니다.
자주 하는 질문
Q. RTX 4060 8GB면 Ornith 35B가 완전히 GPU에서 도나요?
아닙니다. 최근 노트북 사례는 CPU/RAM 오프로딩을 적극적으로 쓴 혼합 구동에 가깝습니다.
Q. RAM 16GB 노트북도 가능한가요?
추천하지 않습니다. 모델 파일과 KV 캐시, IDE, 브라우저까지 같이 쓰면 여유가 거의 없습니다.
Q. Mac mini M4 24GB와 RTX 4060 8GB 중 뭐가 낫나요?
짧은 실험은 둘 다 가능성이 있지만, 이번 사례를 따라 하려면 CUDA 자료가 많은 RTX 4060 쪽이 쉽습니다. 맥은 32GB 이상 통합 메모리부터 보는 편이 낫습니다.
Q. Q3와 Q4 중 무엇을 받아야 하나요?
메모리가 정말 빡빡하면 Q3, 품질과 안정성 균형이면 Q4입니다. 코딩 작업은 작은 오류가 크게 번지므로 Q4부터 권합니다.
출처와 최근성
본문 판단 근거는 2026년 6월 24~30일 사이 확인 가능한 공개 자료만 사용했습니다. 공식 설치와 라이선스 확인은 Hugging Face Ornith 1.0 35B GGUF 모델 카드를 봤고, RTX 4060 8GB 노트북 구동 사례는 LocalLLM의 ASUS TUF A15 실사용 공유를 기준으로 삼았습니다. Q3_K_M 16.8GB 기준과 품질 비교는 LocalLLaMA Q3_K_M 공유 글, MTP 성능 숫자는 후속 MTP 실험 글, MoE와 GGUF 용어 설명은 Ornith 용어 정리 글, 실제 품질에 대한 찬반은 Ornith 35B 사용감 토론을 함께 봤습니다.
제품 소개
Ornith 1.0 35B를 RTX 4060 8GB 노트북에서 시도하려면 “RTX 4060”보다 RAM 32GB 이상이 더 중요합니다. 아래 연결 상품은 RTX 4060 노트북 실험 조건과 직접 이어지는 제품군입니다. 가격이 낮은 16GB RAM 모델은 나중에 직접 32GB로 올릴 계획이 없다면 이 용도로는 피하는 편이 좋습니다.