오과장입니다. 영상 편집이나 강의 정리를 하다 보면 “자막만 자동으로 빨리 뽑히면 좋겠다”는 생각을 하게 됩니다. 이때 가장 많이 언급되는 오픈소스 모델이 Whisper입니다. 오늘은 그중 Whisper large-v3-turbo를 Ryzen AI NPU 노트북에서 자막 자동화용으로 볼 때 어디까지 현실적인지를 정리합니다.
결론부터 말하면, 아직 “아무 노트북에서 클릭 한 번” 단계는 아닙니다. 하지만 2026년 6월 1일 Microsoft Olive recipes에 VitisAI NPU용 Whisper 레시피가 추가되면서, AMD Ryzen AI 계열 NPU를 자막 작업에 활용하려는 흐름은 꽤 구체화됐습니다. 영상 편집자가 매번 고성능 GPU를 돌리지 않고도 짧은 음성 파일을 처리하는 방향이 보이기 시작한 셈입니다.
짧은 답변
Ryzen AI NPU 노트북은 Whisper large-v3-turbo를 “실험 가능한 자막 자동화 장비”로 볼 수 있습니다. Microsoft Olive recipes PR은 OpenAI Whisper small, medium, large-v3-turbo를 VitisAI NPU 레시피로 추가했고, ONNX Runtime Vitis EP와 WinML provider 등록, 로컬 WAV 입력 스크립트를 함께 넣었습니다. 다만 디코더는 여전히 PyTorch와 KV 캐시를 쓰는 구조라 NPU가 모든 계산을 대신한다고 보면 안 됩니다.
이 도구가 뭔가요?
Whisper는 음성을 텍스트로 바꾸는 오픈소스 자동 음성 인식 모델입니다. large-v3-turbo는 large-v3를 더 빠르게 쓰기 위해 디코딩 레이어를 줄인 버전입니다. Hugging Face 모델 카드도 “훨씬 빠르지만 약간의 품질 저하가 있다”고 설명합니다. 한국어 회의 녹취, 유튜브 자막 초안, 강의 요약 전 단계에 잘 맞습니다.
용어 먼저 정리
NPU는 AI 계산을 낮은 전력으로 처리하는 전용 칩입니다. ONNX는 모델을 여러 실행 환경에서 돌리기 쉽게 만든 파일 형식입니다. VitisAI는 AMD 쪽 AI 실행 경로로 보면 됩니다. WinML은 Windows에서 머신러닝 모델을 실행하는 통로입니다. Encoder/Decoder는 음성을 특징으로 바꾸는 앞단과, 그 특징을 글자로 풀어내는 뒷단입니다.
실사용 사례에서 나온 기준
최근 7일 안에서 가장 중요한 근거는 Microsoft Olive recipes의 6월 1일 PR입니다. 이 PR은 Whisper small, medium, large-v3-turbo를 VitisAI NPU 레시피로 추가했습니다. 설명에는 ONNX Runtime VitisAI EP, WinML provider 등록, 로컬 WAV 입력을 받는 end-to-end speech-to-text 스크립트, Windows App SDK, ONNX encoder 모델, VitisAI cache 파일 안내가 들어갑니다.
PR diff의 README에는 conda create -n winml_whisper python==3.11, pip install --pre -r requirements.txt, Windows App SDK 설치, amd/whisper-large-turbo-onnx-npu에서 encoder_model.onnx를 받는 흐름이 적혀 있습니다. 실행 예시는 python run_whisper.py --audio ".udio_sample.wav" --model turbo --enc_onnx ".encoder_model.onnx" --ep_policy NPU입니다. 초보자에게 중요한 건 “모델 이름만 설치하면 끝”이 아니라 Windows 런타임과 ONNX 파일 경로까지 맞춰야 한다는 점입니다.
두 번째 근거는 5월 29일 업데이트된 React Native ExecuTorch GPU/NPU 지원 이슈입니다. 이 이슈는 Speech 영역에서 Whisper tiny부터 medium까지 quantized 모델이 XNNPACK과 CoreML 경로로 표시되어 있고, Vulkan은 비어 있습니다. 즉 음성 모델은 모바일/엣지 백엔드로 가는 흐름이 있지만, 모든 백엔드가 같은 수준으로 준비된 것은 아닙니다.
세 번째 근거는 5월 28일 FastFlowLM 이슈입니다. 여기서는 Linux FLM 0.9.41에서 문서화된 whisper-v3:turbo 실행이 hidden_size > 0 assertion으로 크래시한다고 보고했습니다. Whisper의 설정에는 hidden_size가 아니라 d_model이 있다는 설명까지 붙어 있습니다. 이 사례는 Whisper turbo 계열이 인기 있어도, 실행기마다 설정 파싱과 모델 구조 지원이 다를 수 있음을 보여줍니다.
Ryzen AI NPU 노트북은 Whisper large-v3-turbo를 자막 초안용으로 실험하기 좋은 쪽입니다. 최소선은 Ryzen AI 계열 NPU, RAM 16GB, SSD 여유 100GB입니다. 실제 작업 권장선은 RAM 32GB, SSD 1TB, Windows 11, 최신 AMD 드라이버입니다. 긴 영상 여러 개를 동시에 처리하거나 편집 프로그램을 함께 켜려면 메모리 여유가 체감 차이를 만듭니다.
최소 사양과 권장 사양은 다릅니다
Ryzen AI NPU, RAM 16GB, SSD 여유 100GB. 짧은 WAV 파일과 샘플 스크립트로 동작 확인부터 시작합니다.
Ryzen AI 300/400 계열, RAM 32GB, SSD 1TB, Windows 11. 자막 초안과 브라우저, 편집 앱을 같이 켜도 덜 답답합니다.
긴 영상 대량 처리, 실시간 다국어 자막, 여러 파일 병렬 처리는 NPU만 믿기보다 GPU나 데스크톱 워크스테이션을 봐야 합니다.
병목은 NPU TOPS보다 실행 경로입니다
AI 노트북 광고에서는 NPU TOPS 숫자가 크게 보입니다. 하지만 Whisper large-v3-turbo를 지금 기준으로 볼 때 더 중요한 것은 “그 NPU를 실제 프로그램이 쓸 수 있느냐”입니다. Olive PR도 encoder는 ONNX Runtime Vitis EP로 보내고, decoder는 PyTorch와 KV cache를 쓴다고 적었습니다. 전체 모델이 전부 NPU에서 끝나는 구조가 아닙니다.
그래서 병목은 세 갈래입니다. 첫째, Windows App SDK와 WinML provider가 맞아야 합니다. 둘째, ONNX encoder 파일과 VitisAI cache 파일 위치가 맞아야 합니다. 셋째, 디코더 쪽 PyTorch 실행이 CPU/RAM에서 버틸 수 있어야 합니다. 이런 이유로 RAM 16GB는 체험용, RAM 32GB는 작업용이라는 기준이 나옵니다.
맥 계열과 NVIDIA 계열 체감 차이
맥북이나 맥 미니는 Whisper를 돌리기 쉽습니다. Homebrew, Python, mlx-whisper 같은 경로가 있고, 통합 메모리 덕분에 모델을 올릴 때 덜 갑갑합니다. 조용한 책상용 자막 장비로는 여전히 매력적입니다. 다만 오늘 다루는 VitisAI NPU 레시피는 Windows와 AMD NPU 쪽 흐름이라, 맥에서 같은 방법을 그대로 쓰는 글은 아닙니다.
NVIDIA 계열은 CUDA가 강합니다. faster-whisper, PyTorch CUDA, 다양한 자막 도구가 이미 많이 쓰입니다. 속도만 보면 RTX 노트북이 더 단순한 선택일 수 있습니다. 대신 배터리와 발열을 덜 쓰는 자막 초안 작업, 회의 녹취처럼 반복되는 가벼운 음성 처리는 NPU 노트북이 다른 방향의 장점이 있습니다.
설치/세팅 흐름
- Windows 11 업데이트와 AMD 칩셋/NPU 드라이버를 먼저 맞춥니다. 장치 관리자에서 NPU가 정상 인식되는지 확인합니다.
- Miniconda 또는 Anaconda를 설치하고
conda create -n winml_whisper python==3.11환경을 만듭니다. - Olive recipes의 VitisAI Whisper 레시피 폴더 기준으로
pip install --pre -r requirements.txt를 실행합니다. conda list | findstr wasdk로 Windows App SDK 패키지 버전을 확인하고, 같은 버전의 Windows App Runtime을 설치합니다.- Hugging Face의
amd/whisper-large-turbo-onnx-npu에서encoder_model.onnx와 필요한 데이터 파일을 작업 폴더에 둡니다. - 먼저 짧은 WAV 파일로
python run_whisper.py --audio ".udio_sample.wav" --model turbo --enc_onnx ".encoder_model.onnx" --ep_policy NPU를 실행합니다.
되는 것 / 어려운 것
짧은 회의 녹음, 강의 일부, 유튜브 자막 초안처럼 한 파일씩 처리하는 작업은 실험 가치가 있습니다. NPU encoder 경로가 잡히면 배터리와 발열 부담을 낮추는 방향도 기대할 수 있습니다.
긴 영상 여러 개를 동시에 처리하거나, 편집 프로그램 렌더링과 자막 생성을 동시에 밀어붙이는 작업은 아직 NPU만으로 해결하기 어렵습니다. 실행기 호환성 문제도 확인해야 합니다.
사도 되는 사람 / 보류할 사람
사도 되는 사람은 회의 녹취, 강의 정리, 짧은 영상 자막 초안을 자주 만들고, AI 노트북을 Windows 작업기로 같이 쓰려는 사람입니다. 이 경우 Ryzen AI NPU와 RAM 32GB 조합은 꽤 설득력이 있습니다. Whisper만이 아니라 Windows Studio Effects, 로컬 요약, 가벼운 온디바이스 AI 기능까지 함께 볼 수 있기 때문입니다.
보류할 사람도 분명합니다. 대량 자막 변환을 업무로 돌리거나, GPU 기반 영상 편집과 생성형 AI까지 한 장비에서 처리하려면 RTX GPU가 있는 노트북이나 데스크톱이 더 낫습니다. NPU는 전용 보조 엔진이지, 고성능 GPU를 전부 대체하는 부품이 아닙니다.
자주 하는 질문
Q. Whisper large-v3-turbo는 무료로 쓸 수 있나요?
OpenAI Whisper와 Hugging Face의 large-v3-turbo 모델 카드는 MIT 라이선스를 표시합니다. 다만 배포 형태와 함께 쓰는 실행기의 라이선스는 별도로 확인해야 합니다.
Q. NPU가 있으면 CUDA가 필요 없나요?
자막 작업만 보면 일부 경로에서는 CUDA 없이도 시작할 수 있습니다. 하지만 많은 AI 도구와 튜토리얼은 아직 NVIDIA CUDA 기준이 많습니다.
Q. MP3 파일을 바로 넣으면 되나요?
레시피 예시는 WAV 입력을 기준으로 설명합니다. MP3를 쓰려면 ffmpeg로 WAV로 바꾸거나, 스크립트가 해당 포맷을 처리하는지 먼저 확인해야 합니다.
Q. RAM 16GB 노트북도 괜찮나요?
샘플 테스트는 가능할 수 있습니다. 하지만 브라우저, 편집 프로그램, Python 환경을 같이 쓰면 32GB가 훨씬 편합니다.
Q. 맥북에서 이 글의 세팅을 따라 하면 되나요?
아닙니다. 이 글은 Windows + AMD Ryzen AI NPU + VitisAI 경로를 다룹니다. 맥은 mlx-whisper 같은 별도 경로를 보는 편이 맞습니다.
제품 소개
이번 글의 기준으로는 Ryzen AI 계열 NPU, RAM 32GB, SSD 1TB급 Windows 노트북이 가장 무난합니다. 쿠팡 검색에서는 에이수스 2026 젠북 S 16 라이젠 AI 라이젠 AI 400 시리즈, 스칸디나비안 화이트, 1TB, 32GB, WIN11 Home, UM5606GA-SR178W 구성이 조건에 맞았습니다. 현재 확인 가격은 3,470,000원이며, 실제 가격과 구성은 판매 페이지에서 다시 확인해야 합니다.
이 제품은 Whisper NPU 실험만을 위한 전용 장비라기보다, 자막 자동화와 문서 작업, 브라우저 기반 업무, 가벼운 영상 편집을 함께 처리할 AI 노트북 후보로 보는 편이 맞습니다. 구매 전에는 제품 상세에서 정확한 CPU 세대, RAM 용량, Windows 포함 여부, 반품 조건을 확인하세요.
출처: Microsoft Olive recipes PR #425, Hugging Face Whisper large-v3-turbo 모델 카드, OpenAI Whisper GitHub, React Native ExecuTorch GPU/NPU 지원 이슈, FastFlowLM Whisper turbo 이슈