Požadavky na hardware pro 7B a 13B modely
Pro lokální běh velkých jazykových modelů (LLM) je klíčová paměť VRAM na grafické kartě. Modely se většinou používají v kvantizované podobě, nejčastěji Q4_K_M nebo Q5_K_M. Pro 7B model v Q4 potřebujete přibližně 4,5 GB VRAM, v Q5 asi 5,5 GB. U 13B modelu v Q4 to je kolem 8 GB VRAM, v Q5 přibližně 10 GB. Pokud chcete běžet Q8, nároky se zvyšují na 8 GB pro 7B a 14 GB pro 13B.
Když VRAM nestačí, část vrstev modelu se přesune do systémové RAM a zpracuje je CPU. Tím ale výrazně klesá rychlost generování – z desítek tokenů za sekundu na jednotky. Proto je výhodnější mít dostatek VRAM. Systémová RAM by měla být alespoň 16 GB pro 7B a 32 GB pro 13B, pokud dochází k částečnému přesunu do RAM.
Jak zjistit, co máte v PC
Než začnete nakupovat, zjistěte přesné parametry současného počítače. Použijte bezplatné nástroje jako CPU-Z, GPU-Z nebo HWiNFO. Zajímá vás: model základní desky (socket, čipset, verze PCIe), typ a frekvence RAM (DDR3, DDR4, DDR5), model GPU a velikost VRAM, výkon a konektory zdroje (PSU).
U zdroje si všimněte wattáže a počtu PCIe napájecích konektorů (6-pin, 8-pin). U skříně zjistěte maximální délku grafické karty. U značkových PC (Dell Optiplex, HP ProDesk) bývá zdroj i základní deska proprietární, což možnosti upgradu omezuje.
Priorita upgradů: GPU, RAM, CPU, úložiště
Největší dopad na rychlost inference má grafická karta. Pokud máte starší GPU s méně než 6 GB VRAM, je výměna prioritou. Následuje navýšení RAM, pokud máte méně než 16 GB. CPU je důležitý jen při přesunu vrstev do RAM nebo pro čistě CPU inferenci. Úložiště (NVMe SSD) zrychluje načítání modelu, ale nemá vliv na rychlost generování.
GPU: VRAM je král
Pro 7B modely v Q4 stačí 6 GB VRAM. Na bazarech se za rozumné peníze dá pořídit GeForce GTX 1060 6GB, RTX 2060 6GB nebo Radeon RX 580 8GB. Pro 13B modely je vhodné mít 12 GB VRAM. Oblíbená je GeForce RTX 3060 12GB, která nabízí dobrý poměr cena/výkon a plnou podporu CUDA. Alternativou je Radeon RX 6700 XT 12GB, ale s AMD je třeba počítat s omezenější podporou ROCm na Windows. Intel Arc A770 16GB nabízí hodně VRAM za rozumnou cenu, softwarová podpora se ale stále vyvíjí.
Nvidia má nejlepší softwarovou podporu (CUDA, TensorRT). Pokud plánujete používat nástroje jako Ollama, LM Studio nebo llama.cpp, bude s Nvidia nejméně problémů.
RAM: 16 GB minimum, 32 GB pro 13B
Pro 7B model vám stačí 16 GB systémové RAM, ale pokud chcete mít otevřený prohlížeč a další aplikace, je lepší 32 GB. Pro 13B model je 32 GB prakticky nutnost, zvláště pokud dochází k přesunu vrstev do RAM. Důležitá je dvoukanálová konfigurace (dual-channel) a vyšší frekvence – u DDR4 alespoň 3200 MHz.
CPU: stačí střední třída
Pokud veškerá inference probíhá na GPU, CPU příliš nezáleží. Stačí čtyřjádro z posledních deseti let. Pokud ale budete část vrstev přesouvat do RAM, vyplatí se 6–8 jádro. Upgrade CPU ale často znamená i novou základní desku a RAM, což už se blíží koupi nového počítače.
PSU a skříň: na co si dát pozor
Výkonnější GPU znamená vyšší spotřebu. RTX 3060 si vyžádá zdroj alespoň 550 W s jedním 8-pin PCIe konektorem. RX 6700 XT potřebuje 650 W a kombinaci 8-pin + 6-pin. U malých skříní (SFF) ověřte, zda se do ní vejde dvouslotová karta.
Kdy je lepší koupit mini-PC
Pokud máte počítač s DDR3 pamětí, slabým zdrojem nebo proprietárním designem, upgrade se nevyplatí. V takovém případě je lepší pořídit mini-PC.
Pro lokální AI se osvědčily počítače Apple Mac Mini s čipem M2 nebo M4. Díky unified memory mohou 16GB verze běžet 13B modely v Q4. Mac Mini M2 s 16 GB RAM zvládne 7B i 13B modely s rychlostí kolem 10–20 tokenů/s.
Mezi x86 mini-PC patří například Minisforum HX99G s Radeon RX 6600M 8GB, který utáhne 7B modely, nebo Beelink SER7 s Ryzen 7 7840HS a 32GB RAM, který ale běží pouze na integrované grafice Radeon 780M – 7B model v Q4 zvládne jen několika tokeny za sekundu.
eGPU jako alternativa
Pokud máte notebook nebo mini-PC s Thunderbolt 3/4 nebo OCuLink, můžete připojit externí grafickou kartu. Výkon je o něco nižší kvůli šířce pásma, ale i tak výrazně převýší integrovanou grafiku.
Softwarové tipy pro efektivní běh
Nejjednodušší cestou je Ollama nebo LM Studio. V llama.cpp nastavte parametr n_gpu_layers na maximum, které se vejde do VRAM. Sledujte využití VRAM pomocí nástrojů jako nvidia-smi (Nvidia) nebo rocm-smi (AMD). Pokud dojde VRAM, snižte počet vrstev nebo použijte nižší kvantizaci (Q3_K_M).
Praktický příklad: upgrade vs. nový mini-PC
Mějme PC s Ryzen 5 2600, 16 GB DDR4-3000, GTX 1060 6GB a 500W zdrojem. Pro 13B modely stačí vyměnit GPU za RTX 3060 12GB (na bazarech cca 6–7 tisíc Kč) a přidat 16 GB RAM (cca 1 000 Kč). Celkem investice kolem 8 000 Kč a získáte stroj na 13B Q4/Q5.
Naopak PC s Intel Core i5-4570, 8 GB DDR3 a GTX 750 Ti by vyžadoval novou základní desku, RAM, GPU a zdroj – to je prakticky nový počítač. Zde je výhodnější koupit Mac Mini M2 s 16 GB RAM (cca 15 000 Kč) nebo Minisforum HX99G.
Před upgradem si vždy ověřte, zda vaše základní deska podporuje danou generaci PCIe a zda má dostatek napájecích konektorů.
Foto: Matheus Bertelli / Pexels
