Na telefonu dnes reálně běží modely od 0,5 do 3 miliard parametrů, na špičkách i 7B. Rozhoduje RAM, kvantizace a podpora NPU; offline zvládnou přepis, shrnutí, překlad i úpravy fotek.
Llama 3.2 1B ve čtyřbitové kvantizaci zabere zhruba 0,7–1 GB paměti včetně režie. To je model, který se vejde i do telefonu se 6 GB RAM a na moderním čipsetu odpovídá v řádu jednotek až nízkých desítek tokenů za sekundu. Model se 3–4 miliardami parametrů potřebuje 1,5–2,5 GB a sedmimiliardový 3,5–4,5 GB. Právě tady začíná hranice, která z běžného telefonu dělá stroj na lokální AI.
Velikost modelu se počítá z parametrů a datového typu. FP16 znamená 2 bajty na parametr, INT8 jeden bajt, INT4 půl bajtu. Kvantizace Q4_K_M se pohybuje kolem 4–5 bitů na váhu, takže 1B model má hmotnost přibližně 0,5–0,7 GB. K tomu se přidává KV cache pro kontext, runtime a rezerva pro systém. U 4 000 tokenů kontextu u 3B modelu jde o stovky MB navíc.
Do 4 GB RAM nemá cenu tlačit víc než 0,5B model (Qwen 2.5 0.5B, SmolLM2 360M). Běží, ale kvalita češtiny je slabá. Telefon se 6–8 GB RAM zvládne Llama 3.2 1B, Gemma 2 2B nebo Qwen 2.5 1.5B. To je rozumný strop pro každodenní použití: shrnutí e-mailu, krátký překlad, přepis poznámky. Modely kolem 3B (Llama 3.2 3B, Phi-3 Mini 3.8B, Qwen 2.5 3B) už potřebují 8–12 GB RAM a lepší chlazení. Na 12–16GB telefonech lze spustit i 7B model (Mistral 7B, Qwen 2.5 7B), ale v praxi to znamená pomalé odpovědi a rychlé zahřívání.
Snapdragon 8 Gen 3 má Hexagon NPU, Apple A17 Pro 16jádrový Neural Engine, Dimensity 9300 APU 790. Jenže llama.cpp a většina jednoduchých aplikací pro lokální modely používají CPU a GPU. Na NPU se model dostane jen tehdy, když je zkompilovaný pro konkrétní backend: Qualcomm QNN, Android NNAPI nebo Apple Core ML. Bez toho běží model na CPU, je pomalejší a víc topí. Výrobci to řeší integrovanými runtimey: Gemini Nano v Pixelu 8 Pro/9 přes AICore, Apple Intelligence s modelem kolem 3B parametrů na A17 Pro/A18 a M-čipech.
Paměťová propustnost je druhý strop. Inferenec LLM je vázaný na čtení vah z RAM, takže LPDDR5X s desítkami GB/s stačí na jednotky až desítky tokenů za sekundu. Telefon se 16 GB RAM ale nemusí mít rychlejší paměť než 12GB model; rozdíl je v tom, že se do něj vejde větší model a delší kontext.
Přepis řeči: Whisper tiny (39M) nebo base (74M) ve čtyřbitové kvantizaci zabere desítky až stovky MB. Na telefonu přepíše poznámku nebo krátké hlasové zadání, u češtiny ale chybuje v odborných termínech a jménech. Google Recorder na Pixelu používá vlastní on-device ASR a umí přepis i bez sítě.
Shrnutí a překlad: 1B–3B model zvládne krátký e-mail, odstavec textu nebo popis fotky. Delší dokument je potřeba rozdělit na části, protože kontext 2 000–4 000 tokenů rychle dojde. Překlad z češtiny do angličtiny je na 3B modelu použitelný, ale kvalita zaostává za cloudovými službami. Offline jazykové balíčky v Samsung Interpreter nebo Google Translate fungují na principu menších specializovaných modelů, ne velkého LLM.
Úprava fotek: na zařízení běží segmentace, odstranění objektu, retuš a odšumění. Apple Clean Up v Apple Intelligence je součástí on-device modelu pro menší úpravy; generativní doplnění větší plochy mohou výrobci řešit v cloudu, Apple přes Private Cloud Compute. Pro tyto úlohy není potřeba LLM; stačí menší vision model.
Psaní a korektury: Apple Writing Tools a Gemini Nano umí přeformulovat větu, zkrátit text nebo opravit gramatiku. U 1B modelu je čeština slabá, u 3B+ se dá použít na krátké odstavce. Na dlouhé texty a spolehlivou faktografii je lokální model pořád pozadu.
Aplikace jako PocketPal AI, MLC Chat nebo Private LLM stahují model jako soubor GGUF. U 3B modelu počítejte s 2 GB místa na disku, u 7B se 4 GB. Android i iOS omezují paměť pro aplikaci, takže i telefon s 12 GB RAM může mít pro model dostupných jen 4–6 GB. Při dlouhém běhu 3B modelu se telefon zahřeje a sníží takt; výdrž baterie klesá o desítky procent za hodinu inferenace.
Čeština je pro malé modely náročnější než angličtina. 1B model často komolí skloňování nebo přepíná do angličtiny. 3B model s českou instrukcí zvládne krátké shrnutí a překlad, ale ne dlouhý právní text. Pokud potřebujete spolehlivý výstup v češtině, je lepší zůstat u cloudu nebo použít 7B model na počítači.
Foto: Abdelrahman Ahmed / Pexels
Pro běh 7B LLM v kvantizaci Q4 potřebujete alespoň 6 GB VRAM a 16 GB RAM, u 13B modelů pak 10 GB VRAM a 32 GB RAM. Zjistěte, co vyměnit ve starším PC a kdy se vyplatí mini-PC.
