Představte si, že sedíte v letadle, kde není wi-fi ani mobilní signál, a chcete si nechat sumarizovat hodinovou nahrávku do stručných poznámek. U iPhonu 15 Pro, Galaxy S24 Ultra a Pixelu 8 Pro si možná říkáte, že výkonná neuronová jednotka zvládne úkol bez připojení. Zkoušeli jsme to přesně v téhle situaci – vypnuli jsme data a přepnuli telefony do letového režimu. Výsledek je jednoznačný: jednoduchá AI běží lokálně, jakmile jde o generování textu, senzační prohlášení výrobců narážejí na realitu.
Test probíhal na všech třech modelech se stejným postupem: otevřeli jsme aplikaci fotoaparátu pro rozpoznání objektů, v galerii zkusili magickou úpravu s mazáním lidí, a pak jsme přešli k textovým aplikacím - ke zpracování nahrávky a vytvoření odpovědi ve zprávách. U každé akce jsme sledovali, zda telefon hlásí chybu připojení, nebo funguje dál.
Rozpoznávání a úpravy fotek: NPU každému zajistí offline provoz
Když jsme namířili telefon na květinu a nechali ho identifikovat obsah, všechny tři telefony porozuměly obrazu bez nutnosti internetu. Steamový rozpoznávač se spustí z předtrénovaného modelu uloženého v interní paměti. Podobně na tom byl Pixel 8 Pro s funkcí Magic Eraser - s cizím objektem si poradil bez problémů, sám opravil strukturu pozadí. Galaxy S24 Ultra má ve své Galerii generativní mazání taktéž, ale vyžaduje, aby byla funkce v zařízení zapnutá offline. I ta jsme ale rozsvičeli jen u telefonu s vypnutými daty: pozadí se vyplnilo na základě okolních bodů a samotný výpočet probíhal v rámci aplikace.
Na iPhonu 15 Pro nás podobně překvapil Live Text. Když jsme na obrázku z převráceného dokumentu zatrhli větu, telefon text rozpoznal a nabídl překlad s tím, že zpracování proběhlo přímo v zařízení. To vše díky neuronovým jádrům Neural Engine, které si poradí i s víceslovnými kopiemi textu. Nic z toho tedy nezahltí cloudu a navíc to funguje rychle a bez odezvy sítě.
Textová generace: Pixel 8 Pro drží pozice díky Gemini Nano
U textových úloh jsme ale narazili na ostrý předěl. Pixel 8 Pro má jako jediný z testovaných telefonů k dispozici model Gemini Nano, který Google nasadí do aplikací jako Zprávy nebo Recorder. V letovém režimu jsme dokázali vytvořit shrnutí nahrávky a dokonce i navrhnout odpověď na příchozí zprávu. Je vidět, že NPU dokáže spustit malý model o velikosti zhruba 1,8 GB, a to i bez internetu. Odezva je o něco pomalejší než u serverového Gemini, ale rozdíl jsme vnímali pouze u prvních odpovědích – po zahřátí NPU se čas srovnal.
Galaxy S24 Ultra a iPhone 15 Pro se s podobným úkolem nepopasovaly. U Samsungu jsme zkoušeli funkci sumarizace v aplikaci Poznámky, ale ta se bez připojení ani nezapnula. Stejně tak inteligentní odpovědi na zprávy ze systému Android chyběly. A iPhone na tom není o nic lépe: Siri sice používá natrénované modely pro rozpoznávání hlasu, ale pokud jsme se zeptali na souvislé shrnutí e-mailu, odpověď se přepnula na server a vyžadovala připojení k internetu. To znamená, že v leteckém režimu jsme se na Galaxy i iPhonu neobešli bez cloudu.
Proč se na velkých jazykových modelech NPU nedokáže projevit?
Důvod spočívá v parametrech. Model, který by skutečně rozuměl celým článkům a psal kvalitní odpovědi, mívá desítky miliard parametrů. GPT-3.5, který pohání řadu chatovacích aplikací, má zhruba 175 miliard parametrů. Do telefonu se nedostane ani ve 4bitové komprimované podobě – jen samotný model by zabral přes 20 GB operační paměti. NPU pak sice umí vynásobit matice a urychlit výpočty, ale musí čekat na načítání dat z pomalé paměti. Proto se výrobci uchylují k hybridnímu zpracování: jednoduché operace jdou na NPU, náročné generování textu se odešle přes síť do datacentra.
V praxi to znamená, že pokud chcete na telefonu využívat ChatGPT, Copilot nebo Gemini jako asistenta, bez cloudové infrastruktury se neobejdete. A to je důvod, proč si zatím nemůžete stáhnout plnohodnotný jazykový model do mobilu.
Jak se tedy při nákupu telefonu rozhodnout?
Důležité je neplést si výkon NPU u fotografických a hlasových úloh s generativní AI. Telefon s kvalitním NPU vám zajistí bleskrychlou korekci fotek, rozpoznávání obličejů nebo online překlad v reálném čase – to vše bez opuštění zařízení. Na skutečného AI pomocníka, který sepíše text, prohledá dokumenty nebo vymyslí kód, si ale ani v roce 2024 neškrtnete bez připojení k serveru. Když tedy uvažujete o novém smartphonu, nehodnoťte AI podle marketingových videí s plynulou konverzací. Tyto ukázky totiž obvykle běží na serverech. Mnohem užitečnější je ohmatat si, co telefon zvládne v režimu letadlo – mazání objektů, rozpoznávání textu, sumarizaci nahrávky nebo hlasové diktování. To je skutečný přínos NPU a v tom je rozdíl mezi drahými a levnějšími modely stavěnými na AI. Jakmile ale budete chtít, aby telefon napsal článek, otevřete si cloudovou aplikaci – NPU vás v tom nezachrání.
Foto: Phong Thanh / Pexels
