Vlajkové smartphony s procesorem Snapdragon 8 Gen 3 dosahují v neuronové jednotce výkonu 45 TOPS. To stačí na to, aby telefon zvládl rozpoznávání řeči, překlad nebo úpravu fotografií zcela offline. Vaše data se nikam neodesílají, odpověď přichází okamžitě a telefon se nemusí připojovat k mobilní síti. Tohle je edge AI – zpracování umělé inteligence přímo na zařízení.
Cloud AI funguje naopak. Data pošlete na server, tam je zpracuje výkonný model a výsledek se vrátí zpět. Typickým příkladem je ChatGPT, Gemini od Googlu nebo Copilot od Microsoftu. Tyto služby používají modely s miliardami parametrů, které se do mobilu ani notebooku nevejdou.
Proč je edge AI rychlejší a úspornější
U edge AI odpadá síťová komunikace, která u cloudových služeb tvoří rozhodující část latence. Zatímco dotaz do cloudu přes LTE zabere obvykle půl sekundy i déle, lokální zpracování na NPU je prakticky okamžité. Pro interaktivní aplikace, jako je živý překlad nebo rozpoznávání gest, je to zásadní rozdíl.
Důležitější než rychlost je ale spotřeba energie. Odeslání dat do cloudu a přijetí odpovědi vyžaduje aktivní rádiové rozhraní, které v mobilu patří k nejnáročnějším komponentům. Pro jednoduchou úlohu, jako je přepis hlasu, je energeticky výhodnější zpracovat ji lokálně na NPU. Neurální jednotka je pro AI úlohy navržená tak, aby dosahovala vyššího výkonu na watt. Proto se díky NPU v noteboocích s procesory Intel Core Ultra nebo AMD Ryzen AI zpracování rozostření pozadí ve videohovorech obejde bez zahřívání a ventilátor zůstane tichý.
Soukromí: data nikam neodchází, nebo naopak
Edge AI drží data na zařízení. To je zásadní pro citlivé informace, jako je zdravotní stav, biometrie nebo firemní dokumenty. U cloudové AI vždy data putují na servery poskytovatele, kde jsou teoreticky přístupná třetím stranám. Ačkoli společnosti slibují šifrování a anonymizaci, riziko úniku existuje vždy.
Například překladač Google Translate zvládne při staženém jazykovém balíčku pracovat zcela offline. Váš text se nikdy nedostane na servery Googlu. Naopak ChatGPT vyžaduje připojení k internetu, protože model běží na serverech OpenAI. Celou konverzaci tedy posíláte třetí straně, která ji může využít k dalšímu trénování modelů.
Hybridní model: Apple Intelligence a Microsoft Copilot+
Zajímavé řešení představuje Apple Intelligence, která kombinuje oba přístupy. Jednoduché úlohy zpracuje lokálně pomocí modelu s 3 miliardami parametrů. Složitější požadavky se odešlou do služby Private Cloud Compute, která běží na serverech Apple. Tam se data zpracují a hned vymažou – Apple nemá k obsahu přístup ani pro své účely.
Podobně funguje Microsoft Copilot+ na noteboocích s pracovní pamětí 16 GB a výkonem NPU alespoň 40 TOPS. Funkce jakou je Recall nebo Live Captions běží na zařízení, zatímco integrace s webovým Copilotem vyžaduje cloud. Už samotná skutečnost, že procesor musí splnit určitý minimální výkon NPU, ovlivňuje výběr notebooku.
Kdy se vyplatí cloud AI
Cloud AI je nepostradatelná pro generování složitějších obsahů, jako je programování, psaní dlouhých textů nebo tvorba obrázků. Modely jako GPT-4o nebo Gemini 1.5 Pro mají stovky miliard parametrů a potřebují serverové GPU. Kdybyste je chtěli spustit lokálně, potřebovali byste výkonné počítače s grafikou za desítky tisíc korun a přesto by odezva nebyla tak rychlá jako u cloudových služeb.
Prakticky to znamená, že pokud si na mobilu dnes napíšete do ChatGPT český dotaz, odpověď přijde za pár sekund. Ale pak si uvědomíte, že jste celou zprávu poslali na servery OpenAI. U edge AI máte jistotu, že se nic neodesílá, a proto se hodí pro bankovní aplikace, rozpoznávání obličeje nebo zpracování hlasu v nemocnicích.
Při koupi nového telefonu nebo notebooku se proto vyplatí zkontrolovat, jestli má procesor NPU a které AI funkce jsou dostupné offline. U notebooků s Windows 11 to najdete v aplikaci Nastavení nebo na stránkách výrobce. V případě konkrétních modelů pak porovnejte výkon NPU v TOPS – čím víc, tím schopnější lokální AI.
Foto: MART PRODUCTION / Pexels
