Umělá inteligence ChatGPT, Gemini nebo Claude postupně přebírá naše každodenní úkoly. Přečtěte si, jak ji efektivně zařadit do života a přenechat ji co nejvíce úkolů, aby se stala dobrým rádcem nebo zaměstnancem.
Lokální model může odpovídat, i když většinu práce odvádí procesor a grafika se jen veze. Šest měření níže ukáže, jak ověřit offload vrstev, vytížení CPU, spotřebu RAM i diskové I/O.
Na telefonu dnes reálně běží modely od 0,5 do 3 miliard parametrů, na špičkách i 7B. Rozhoduje RAM, kvantizace a podpora NPU; offline zvládnou přepis, shrnutí, překlad i úpravy fotek.
Stisk spouště ve tmě spustí řetězec expozic, snímání senzoru, skládání a výpočtů v ISP i NPU. Dva telefony se stejným senzorem mohou dopadnout jinak, protože rozhoduje optika, stabilizace, firmware a algoritmy.
Pro běh 7B LLM v kvantizaci Q4 potřebujete alespoň 6 GB VRAM a 16 GB RAM, u 13B modelů pak 10 GB VRAM a 32 GB RAM. Zjistěte, co vyměnit ve starším PC a kdy se vyplatí mini-PC.
Aby NAS utáhl Home Assistant, Immich i malý jazykový model v kontejnerech, potřebuje x86-64, dost paměti a systémový SSD. Konkrétní postup, co zapnout a co zálohovat.
Rozhodnutí mezi cloudovým API a lokálním nasazením LLM závisí na objemu tokenů, ceně elektřiny a času. Přinášíme praktický kalkulační rámec pro malé firmy a power uživatele, včetně příkladů pro 7B a 70B modely.
Pro 7B model v Q4 kvantizaci stačí 6 GB VRAM, pro 70B model v Q4 už potřebujete 40 GB. Přinášíme přehlednou tabulku nároků na VRAM podle velikosti modelu a kvantizace, včetně rad, kdy se vyplatí použít CPU a systémovou RAM.
Počet megapixelů je při výběru fotomobilu nejméně vypovídající údaj. O kvalitě snímku rozhoduje fyzická velikost snímače, optická stabilizace a to, jak agresivně telefon upravuje fotku pomocí AI.
U lokálních LLM nerozhoduje počet TOPS, ale paměťová propustnost a velikost RAM. Mini-PC s DDR5-5600 zvládne 8B model, na 70B potřebujete propustnost Strix Halo (256 GB/s) nebo Mac mini s M4 Pro (273 GB/s).
Žádný jednotlivý nástroj s jistotou neprokáže, že je obsah z umělé inteligence. Spolehlivější je ověřovat původ souboru, vodoznak tvůrce a to, kde se daný obrázek objevil poprvé.
Model Llama 3 8B v kvantizaci Q4_K_M má kolem 5 GB, takže se z disku načte pod sekundu i na PCIe 4.0. Rozdíl mezi disky pro AI PC vzniká jinde: v DRAM cache, hodnotě TBW a chování při dlouhých zápisech.
Vypnuli jsme data na třech vlajkových lodích a zkusili funkce, které se tváří jako AI. Zjistili jsme, kdy postačí NPU a kdy telefon odešle data do cloudu.
