AI vo vrecku? Toto zariadenie šokovalo technologický svet

Vyzerá to skôr ako hrubšia powerbanka než ako technologický prelom, no firma Tiiny AI tvrdí, že do dlane natlačila zariadenie schopné spúšťať obrovské jazykové modely aj bez internetu. Otázka je, či ide o skutočný zlom v osobnej AI, alebo o veľmi šikovne zabalený marketing.

Svet technológií obletela v posledných dňoch správa, ktorá znie takmer absurdne. Americký startup Tiiny AI predstavil zariadenie s názvom AI Pocket Lab a tvrdí, že ide o najmenší osobný AI „superpočítač“ na svete. Podľa dostupných informácií má mať rozmery len 142 × 80 × 25,3 milimetra, teda približne veľkosť väčšieho smartfónu alebo menšej powerbanky. Guinness World Records mu dokonca uznal rekord v kategórii najmenší mini PC schopný lokálne spúšťať 100-miliardový jazykový model.

Na papieri to vyzerá brutálne. Firma uvádza 12-jadrový ARM procesor, 80 GB pamäte LPDDR5X, 1 TB úložisko a AI výkon okolo 190 TOPS. Najväčším lákadlom však nie sú samotné čísla, ale sľub, že zariadenie dokáže bez pripojenia na cloud lokálne spúšťať modely až do veľkosti 120 miliárd parametrov. Inak povedané, AI, ktorú dnes väčšina ľudí používa cez internet a servery niekde v dátovom centre, by sa teoreticky mohla zmestiť do vrecka.

Presne na tom Tiiny AI stavia celý príbeh. Offline prevádzka má znamenať vyššie súkromie, nižšiu závislosť od internetu a väčšiu kontrolu nad tým, čo sa deje s citlivými dátami. Znie to ako sen pre ľudí, ktorí nechcú svoje dokumenty, nápady alebo firemné dáta posielať na cudzie servery. Zároveň to zapadá do rastúceho trendu takzvanej edge AI, teda presunu umelej inteligencie z veľkých cloudových fariem priamo do zariadení, ktoré má človek pri sebe.

Lenže práve tu treba zabrzdiť nadšenie. Veľká časť najodvážnejších tvrdení zatiaľ stojí hlavne na materiáloch firmy a mediálnych prebratiach. Nezávisle overených benchmarkov, ktoré by jasne ukázali, ako rýchlo a v akej kvalite toto vreckové zariadenie skutočne zvláda 100B či 120B modely, je zatiaľ málo. Technologické médiá upozornili aj na nejasnosti v marketingových formuláciách, vrátane tvrdení o „OTA hardvérových updatoch“, ktoré znejú prinajmenšom zvláštne. Preto sa dnes nedá s istotou povedať, či pozeráme na začiatok novej éry osobnej AI, alebo len na veľmi efektný produktový hype.

Aj keby však firma svoje sľuby trochu prikrášlila, samotný smer je jasný. AI sa tlačí z obrovských serverov do čoraz menších zariadení a to, čo dnes pôsobí ako technologická kuriozita, môže byť o pár rokov bežný štandard. Notebooky, telefóny, minipočítače či domáce huby už dávno nie sú len o ukladaní dát alebo spúšťaní aplikácií. Výrobcovia ich čoraz viac tlačia do úlohy osobných AI asistentov, ktorí budú fungovať aj bez internetu. A ak sa ukáže, že sa podobný výkon dá naozaj stabilne natlačiť do zariadenia veľkého ako dlaň, cloud možno prvýkrát dostane reálnu konkurenciu aj mimo veľkých firiem.

Zatiaľ teda platí jediné. AI Pocket Lab je fascinujúca ukážka toho, kam sa technológie ženú. No medzi „rekordne malým zariadením“ a „skutočnou revolúciou“ je ešte dosť veľký rozdiel. A ten sa ukáže až vtedy, keď podobné stroje prestanú žiť len v titulkoch a začnú ich testovať ľudia mimo marketingových prezentácií.