ШІ у кишені: потужні нейромережі без хмари та дорогого сервера

На айфоні тепер можна запустити мовну модель на 35 мільярдів параметрів — без інтернету, без хмари, без єдиного запиту до чужого сервера. Ще рік тому таке вимагало відеокарти вартістю як уживана автівка. Тепер це вміщується в кишеню.

Технічна суть — у стисненні. Демонстрація Show HN показала запуск моделі Qwen на 80 мільярдів параметрів усього в 4,3 гігабайтах оперативної пам'яті на комп'ютері Mac, а модель на 35 мільярдів — на смартфоні. Паралельно проєкт AirLLM навчився проганяти 70-мільярдну модель через одну відеокарту з 4 гігабайтами пам'яті. Це рівень заліза, яке вже стоїть у багатьох людей удома.

Як велике влазить у мале

Модель — це величезна таблиця чисел, які визначають, як вона добирає наступне слово. За замовчуванням кожне число займає багато місця. Уявіть фотографію в максимальній якості: файл на десятки мегабайтів, хоча оком ви не побачите різниці з версією вдесятеро меншою.

Із моделями роблять те саме — це називають квантизацією. Числа огрублюють до простіших значень, і модель усихає в рази, майже не втрачаючи в якості відповідей. Другий трюк — не тримати всю модель у пам'яті одразу. AirLLM підвантажує її шарами, як книжку, яку читаєш сторінку за сторінкою, а не тримаєш розгорнутою всю бібліотеку. Повільніше, зате вміщується там, де раніше не було й шансу.

Чому це важить саме тут

Українська редакція розслідувань працює з документами, які не можна віддавати нікому. Прізвища джерел, чернетки, зливи. Щойно ви завантажуєте це в хмарний чат-бот, файл їде на сервер в іншій країні, під іншою юрисдикцією, з логами, які ви не контролюєте. Гілка Don't be a meat proxy на Hacker News — саме про цю пастку: людина стає простим передавачем даних між собою і чужою машиною.

Локальна модель прибирає посередника. Ноутбук журналіста читає сотні сторінок протоколів, шукає збіги в іменах і сумах, робить чернетку — і жоден байт не залишає пристрою. Немає підписки, яку відключать. Немає сервера, який зламають. Немає рахунку, що росте з кожним запитом.

Для країни, де світло зникає за графіком, автономність — не зручність, а умова роботи. Хмарний сервіс мертвий тієї ж секунди, коли впав інтернет. Модель на ноутбуку з зарядженою батареєю працює й у підвалі під час тривоги. Те саме стосується бізнесу: аналіз клієнтської бази, обробка договорів, внутрішня документація — усе це раптом можна тримати всередині компанії, а не орендувати щомісяця в чужій інфраструктурі.

Межа, яку варто бачити

Локальна модель на телефоні — не заміна найпотужнішим системам із дата-центрів. Вона повільніша й помиляється частіше. Її відповіді треба перевіряти так само прискіпливо, як текст стажера: інша гілка HN нагадує, що ці системи щедро винагороджують саме того, хто вже є експертом у темі й бачить брехню з першого погляду. Хто не бачить — той наковтається впевнено сформульованих дурниць.

Але вибір змінився. Раніше автономний ШІ означав дорогий сервер і команду інженерів. Тепер достатньо ноутбука, який у вас уже є, і вечора на налаштування. Дані лишаються вдома, і це рішення тепер приймаєте ви, а не тарифний план.