#phi4mini — Public Fediverse posts on home.social

Habr @[email protected] · 2026-07-17 · 08:12 UTC

А мы и не заметили, или о том, какие ИИ живут в вашем кармане

Один разработчик запустил 400B-модель на iPhone 17 Pro. Еще раз, 400 млрд параметров, правда с оговоркой, сделал он это через стриминг весов с SSD прямо в обход оперативки. И она работала. Выдавала 0,6 токена в секунду — это примерно слово в пару секунд, с задумчивыми паузами, как диалап в 2003. Технически бесполезно, на практике возможно (но ведь запустилась же). И вот еще из неочевидного. Прямо сейчас, пока вы читаете это в Chrome на десктопе, в ваш браузер уже скачана языковая модель на несколько миллиардов параметров, и любая открытая вкладка может ее дернуть без спроса. В вашем телефоне крутится Apple Intelligence? Поздравляю, вы обладатель ИИ в вашем смартфоне. В общем, маленькие языковые модели уже среди нас. Так давайте разберемся, что это за модели на 1–7 млрд параметров, кто их делает, как они запускаются на телефоне, в браузере, и где вас ждет подвох, которого нет ни в одной таблице с бенчмарками.

https://habr.com/ru/companies/selectel/articles/1059128/

#малые_языковые_модели #SLM #локальные_модели #квантизация #Gemma #Phi4mini #Qwen #Gemini_Nano #пропускная_способность_памяти #троттлинг