#gemini_nano — Public Fediverse posts

Chrome скачал себе мозг: Gemini Nano локально, Ask Gemini — в облаке

В настройках Chrome появился переключатель «ИИ на устройстве» . Он относится к моделям, которые запускаются прямо на компьютере, причем, для целей довольно разнообразных (в частности, даже для обнаружения мошеннических сайтов). В каталоге профиля браузера при этом действительно лежат несколько гигабайт весов Gemini Nano. Хочется сказать: раз модель уже скачана, то встроенный Gemini должен работать локально - например, читать и пересказывать открытую страницу без обращения в облако! Увы, для Google это оказалось не самым логичным решением. Более того, они даже с неймингом не справились до конца, чем здорово всех запутали. Под словом Gemini у компании скрываются две принципиально разные системы. Ask Gemini / Gemini in Chrome — облачный сервис. Когда вы просите его пересказать страницу или ответить на вопрос по открытым вкладкам, их содержимое передаётся в инфраструктуру Google. Gemini Nano — локальная модель. Chrome скачивает её на компьютер и запускает на CPU или GPU. Отдельной кнопки «спросить Gemini Nano» у пользователя нет. Этой моделью пользуются сайты и расширения через специальные API Chrome, а также сам браузер — например, при первичной проверке подозрительных страниц.

https://habr.com/ru/articles/1068242/

#Google_Chrome #Gemini_Nano #Gemini_in_Chrome #локальный_ИИ #искусственный_интеллект #браузер #Summarizer_API #Prompt_API #Google_Safe_Browsing #приватность

А мы и не заметили, или о том, какие ИИ живут в вашем кармане

Один разработчик запустил 400B-модель на iPhone 17 Pro. Еще раз, 400 млрд параметров, правда с оговоркой, сделал он это через стриминг весов с SSD прямо в обход оперативки. И она работала. Выдавала 0,6 токена в секунду — это примерно слово в пару секунд, с задумчивыми паузами, как диалап в 2003. Технически бесполезно, на практике возможно (но ведь запустилась же). И вот еще из неочевидного. Прямо сейчас, пока вы читаете это в Chrome на десктопе, в ваш браузер уже скачана языковая модель на несколько миллиардов параметров, и любая открытая вкладка может ее дернуть без спроса. В вашем телефоне крутится Apple Intelligence? Поздравляю, вы обладатель ИИ в вашем смартфоне. В общем, маленькие языковые модели уже среди нас. Так давайте разберемся, что это за модели на 1–7 млрд параметров, кто их делает, как они запускаются на телефоне, в браузере, и где вас ждет подвох, которого нет ни в одной таблице с бенчмарками.

https://habr.com/ru/companies/selectel/articles/1059128/

#малые_языковые_модели #SLM #локальные_модели #квантизация #Gemma #Phi4mini #Qwen #Gemini_Nano #пропускная_способность_памяти #троттлинг

「Prompt API」が安定版に、超効率モデル「Gemma 197M」も ～「Google Chrome」の組み込みAI機能が拡充／早期機能をぜひ試してみよう
https://forest.watch.impress.co.jp/docs/news/2112093.html

#forest_watch_impress #Google_Chrome #Gemini #Gemini_Nano #Gemma_197M #genai #文章生成

[Перевод] Chrome без спроса скачивает 4 гб модель. В масштабе миллиардов устройств это уже заметный удар по климату

Две недели назад я писал про Anthropic: Claude Desktop тихо регистрирует модуль Native Messaging сразу в семи браузерах на базе Chromium на машине пользователя. Схема там была чрезвычайно простая: запускаешь одну программу, а она без спроса прописывает себя в настройки других установленных тобой программ. То есть спокойно перелезает через некие «границы доверия» между вендорами. Ни окна согласия, ни понятного отказа в интерфейсе. Удаляешь вручную — при следующем запуске все появляется снова. Теперь та же история всплыла у Google. Chrome без спроса кладет на диск файл локальной ИИ-модели размером 4 ГБ. Это weights.bin в каталоге OptGuideOnDeviceModel . По сути, это веса Gemini Nano, локальной языковой модели Google. Браузер не спрашивает разрешения, никак не показывает пользователю, что сделал, а если файл удалить - просто скачивает его снова. С юридической стороны история очень похожа на кейс Anthropic. Но у Google добавляется еще одна вещь: масштаб. Когда такой файл разъезжается по гигантской аудитории Chrome, экологическая цена уже вполне материальна. В зависимости от числа устройств речь идет примерно о 6-60 тыс. тонн CO2-эквивалента за одну такую волну загрузок. То есть одна компания просто решает, что браузер по умолчанию для миллиардов людей раскатает по их машинам 4 ГБ бинарных данных, которых никто не просил.

https://habr.com/ru/articles/1032538/

#gemini_nano #google_chrome #4gb

「Chrome」が勝手に4GBもダウンロード、オンデバイスAI「Gemini Nano」の是非で紛糾／Googleの中の人が釈明【やじうまの杜】
https://forest.watch.impress.co.jp/docs/serial/yajiuma/2106708.html

#forest_watch_impress #Google_Chrome #Gemini #Gemini_Nano #genai #業界動向 #インターネット #Webブラウザー #Windows #Mac #Linux