#core_ml — Public Fediverse posts

Локальные LLM на iPhone: память, Core ML, MLX и ограничения

Всем привет! Меня зовут Никита Нагорнов , я iOS-разработчик в компании «Исходный Код». В этой статье разберем, как запускать локальные LLM на iPhone . Поговорим про: 1. Архитектуру Apple Silicon и Unified Memory — почему не можем использовать всю доступную память; 2. Память, квантование и KV Cache — где приложения начинают падать и как это отловить; 3. Core ML и MLX — чем отличаются, где какой быстрее и почему нельзя всё запускать на нейронном процессоре; 4. Температуру и троттлинг — что происходит с телефоном на длинной сессии; 5. Гибридный пайплайн — как взять сильные стороны обоих фреймворков и получить стабильную генерацию.

https://habr.com/ru/articles/1064924/

#iOS #Swift #Core_ML #MLX #LLM #Apple_Silicon #ondevice_AI #машинное_обучение