#ondevice_ai — Public Fediverse posts

Локальные LLM на iPhone: память, Core ML, MLX и ограничения

Всем привет! Меня зовут Никита Нагорнов , я iOS-разработчик в компании «Исходный Код». В этой статье разберем, как запускать локальные LLM на iPhone . Поговорим про: 1. Архитектуру Apple Silicon и Unified Memory — почему не можем использовать всю доступную память; 2. Память, квантование и KV Cache — где приложения начинают падать и как это отловить; 3. Core ML и MLX — чем отличаются, где какой быстрее и почему нельзя всё запускать на нейронном процессоре; 4. Температуру и троттлинг — что происходит с телефоном на длинной сессии; 5. Гибридный пайплайн — как взять сильные стороны обоих фреймворков и получить стабильную генерацию.

https://habr.com/ru/articles/1064924/

#iOS #Swift #Core_ML #MLX #LLM #Apple_Silicon #ondevice_AI #машинное_обучение

Локальные LLM на iPhone: память, Core ML, MLX и ограничения

Всем привет! Меня зовут Никита Нагорнов , я iOS-разработчик в компании «Исходный Код». В этой статье разберем, как запускать локальные LLM на iPhone . Поговорим про: 1. Архитектуру Apple Silicon и Unified Memory — почему не можем использовать всю доступную память; 2. Память, квантование и KV Cache — где приложения начинают падать и как это отловить; 3. Core ML и MLX — чем отличаются, где какой быстрее и почему нельзя всё запускать на нейронном процессоре; 4. Температуру и троттлинг — что происходит с телефоном на длинной сессии; 5. Гибридный пайплайн — как взять сильные стороны обоих фреймворков и получить стабильную генерацию.

https://habr.com/ru/articles/1064924/

#iOS #Swift #Core_ML #MLX #LLM #Apple_Silicon #ondevice_AI #машинное_обучение

Локальные LLM на iPhone: память, Core ML, MLX и ограничения

Всем привет! Меня зовут Никита Нагорнов , я iOS-разработчик в компании «Исходный Код». В этой статье разберем, как запускать локальные LLM на iPhone . Поговорим про: 1. Архитектуру Apple Silicon и Unified Memory — почему не можем использовать всю доступную память; 2. Память, квантование и KV Cache — где приложения начинают падать и как это отловить; 3. Core ML и MLX — чем отличаются, где какой быстрее и почему нельзя всё запускать на нейронном процессоре; 4. Температуру и троттлинг — что происходит с телефоном на длинной сессии; 5. Гибридный пайплайн — как взять сильные стороны обоих фреймворков и получить стабильную генерацию.

https://habr.com/ru/articles/1064924/

#iOS #Swift #Core_ML #MLX #LLM #Apple_Silicon #ondevice_AI #машинное_обучение

Картинки рвало полосами, а файлы при этом были чистыми

Три ночи я был уверен, что у меня сломан рендер. Вертикальные картинки — те самые 9:16, под обои телефона и под сторис, — на экране разъезжались горизонтальными полосами. Как будто старый телевизор поймал помехи. Квадрат рисуется нормально. Горизонталь — нормально. А вертикалку рвёт в труху. Три раза я её «починил». И все три раза чинил вообще не то. Правда оказалась дурацкой и красивой одновременно: файлы были в полном порядке. Рвало только то, как macOS показывала их на экране. Но к этому моменту я уже немного поседел. Это не история из серии «смотрите, какой я молодец». Это честный рассказ, как обычный человек без программистского образования за неделю собрал себе на Mac локальный генератор картинок — и на какие грабли наступил по дороге. Я энтузиаст, не разработчик. И сразу самое важное, чтобы потом не было неловко: я не написал ни одной строчки кода. Ни единой. Даже Xcode толком не открывал. Код писал вместе со мной Claude Code, модель Opus 4.8. И сам движок генерации — тоже не мой. А моё во всём этом — то, что движок не топит ваш Mac и не показывает вам битые картинки. Звучит мелко? Вот про эту мелочь и весь рассказ. Прятать тут нечего, про границы расскажу честно прямо сейчас.

https://habr.com/ru/articles/1049478/

#FLUX2 #MLX #Apple_Silicon #macOS #Swift #генерация_изображений #локальная_нейросеть #ondevice_AI #Klein #open_source

Картинки рвало полосами, а файлы при этом были чистыми

Три ночи я был уверен, что у меня сломан рендер. Вертикальные картинки — те самые 9:16, под обои телефона и под сторис, — на экране разъезжались горизонтальными полосами. Как будто старый телевизор поймал помехи. Квадрат рисуется нормально. Горизонталь — нормально. А вертикалку рвёт в труху. Три раза я её «починил». И все три раза чинил вообще не то. Правда оказалась дурацкой и красивой одновременно: файлы были в полном порядке. Рвало только то, как macOS показывала их на экране. Но к этому моменту я уже немного поседел. Это не история из серии «смотрите, какой я молодец». Это честный рассказ, как обычный человек без программистского образования за неделю собрал себе на Mac локальный генератор картинок — и на какие грабли наступил по дороге. Я энтузиаст, не разработчик. И сразу самое важное, чтобы потом не было неловко: я не написал ни одной строчки кода. Ни единой. Даже Xcode толком не открывал. Код писал вместе со мной Claude Code, модель Opus 4.8. И сам движок генерации — тоже не мой. А моё во всём этом — то, что движок не топит ваш Mac и не показывает вам битые картинки. Звучит мелко? Вот про эту мелочь и весь рассказ. Прятать тут нечего, про границы расскажу честно прямо сейчас.

https://habr.com/ru/articles/1049478/

#FLUX2 #MLX #Apple_Silicon #macOS #Swift #генерация_изображений #локальная_нейросеть #ondevice_AI #Klein #open_source

Картинки рвало полосами, а файлы при этом были чистыми

Три ночи я был уверен, что у меня сломан рендер. Вертикальные картинки — те самые 9:16, под обои телефона и под сторис, — на экране разъезжались горизонтальными полосами. Как будто старый телевизор поймал помехи. Квадрат рисуется нормально. Горизонталь — нормально. А вертикалку рвёт в труху. Три раза я её «починил». И все три раза чинил вообще не то. Правда оказалась дурацкой и красивой одновременно: файлы были в полном порядке. Рвало только то, как macOS показывала их на экране. Но к этому моменту я уже немного поседел. Это не история из серии «смотрите, какой я молодец». Это честный рассказ, как обычный человек без программистского образования за неделю собрал себе на Mac локальный генератор картинок — и на какие грабли наступил по дороге. Я энтузиаст, не разработчик. И сразу самое важное, чтобы потом не было неловко: я не написал ни одной строчки кода. Ни единой. Даже Xcode толком не открывал. Код писал вместе со мной Claude Code, модель Opus 4.8. И сам движок генерации — тоже не мой. А моё во всём этом — то, что движок не топит ваш Mac и не показывает вам битые картинки. Звучит мелко? Вот про эту мелочь и весь рассказ. Прятать тут нечего, про границы расскажу честно прямо сейчас.

https://habr.com/ru/articles/1049478/

#FLUX2 #MLX #Apple_Silicon #macOS #Swift #генерация_изображений #локальная_нейросеть #ondevice_AI #Klein #open_source