#mlx — Public Fediverse posts

📊 Leads every instruction-following benchmark and nearly all tool-use benchmarks against models up to 4x its size, trailing only #Qwen3_5 9B on BFCLv4 — coding remains the weaker area

🔧 Day-one support for #llamacpp (GGUF), #MLX, #vLLM, #SGLang and #ONNX across Apple, AMD, Qualcomm and NVIDIA hardware

📊 Leads every instruction-following benchmark and nearly all tool-use benchmarks against models up to 4x its size, trailing only #Qwen3_5 9B on BFCLv4 — coding remains the weaker area

🔧 Day-one support for #llamacpp (GGUF), #MLX, #vLLM, #SGLang and #ONNX across Apple, AMD, Qualcomm and NVIDIA hardware

I'm currently testing a few #LLM #MLX runtimes/apps on my #M5 Pro 24 GB. So far, I can't say which one gets the best performance out of a local LLM like #Gemma 4 12B.
I've tested #Ollama, #LMStudio, #oMlx, and #osaurus. Each one has its own 1-2 tweaks that are supposed to squeeze out more performance.

What's your experience been like?

#Apple #MacBook #AI #localai #localllm

I'm currently testing a few #LLM #MLX runtimes/apps on my #M5 Pro 24 GB. So far, I can't say which one gets the best performance out of a local LLM like #Gemma 4 12B.
I've tested #Ollama, #LMStudio, #oMlx, and #osaurus. Each one has its own 1-2 tweaks that are supposed to squeeze out more performance.

What's your experience been like?

#Apple #MacBook #AI #localai #localllm

Локальные LLM на iPhone: память, Core ML, MLX и ограничения

Всем привет! Меня зовут Никита Нагорнов , я iOS-разработчик в компании «Исходный Код». В этой статье разберем, как запускать локальные LLM на iPhone . Поговорим про: 1. Архитектуру Apple Silicon и Unified Memory — почему не можем использовать всю доступную память; 2. Память, квантование и KV Cache — где приложения начинают падать и как это отловить; 3. Core ML и MLX — чем отличаются, где какой быстрее и почему нельзя всё запускать на нейронном процессоре; 4. Температуру и троттлинг — что происходит с телефоном на длинной сессии; 5. Гибридный пайплайн — как взять сильные стороны обоих фреймворков и получить стабильную генерацию.

https://habr.com/ru/articles/1064924/

#iOS #Swift #Core_ML #MLX #LLM #Apple_Silicon #ondevice_AI #машинное_обучение

Пять неправильных токенов и 245 картинок: как Krea 2 заработала на Swift и MLX

На обложке — команда, которой не было. В реальности Twisterminigen создавался за одним столом: я, Mac mini M4 с 32 ГБ объединённой памяти и Codex. Получилось нативное приложение для Krea 2 Turbo на Swift и MLX: без Python внутри и без облачного inference, но с очередью, LoRA, Regional Prompts, Presets и воспроизводимыми рецептами генерации. Самый опасный баг при этом не падал и не рисовал шум. Пять токенов из 512 получали неправильные RoPE-позиции, старый тест проходил, а картинки выглядели нормально. После исправления тот же prompt и seed изменили 99,32% пикселей. В статье — как набор из 31,18 ГиБ весов заработал на 32-гигабайтном Mac, почему одинаковый seed не является паспортом персонажа и где заканчивается красивая картинка и начинается проверяемый продукт.

https://habr.com/ru/articles/1064434/

#krea_2 #mlx #swift #swiftui #apple_silicon #macos #codex #rope #локальный_inference #генерация_изображений

Connecting ☕ #Java 25 + 🦜 #langchain4j 1.18.0 to local #MLX (via OpenAI-compatible API server).
Sub-10ms TTFT, 100% offline & private! ⚡

Connecting ☕ #Java 25 + 🦜 #langchain4j 1.18.0 to local #MLX (via OpenAI-compatible API server).
Sub-10ms TTFT, 100% offline & private! ⚡

56 минут созвона → текст за 5 минут на M4 без OBS и облака

У меня от трёх до пяти созвонов в день, почти все в браузере: Meet, Яндекс Телемост, ktalk, реже всего Zoom. Детали встреч мне нужны в тексте, иначе договорённости расползаются. Писал я звонки через OBS с захватом экрана, и на самих звонках началось веселье: звук временами жёстко квакал, всё чуть-чуть подвисало. Причину до конца не выяснял, моё предположение - процессор зажирался захватом и перебивал сам разговор; ktalk и браузер тут ни при чём. А экран, как потом дошло, мне вообще был не нужен. Дальше вторая серия. Расшифровку я гонял своими Python-скриптами: конвертация → транскрибация → диаризация (разметка, кто когда говорил). На встрече с пятью участниками диаризация расставляла голоса крайне плохо, половину фраз всё равно восстанавливал по памяти. Пошёл искать вариант, чтобы запись не мешала звонку, результат был приличный и всё крутилось локально: не хотелось ни отдавать записи в облако, ни платить подписку за минуты. Нашёл платный Audio Hijack , он подкупил лёгкостью и простотой настройки. Потом узнал, что на M-чипе быстрее всего у меня отрабатывает mlx-whisper на MLX : веса large-v3-turbo с Hugging Face, инференс на GPU Mac. Это архитектура Whisper, но рантайм — пакет mlx-whisper и бинарь mlx_whisper , не pip install openai-whisper и не репозиторий openai/whisper . Так собрался стек: Hijack пишет один mp3, mlx_whisper делает VTT, pyannote раскладывает по SPEAKER_XX. На 56-минутном звонке транскрипция заняла около пяти минут. Платный только Hijack — разовая лицензия, без подписки (цену смотрите на сайте Rogue Amoeba). Скрипты выложил в mac-call-transcribe под MIT. Ниже сборка, замеры с двух реальных звонков и грабли; повторяется на любом Mac с M-чипом.

https://habr.com/ru/articles/1062068/

#whisper #mlx #pyannote #speaker_diarization #расшифровка_звонков #python #apple_silicon #транскрибация_звонков

Шесть часов на один рендер: как я собрал нативную студию Ideogram 4 на Swift и MLX

Я запустил Ideogram 4 локально на Mac, а затем собрал для него нативное приложение на Swift и MLX — без отдельного Python-процесса во время рендера. Сразу честно: «6 часов против 11 минут» — не ускорение одной картинки в 35 раз, а два разных режима: максимальный Quality 2048×2048 на 48 шагах и повседневный Turbo 1152×768 на 12. Это продолжение серии о Typhoonminigen. В статье — архитектура приложения, реальные замеры, удачные решения, ограничения и ошибки, которые пришлось исправлять по пути.

https://habr.com/ru/articles/1060678/

#искусственный_интеллект #Cyclonminigen #Ideogram_4 #MLX #Swift #Apple_Silicon #macOS #генерация_изображений #локальный_ИИ #open_source

@n_dimension I’m seeing lots of activity with training in the #mlx dev community

@n_dimension I’m seeing lots of activity with training in the #mlx dev community

RE: https://mastodon.social/@asymco/116907371101912808

“I met Bertrand at WWDC after he gave that talk [on Apple PowerPC to Intel transition]. He called the old system a skyscraper, and described how they had to move the skyscraper. I told him it was impressive, and he was almost dismissive: this is nothing, we’ve been sweating portability for decades. That came from his background before NeXT, working on the Mach kernel and the portability of Unix, which became the heart of OS X.”#Apple #mlx

RE: https://mastodon.social/@asymco/116907371101912808

“I met Bertrand at WWDC after he gave that talk [on Apple PowerPC to Intel transition]. He called the old system a skyscraper, and described how they had to move the skyscraper. I told him it was impressive, and he was almost dismissive: this is nothing, we’ve been sweating portability for decades. That came from his background before NeXT, working on the Mach kernel and the portability of Unix, which became the heart of OS X.”#Apple #mlx

«Четыре шага — и точка» Я сам придумал главное ограничение своего приложения

Пару недель назад я рассказывал здесь, как три ночи чинил рендер, который не был сломан . С тех пор в главном ничего не изменилось: я по-прежнему энтузиаст, а не разработчик; код печатает машина, а что и зачем печатать, решаю я. Правда, машин в этот раз было две: код писала Claude Opus 4.8 в режиме ultracode с рассуждением, выкрученным на максимум (xhigh), а вторая — Fable 5 — атаковала приложение. Об этом ближе к концу. Изменилось всё остальное. Typhoonminigen — бесплатное open-source (MIT) нативное macOS-приложение для локальной генерации FLUX.2 Klein на Apple Silicon, без Python, без ComfyUI, без облака — доросло до версии 2.0: 57 новых функций, 150+ исправлений. Про них и статья. Но начать придётся не с функций, а с признания: самый живучий баг приложения сидел не в коде. Он сидел во мне.

https://habr.com/ru/articles/1055878/

#FLUX2 #Klein #MLX #Apple_Silicon #генерация_изображений #LoRA #обучение_LoRA #Swift #macOS #локальный_ИИ