#onnx — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #onnx, aggregated by home.social.
-
I created this free open source dashcam app
It turns your phone into an on device computer vision police detector, spotting patrol vehicles on the road in real time
-
Trained a small object detection model that spots Las Vegas Metro police vehicles in real time. Runs in your browser on WebGPU and on a phone, no server. ONNX weights are up on Hugging Face.
https://huggingface.co/tuxracer/las-vegas-metro-rfdetr-small-t1
#vision #model #police #lasvegas #onnx #rfdetr #objectdetection
-
14× faster embeddings: how we rebuilt the ONNX path in Manticore
https://manticoresearch.com/blog/onnx-embeddings-speedup/
#HackerNews #ONNX #Manticore #embeddings #speedup #AI #research
-
14× faster embeddings: how we rebuilt the ONNX path in Manticore
https://manticoresearch.com/blog/onnx-embeddings-speedup/
#HackerNews #ONNX #Manticore #embeddings #speedup #AI #research
-
14× faster embeddings: how we rebuilt the ONNX path in Manticore
https://manticoresearch.com/blog/onnx-embeddings-speedup/
#HackerNews #ONNX #Manticore #embeddings #speedup #AI #research
-
14× faster embeddings: how we rebuilt the ONNX path in Manticore
https://manticoresearch.com/blog/onnx-embeddings-speedup/
#HackerNews #ONNX #Manticore #embeddings #speedup #AI #research
-
14× faster embeddings: how we rebuilt the ONNX path in Manticore
https://manticoresearch.com/blog/onnx-embeddings-speedup/
#HackerNews #ONNX #Manticore #embeddings #speedup #AI #research
-
https://www.europesays.com/people/133524/ Jia Yangqing’s Lightning Exit from Nvidia: Just One Year After $700 Million Acquisition, Open-Source Faith Collides with Hardware Hegemony #AgenticCoding #AMD #Caffe #DGXLepton #HyperbolicLabs #JensenHuang #JiaYangqing #LeptonAI #Nvidia #ONNX #PyTorch #semianalysis
-
В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX
Когда мы выпустили Auto Embeddings — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдельного сервиса для работы с ML-моделью, — главный запрос пользователей касался скорости работы. Ранее для генерации эмбеддингов использовался только стек SentenceTransformers поверх Candle (Rust-рантайм Hugging Face для ML-инференса), и ресурсы CPU использовались далеко не полностью: в большинстве сценариев нагрузки показатель QPS держался на уровне нескольких десятков документов в секунду независимо от способа подачи данных, а параллельные запросы обрабатывались последовательно в рамках одной сессии модели. Поэтому мы в течение нескольких недель оптимизировали механизм запуска ONNX-моделей в Manticore. Новый бэкенд ONNX Runtime доступен начиная с Manticore Search 27.1.5 . ONNX (Open Neural Network Exchange) — переносимый формат моделей, в котором уже публикуется большинство популярных open-source моделей для эмбеддингов: MiniLM, BGE, E5 и другие. В результате получилось решение, которое в среднем в 14 раз быстрее прежней реализации SentenceTransformers/Candle на том же оборудовании (обычный недорогой сервер с 16 ядрами / 32 потоками), с той же моделью и теми же весами, если усреднить по всей матрице замеров threads × batch , — и это преимущество сохраняется как при одном клиентском потоке, так и при тридцати двух. Предыдущая реализация во всём диапазоне нагрузок показывала 5–11 документов/с; новая реализация работает в диапазоне 70–230 документов/с.
https://habr.com/ru/articles/1051864/
#onnx #onnx_runtime #onnxruntime #embeddings #эмбеддинги #инференс #векторный_поиск #vector_search
-
В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX
Когда мы выпустили Auto Embeddings — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдельного сервиса для работы с ML-моделью, — главный запрос пользователей касался скорости работы. Ранее для генерации эмбеддингов использовался только стек SentenceTransformers поверх Candle (Rust-рантайм Hugging Face для ML-инференса), и ресурсы CPU использовались далеко не полностью: в большинстве сценариев нагрузки показатель QPS держался на уровне нескольких десятков документов в секунду независимо от способа подачи данных, а параллельные запросы обрабатывались последовательно в рамках одной сессии модели. Поэтому мы в течение нескольких недель оптимизировали механизм запуска ONNX-моделей в Manticore. Новый бэкенд ONNX Runtime доступен начиная с Manticore Search 27.1.5 . ONNX (Open Neural Network Exchange) — переносимый формат моделей, в котором уже публикуется большинство популярных open-source моделей для эмбеддингов: MiniLM, BGE, E5 и другие. В результате получилось решение, которое в среднем в 14 раз быстрее прежней реализации SentenceTransformers/Candle на том же оборудовании (обычный недорогой сервер с 16 ядрами / 32 потоками), с той же моделью и теми же весами, если усреднить по всей матрице замеров threads × batch , — и это преимущество сохраняется как при одном клиентском потоке, так и при тридцати двух. Предыдущая реализация во всём диапазоне нагрузок показывала 5–11 документов/с; новая реализация работает в диапазоне 70–230 документов/с.
https://habr.com/ru/articles/1051864/
#onnx #onnx_runtime #onnxruntime #embeddings #эмбеддинги #инференс #векторный_поиск #vector_search
-
В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX
Когда мы выпустили Auto Embeddings — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдельного сервиса для работы с ML-моделью, — главный запрос пользователей касался скорости работы. Ранее для генерации эмбеддингов использовался только стек SentenceTransformers поверх Candle (Rust-рантайм Hugging Face для ML-инференса), и ресурсы CPU использовались далеко не полностью: в большинстве сценариев нагрузки показатель QPS держался на уровне нескольких десятков документов в секунду независимо от способа подачи данных, а параллельные запросы обрабатывались последовательно в рамках одной сессии модели. Поэтому мы в течение нескольких недель оптимизировали механизм запуска ONNX-моделей в Manticore. Новый бэкенд ONNX Runtime доступен начиная с Manticore Search 27.1.5 . ONNX (Open Neural Network Exchange) — переносимый формат моделей, в котором уже публикуется большинство популярных open-source моделей для эмбеддингов: MiniLM, BGE, E5 и другие. В результате получилось решение, которое в среднем в 14 раз быстрее прежней реализации SentenceTransformers/Candle на том же оборудовании (обычный недорогой сервер с 16 ядрами / 32 потоками), с той же моделью и теми же весами, если усреднить по всей матрице замеров threads × batch , — и это преимущество сохраняется как при одном клиентском потоке, так и при тридцати двух. Предыдущая реализация во всём диапазоне нагрузок показывала 5–11 документов/с; новая реализация работает в диапазоне 70–230 документов/с.
https://habr.com/ru/articles/1051864/
#onnx #onnx_runtime #onnxruntime #embeddings #эмбеддинги #инференс #векторный_поиск #vector_search
-
Per anni l'audio su Linux ha significato scegliere tra PulseAudio e JACK, e farli litigare.
PipeWire 1.6 ha chiuso la partita: un solo sistema, e funziona. 👇
https://gomoot.com/dal-caos-pulseaudio-jack-alla-maturita-di-pipewire-1-6/ -
Per anni l'audio su Linux ha significato scegliere tra PulseAudio e JACK, e farli litigare.
PipeWire 1.6 ha chiuso la partita: un solo sistema, e funziona. 👇
https://gomoot.com/dal-caos-pulseaudio-jack-alla-maturita-di-pipewire-1-6/ -
Per anni l'audio su Linux ha significato scegliere tra PulseAudio e JACK, e farli litigare.
PipeWire 1.6 ha chiuso la partita: un solo sistema, e funziona. 👇
https://gomoot.com/dal-caos-pulseaudio-jack-alla-maturita-di-pipewire-1-6/ -
Per anni l'audio su Linux ha significato scegliere tra PulseAudio e JACK, e farli litigare.
PipeWire 1.6 ha chiuso la partita: un solo sistema, e funziona. 👇
https://gomoot.com/dal-caos-pulseaudio-jack-alla-maturita-di-pipewire-1-6/ -
Per anni l'audio su Linux ha significato scegliere tra PulseAudio e JACK, e farli litigare.
PipeWire 1.6 ha chiuso la partita: un solo sistema, e funziona. 👇
https://gomoot.com/dal-caos-pulseaudio-jack-alla-maturita-di-pipewire-1-6/ -
Как я завёл нормальный голос в детское приложение, не разорившись и не заставив никого лезть в настройки
Я в одиночку делаю детское приложение, где дети учат английский через рисование: рисуют слова, а оно распознаёт рисунок и отвечает голосом. В MVP голос был системный — бесплатный, но звучит как робот из нулевых, пока сам не зайдёшь в настройки и не докачаешь нормальный. Я сделал модалку с инструкцией. Угадайте, сколько людей ей воспользовались. Короче, примерно никто. Значит, хороший голос должен достаться всем сразу, без единого телодвижения юзера. И при этом дёшево — причём не только по деньгам. Рассказываю, как я завёл озвучку через ElevenLabs так, что в проде она почти ничего не стоит, работает офлайн и отвечает мгновенно. Ключ оказался в одном наблюдении: всё, что приложение когда-либо скажет, известно заранее. А ещё — почему, когда ты соло и кодишь в паре с агентом, главные проверки в пайплайне работают за ту команду, которой у тебя нет. Как это устроено
https://habr.com/ru/articles/1047888/
#TTS #ElevenLabs #React_Native #Expo #Cloudflare_Workers #детские_приложения #ONNX #TDD #AIразработка #Claude_Code
-
Как я завёл нормальный голос в детское приложение, не разорившись и не заставив никого лезть в настройки
Я в одиночку делаю детское приложение, где дети учат английский через рисование: рисуют слова, а оно распознаёт рисунок и отвечает голосом. В MVP голос был системный — бесплатный, но звучит как робот из нулевых, пока сам не зайдёшь в настройки и не докачаешь нормальный. Я сделал модалку с инструкцией. Угадайте, сколько людей ей воспользовались. Короче, примерно никто. Значит, хороший голос должен достаться всем сразу, без единого телодвижения юзера. И при этом дёшево — причём не только по деньгам. Рассказываю, как я завёл озвучку через ElevenLabs так, что в проде она почти ничего не стоит, работает офлайн и отвечает мгновенно. Ключ оказался в одном наблюдении: всё, что приложение когда-либо скажет, известно заранее. А ещё — почему, когда ты соло и кодишь в паре с агентом, главные проверки в пайплайне работают за ту команду, которой у тебя нет. Как это устроено
https://habr.com/ru/articles/1047888/
#TTS #ElevenLabs #React_Native #Expo #Cloudflare_Workers #детские_приложения #ONNX #TDD #AIразработка #Claude_Code
-
Как я завёл нормальный голос в детское приложение, не разорившись и не заставив никого лезть в настройки
Я в одиночку делаю детское приложение, где дети учат английский через рисование: рисуют слова, а оно распознаёт рисунок и отвечает голосом. В MVP голос был системный — бесплатный, но звучит как робот из нулевых, пока сам не зайдёшь в настройки и не докачаешь нормальный. Я сделал модалку с инструкцией. Угадайте, сколько людей ей воспользовались. Короче, примерно никто. Значит, хороший голос должен достаться всем сразу, без единого телодвижения юзера. И при этом дёшево — причём не только по деньгам. Рассказываю, как я завёл озвучку через ElevenLabs так, что в проде она почти ничего не стоит, работает офлайн и отвечает мгновенно. Ключ оказался в одном наблюдении: всё, что приложение когда-либо скажет, известно заранее. А ещё — почему, когда ты соло и кодишь в паре с агентом, главные проверки в пайплайне работают за ту команду, которой у тебя нет. Как это устроено
https://habr.com/ru/articles/1047888/
#TTS #ElevenLabs #React_Native #Expo #Cloudflare_Workers #детские_приложения #ONNX #TDD #AIразработка #Claude_Code
-
Компиляция yolov8n в формат HEF для Hailo-8L на Raspberry Pi 5
Подготовка модели Yolo для запуска на базе Hailo чипа для Raspberry Pi 5 AI HAT+. Если есть интерес к легким аппаратным решениям в области ИИ, то добро пожаловать. В статье я затрагиваю вопрос подготовки модели детекции к работе на компактной малинке.
https://habr.com/ru/articles/1048976/
#onnx #hailo #hailo8 #raspberry #ultralytics #yolo #yolo8 #ml #mlops #ai
-
Компиляция yolov8n в формат HEF для Hailo-8L на Raspberry Pi 5
Подготовка модели Yolo для запуска на базе Hailo чипа для Raspberry Pi 5 AI HAT+. Если есть интерес к легким аппаратным решениям в области ИИ, то добро пожаловать. В статье я затрагиваю вопрос подготовки модели детекции к работе на компактной малинке.
https://habr.com/ru/articles/1048976/
#onnx #hailo #hailo8 #raspberry #ultralytics #yolo #yolo8 #ml #mlops #ai
-
Компиляция yolov8n в формат HEF для Hailo-8L на Raspberry Pi 5
Подготовка модели Yolo для запуска на базе Hailo чипа для Raspberry Pi 5 AI HAT+. Если есть интерес к легким аппаратным решениям в области ИИ, то добро пожаловать. В статье я затрагиваю вопрос подготовки модели детекции к работе на компактной малинке.
https://habr.com/ru/articles/1048976/
#onnx #hailo #hailo8 #raspberry #ultralytics #yolo #yolo8 #ml #mlops #ai
-
I'm writing a C# app with ONNX for facial detection and in part of it doing `tensor[0, 2, y, x] = r`. After running the app for a day it used almost 8 GB memory. I coudldn't really find any obvious memory leaks, but found that the indexer actually created a temporary `int[]`. I refactored the indexer to `tensor[2 * width * height + y * width + x] = r`, and did some other (unrelated changes). And now a day later it's at 0.4 GB. Is that how this works?
To pharaphrase the Haskell saying:
> The [garbage collector] should have protected me from this! -
I'm writing a C# app with ONNX for facial detection and in part of it doing `tensor[0, 2, y, x] = r`. After running the app for a day it used almost 8 GB memory. I coudldn't really find any obvious memory leaks, but found that the indexer actually created a temporary `int[]`. I refactored the indexer to `tensor[2 * width * height + y * width + x] = r`, and did some other (unrelated changes). And now a day later it's at 0.4 GB. Is that how this works?
To pharaphrase the Haskell saying:
> The [garbage collector] should have protected me from this! -
I'm writing a C# app with ONNX for facial detection and in part of it doing `tensor[0, 2, y, x] = r`. After running the app for a day it used almost 8 GB memory. I coudldn't really find any obvious memory leaks, but found that the indexer actually created a temporary `int[]`. I refactored the indexer to `tensor[2 * width * height + y * width + x] = r`, and did some other (unrelated changes). And now a day later it's at 0.4 GB. Is that how this works?
To pharaphrase the Haskell saying:
> The [garbage collector] should have protected me from this! -
I'm writing a C# app with ONNX for facial detection and in part of it doing `tensor[0, 2, y, x] = r`. After running the app for a day it used almost 8 GB memory. I coudldn't really find any obvious memory leaks, but found that the indexer actually created a temporary `int[]`. I refactored the indexer to `tensor[2 * width * height + y * width + x] = r`, and did some other (unrelated changes). And now a day later it's at 0.4 GB. Is that how this works?
To pharaphrase the Haskell saying:
> The [garbage collector] should have protected me from this! -
I'm writing a C# app with ONNX for facial detection and in part of it doing `tensor[0, 2, y, x] = r`. After running the app for a day it used almost 8 GB memory. I coudldn't really find any obvious memory leaks, but found that the indexer actually created a temporary `int[]`. I refactored the indexer to `tensor[2 * width * height + y * width + x] = r`, and did some other (unrelated changes). And now a day later it's at 0.4 GB. Is that how this works?
To pharaphrase the Haskell saying:
> The [garbage collector] should have protected me from this! -
Инференс нейросетевых моделей для табличных данных с помощью ONNX Runtime на C++
ONNX Runtime (ORT) — это высокопроизводительный движок для выполнения моделей в формате Open Neural Network Exchange (ONNX). Он предлагает оптимизированные реализации для CPU и GPU, поддержку различных аппаратных ускорителей и, что ключевое, простой C++ API. В этой статье мы разберем, как выполнить инференс модели для табличных данных, используя ONNX Runtime в C++ проекте. Ссылка для скачивания: Библиотеку можно получить через официальный GitHub (сборка из исходников). Для простоты в проектах часто достаточно забрать предсобранные бинарники из релизов .
https://habr.com/ru/articles/991430/
#onnxruntime #onnx #ORT #DL #TabularDL #C++ #инференс_моделей
-
Problem: we keep using frontier LLMs as glue for jobs that are already solved.
Solution: run OCR + NER locally in C# with ONNX Runtime. Deterministic extraction on ingest. Store the entities. Use an LLM later only if you actually need synthesis.
OCR with Tesseract, then BERT NER via ONNX in .NET. No Python, no cloud, no tokens.
This is my 'for beginners' article. I'm DEEP in OCR but realised I never explained the quickest way to do this *locally*.
https://www.mostlylucid.net/blog/simple-ocr-ner-extraction
#CSharp #DotNet #ONNX #OnnxRuntime #OCR #NER #LocalAI #RAG #DocumentAI
-
Problem: we keep using frontier LLMs as glue for jobs that are already solved.
Solution: run OCR + NER locally in C# with ONNX Runtime. Deterministic extraction on ingest. Store the entities. Use an LLM later only if you actually need synthesis.
OCR with Tesseract, then BERT NER via ONNX in .NET. No Python, no cloud, no tokens.
This is my 'for beginners' article. I'm DEEP in OCR but realised I never explained the quickest way to do this *locally*.
https://www.mostlylucid.net/blog/simple-ocr-ner-extraction
#CSharp #DotNet #ONNX #OnnxRuntime #OCR #NER #LocalAI #RAG #DocumentAI
-
Портируем ML модели на Java с помощью ONNX
Всем привет, меня зовут Евгений Мунин. Я Senior ML Engineer в Ad Tech, а точнее в программатик платформе по доставке Web рекламы. Сегодня речь пойдет про то, как сделать ML модели, совместимыми с бэк э
-
Наш публичный детектор голоса стал быстрее в 3 раза (*), качественнее, устойчивее и теперь работает на 6 000 языках
Мы уже рассказывали про наш детектор голоса на Хабре тут , тут и тут . Кратко опишу, что стало лучше в этот раз: Поддержка 6 000+ языков; Общий рост качества на 5-7%; Существенно повышена устойчивость на шумных данных; TorchScript (*) стал в 3 раза быстрее, а ONNX - на 10% (теперь они примерно равны по скорости , обработка 1 кусочка аудио занимает 325 и 189 μs соответственно);
https://habr.com/ru/articles/825208/
#silero #voice_activity_detection #vad #детекция_голоса #onnx #onnxruntime #pytorch #python_3 #голосовой_помощник #голосовое_управление
-
Разворачиваем ML модель с использованием ONNX на Android в километре над землей
Иногда в жизни программиста возникают интересные задачи. Например, как перенести полученную ML модель, созданную в Python, на Android смартфон. Потому что этот самый смартфон пристегнут к параплану, висящему в километре над землей, а модель должна помогать пилоту лучше искать восходящие потоки. Интернета в полете при этом обычно нет, так что вариант с доступом к удаленному Python-серверу по API отпадает. Ноутбук с запущенным Jupyter с собой тоже не возьмешь. На помощь приходит промежуточный формат ONNX, созданный для обмена ML моделями между разными системами. Под катом описание того, как сконвертировать модель в этот формат и как загрузить и использовать ее в Android приложении.
https://habr.com/ru/articles/805515/
#onnx #onnxruntime #инференс #android_development #machine_learning
-
C++ computer vision serving is the secret to high-performance AI! Learn 10 proven steps for fast, efficient model deployment. #CPlusPlus #ComputerVision #AI #Docker #ONNX #OpenCV #MachineLearning #AIDeployment
-
C++ computer vision serving is the secret to high-performance AI! Learn 10 proven steps for fast, efficient model deployment. #CPlusPlus #ComputerVision #AI #Docker #ONNX #OpenCV #MachineLearning #AIDeployment
-
أطلق تطبيق PhotoPrism تحديثاً جديداً ينقل ميزة التعرف على الوجوه بالكامل إلى نظام يعتمد على ONNX، مما يتيح مرونة أكبر في استخدام نماذج الذكاء الاصطناعي. كما تم إعادة تصميم شريط المعلومات الجانبي لتسهيل إدارة البيانات الوصفية، وإضافة دعم لتسريع ترميز الفيديو عبر تقنية Vulkan وقراءة صور HEIC وAVIF وملفات PSD. يتضمن التحديث أيضاً تحسينات في تصفية الملصقات، ودعم ميزة السحب والإفلات لرفع الملفات، وترجمات جديدة للواجهة بالاستعانة بأدوات الترجمة الآلية.
-
Приложение real-time face swap на чистом Rust: ONNX Runtime, lock-free потоки и 60 кадров в секунду
Большинство инструментов для замены лиц это Python-скрипты, склеенные из PyTorch, OpenCV и надежды. Они работают, но тащат за собой гигабайты зависимостей, требуют правильно настроенного CUDA и разваливаются в тот момент, когда ты пытаешься запустить их в реальном времени. Мне стало интересно: можно ли собрать весь пайплайн на чистом Rust? Без Python. Без PyTorch. Без обёрток. Один бинарник, который скачал, распаковал и запустил. Оказалось, можно. 60 fps на веб-камере. Пайплайн На каждом кадре последовательно отрабатывают четыре нейросети. RetinaFace находит лица и извлекает пять ключевых точек. ArcFace вычисляет 512-мерный эмбеддинг исходного лица. InSwapper принимает регион целевого лица и эмбеддинг источника, на выходе отдаёт заменённое лицо. GFPGAN опционально улучшает результат для более высокого качества. Все четыре модели работают через ONNX Runtime. Никаких кастомных CUDA-ядер, никакого оверхеда фреймворков. Тензор на вход, тензор на выход. Архитектура потоков Три потока, ноль блокировок на горячем пути. Поток захвата получает кадры с веб-камеры через nokhwa и публикует их через ArcSwap. Поток пайплайна подхватывает новые кадры, прогоняет инференс и публикует обработанные кадры через второй ArcSwap. Поток UI читает актуальный буфер и рендерит через egui. Никаких мьютексов на данных кадра. Никаких каналов. Никакого async. Только атомарные счётчики поколений и lock-free замена указателей. Структуры разделяемого состояния занимают ровно по 64 байта каждая и выровнены по кэш-линиям, чтобы исключить false sharing между ядрами. Это проверяется compile-time ассертами.
https://habr.com/ru/articles/1024700/
#Rust #ONNX #Machine_Learning #Computer_Vision #Face_Detection #egui #Open_Source #lockfree #multithreading #realtime
-
Трансформер в on-premise AppSec: как мы встроили ML-модель для классификации секретов в продукт без GPU
Рассказываем, как мы интегрировали CodeBERT-based модель классификации секретов в production-продукт с жёсткими ограничениями по железу, сократив время инференса с 320 до 90 секунд и размер модели с ~600 до ~130 МБ — без дискретных ускорителей и тяжёлых зависимостей.
https://habr.com/ru/companies/codescoring/articles/1040968/
#appsec #onnx #mlops #opensource #оптимизация #codescoring #ml
-
ASUS UGen300 USB AI Accelerator targets edge inference with Hailo-10H
-
Oracle AI DB 26aiが高精度EmbeddingモデルのONNXインポートに対応したので試してみた (23.26.1 新機能)
https://qiita.com/ssfujita/items/bc5860e558acef135a22?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items -
Oracle AI DB 26aiが高精度EmbeddingモデルのONNXインポートに対応したので試してみた (23.26.1 新機能)
https://qiita.com/ssfujita/items/bc5860e558acef135a22?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items -
Note to self: #NVIDIA have an open-source inference server for machine learning models. (They mostly sell SaaS on top of it)
Supports #TensorFlow, #PyTorch, #ONNX, #TensorRT, #mxnet.
Runs on #k8s. Features queue control, monitoring.
Triton Inference Server https://github.com/triton-inference-server
-
Note to self: #NVIDIA have an open-source inference server for machine learning models. (They mostly sell SaaS on top of it)
Supports #TensorFlow, #PyTorch, #ONNX, #TensorRT, #mxnet.
Runs on #k8s. Features queue control, monitoring.
Triton Inference Server https://github.com/triton-inference-server
-
Уязвимости в Spring AI и ONNX: как дыры в ИИ‑фреймворках превращаются в утечки данных и чужие модели
ИИ‑фреймворки давно въехали в прод, но к ним часто относятся как к «научной приблуде», а не к ещё одному входу в ваши данные и инфраструктуру. Spring AI и ONNX крутятся где‑то между ML‑командами, продуктами вендоров и внутренними ассистентами, и на определённом этапе за ними перестают успевать архитектура и безопасность. В марте в обзорах уязвимостей рядом всплыли несколько критичных багов именно в этих штуках. Там есть и SQL‑инъекции, и JSONPath‑инъекции, и обход проверки доверия при загрузке моделей. В статье разбираю, что это значит для тех, кто уже тащит ИИ в прод, и даю чек‑лист, который можно прямо отнести своей команде.
https://habr.com/ru/articles/1014606/
#onnx #spring #spring_framework #spring_security #cve #vulnerability #vulnerability_management #уязвимости #уязвимости_и_их_эксплуатация #уязвимость_нулевого_дня
-
Как я снизил WER с 33% до 3.3% для русской речи на CPU: сравнение GigaAM, Whisper и Vosk
За два месяца я перепробовал три ASR-движка, шесть моделей Whisper, адаптивное чанкование, T5-коррекцию и ансамблевое голосование — и большая часть идей оказалась тупиком. В статье — подробный разбор шести тупиков и одной находки: почему GigaAM от Сбера на обычном CPU показывает 3.3% WER на русском, обходя Whisper large-v3-turbo на RTX 4090 (7.9%) в 2.4 раза. С бенчмарками, кодом и честными оговорками.
https://habr.com/ru/articles/1002260/
#speechtotext #gigaam #whisper #vosk #onnx #распознавание_речи #WER #голосовой_ввод #ASR #python
-
[Перевод] Agentis Memory — Redis-совместимое хранилище со встроенным векторным поиском и локальными эмбеддингами
В наше время уже никого не удивишь разработкой агентов, очередной оптимизацией, новой моделью или новой инфраструктурой для нейронок. Всё это в порядке вещей. Однако одно дело читать в Twitter «мы написали агента X и он оптимизировал нам процессы на 300000%», и совсем другое — начать копать чуть глубже. Копнёшь — а «агентом» называют скилл с одним промптом. Разработка настоящих агентов — задача не тривиальная. Достаточно посмотреть на утёкшие исходники Claude CLI — это не просто CLI, а целая инфраструктура бизнес-логики вокруг LLM. Я бы сравнил разработку агентов с разработкой типичных бэкенд-компонентов. Аналогия такая: если вы пишете каноничный бэкенд-сервис — вам нужна СУБД. Если Web3-сервис — блокчейн. Но на СУБД или блокчейне происходит в лучшем случае 50% всей логики. Вся магия крутится именно на бэкенде. С агентами то же самое: подключаешь AI SDK, конфигурируешь мыслительное ядро и пишешь вокруг него всю обвязку — мониторинги, AIOps, оркестрацию, memory management. Вот про memory management и пойдёт речь.
https://habr.com/ru/articles/1018784/
#Redis #AI_agents #GraalVM #ONNX #embeddings #HNSW #Java_Vector_API #SIMD #Project_Loom #LLM
-
Как мы сделали альтернативную систему метчинга товаров в X5 Digital: опыт, грабли и результат
Привет, Хабр! Меня всё ещё зовут Данила Федюкин, и я продолжаю быть тимлидом в X5 Digital. Руковожу командой, которая занимается метчингом. В прошлый раз я рассказывал, как мы перешли на собственную систему рекомендаций, а в этот раз о том, как делаем то же самое, но с метчингом товаров. X5 Digital – один из цифровых бизнесов Х5. Мы работаем в режиме Highload с RPS в 7500 и отвечаем за всю онлайн-доставку в более чем 1000 городах и населённых пунктах России. Этот канал постоянно растёт. В 2024 году покупатели Х5 совершили свыше 119,5 млн заказов продуктов на дом. Мы делаем собственную in-house WMS для дарксторов, приложения для сборщиков и курьеров, CRM, каталоги товаров и другие онлайн-продукты, а ещё мобильное приложение для торговых сетей. Всё это, отталкиваясь от разных форматов доставки. В «Перекрёстке» среднее время доставки CTD (Click-to-Delivery — от оформления заказа до его получения клиентом) сократилось до 45 минут, в «Чижике» — до 37 минут, а в «Пятёрочке» порядка 40% заказов доставляются клиентам менее чем за 20 минут.
https://habr.com/ru/companies/X5Tech/articles/977626/
#машинное_обучение #nlp_обработка_текста #матчинг_товаров #рекомендации #векторный_поиск #faiss #hnsw #e5 #bert #onnx
-
Best Open Source Tools for Artificial Intelligence
What are the best open-source tools for your artificial intelligence setup? Artificial Intelligence (AI) has become a transformative force across various industries, driving innovation and enabling sophisticated solutions to complex problems. The AI ecosystem is supported by a vast array of open-source tools that empower developers, data scientists, and researchers to build, deploy, and manage intelligent systems efficiently. These tools cover diverse aspects of AI, including machine […]https://www.simplyblock.io/blog/open-source-tools-for-artificial-intelligence/
