#onnxruntime — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #onnxruntime, aggregated by home.social.
-
В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX
Когда мы выпустили Auto Embeddings — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдельного сервиса для работы с ML-моделью, — главный запрос пользователей касался скорости работы. Ранее для генерации эмбеддингов использовался только стек SentenceTransformers поверх Candle (Rust-рантайм Hugging Face для ML-инференса), и ресурсы CPU использовались далеко не полностью: в большинстве сценариев нагрузки показатель QPS держался на уровне нескольких десятков документов в секунду независимо от способа подачи данных, а параллельные запросы обрабатывались последовательно в рамках одной сессии модели. Поэтому мы в течение нескольких недель оптимизировали механизм запуска ONNX-моделей в Manticore. Новый бэкенд ONNX Runtime доступен начиная с Manticore Search 27.1.5 . ONNX (Open Neural Network Exchange) — переносимый формат моделей, в котором уже публикуется большинство популярных open-source моделей для эмбеддингов: MiniLM, BGE, E5 и другие. В результате получилось решение, которое в среднем в 14 раз быстрее прежней реализации SentenceTransformers/Candle на том же оборудовании (обычный недорогой сервер с 16 ядрами / 32 потоками), с той же моделью и теми же весами, если усреднить по всей матрице замеров threads × batch , — и это преимущество сохраняется как при одном клиентском потоке, так и при тридцати двух. Предыдущая реализация во всём диапазоне нагрузок показывала 5–11 документов/с; новая реализация работает в диапазоне 70–230 документов/с.
https://habr.com/ru/articles/1051864/
#onnx #onnx_runtime #onnxruntime #embeddings #эмбеддинги #инференс #векторный_поиск #vector_search
-
Быстрый OCR на основе Paddle
Распознать текст на скане документа – задача не новая. А вот уложиться в пару секунд на CPU – уже вызов. Там, где готовые фреймворки долго "думают", я сделала своё OCR решение на основе PaddleOCR с конвертацией в ONNX. В этой статье я расскажу почему в качестве ядра был выбран Paddle, и как работает весь алгоритм на основе его моделей.
-
via #AIFoundry : Foundry Local 1.1: Live Transcription, Embeddings, and Responses API
https://ift.tt/O1MorgK
#FoundryLocal #LiveTranscription #EmbeddingsAPI #ResponsesAPI #WebGPU #ONNXRuntime #NodeAPI #PythonSDK #JavaScriptSDK #CSharpSDK #DotNet #NetStandard #WinML #Koffi #No… -
via #AIFoundry : Foundry Local is now Generally Available
https://ift.tt/xUnc9oy
#FoundryLocal #GA #GeneralAvailability #FoundryLocalGA #AI #EdgeAI #OnPremiseAI #LocalAI #AIinApps #NoCloud #OfflineAI #CrossPlatform #Windows #macOS #Linux #OpenAICompatible #ONNXRuntime #WinML … -
Инференс нейросетевых моделей для табличных данных с помощью ONNX Runtime на C++
ONNX Runtime (ORT) — это высокопроизводительный движок для выполнения моделей в формате Open Neural Network Exchange (ONNX). Он предлагает оптимизированные реализации для CPU и GPU, поддержку различных аппаратных ускорителей и, что ключевое, простой C++ API. В этой статье мы разберем, как выполнить инференс модели для табличных данных, используя ONNX Runtime в C++ проекте. Ссылка для скачивания: Библиотеку можно получить через официальный GitHub (сборка из исходников). Для простоты в проектах часто достаточно забрать предсобранные бинарники из релизов .
https://habr.com/ru/articles/991430/
#onnxruntime #onnx #ORT #DL #TabularDL #C++ #инференс_моделей
-
Шпаргалка по инференсу на С++
Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.
https://habr.com/ru/articles/986204/
#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11
-
Problem: we keep using frontier LLMs as glue for jobs that are already solved.
Solution: run OCR + NER locally in C# with ONNX Runtime. Deterministic extraction on ingest. Store the entities. Use an LLM later only if you actually need synthesis.
OCR with Tesseract, then BERT NER via ONNX in .NET. No Python, no cloud, no tokens.
This is my 'for beginners' article. I'm DEEP in OCR but realised I never explained the quickest way to do this *locally*.
https://www.mostlylucid.net/blog/simple-ocr-ner-extraction
#CSharp #DotNet #ONNX #OnnxRuntime #OCR #NER #LocalAI #RAG #DocumentAI
-
Практика: мой опыт интеграции более 50 нейронных сетей в один проект
Статья основана на полутора годах работы по внедрению нейронных сетей в веб-приложение с открытым исходным кодом. В ней собраны практические лайфхаки для решения реальных задач и преодоления сложностей, с которыми сталкиваются разработчики. Преодолеть открытие
https://habr.com/ru/articles/856234/
#опыт #лайфхаки #torch #onnxruntime #нейронные_сети #cuda #python #github #lifehack #исскуственный_интеллект
-
Портируем ML модели на Java с помощью ONNX
Всем привет, меня зовут Евгений Мунин. Я Senior ML Engineer в Ad Tech, а точнее в программатик платформе по доставке Web рекламы. Сегодня речь пойдет про то, как сделать ML модели, совместимыми с бэк э
-
Наш публичный детектор голоса стал быстрее в 3 раза (*), качественнее, устойчивее и теперь работает на 6 000 языках
Мы уже рассказывали про наш детектор голоса на Хабре тут , тут и тут . Кратко опишу, что стало лучше в этот раз: Поддержка 6 000+ языков; Общий рост качества на 5-7%; Существенно повышена устойчивость на шумных данных; TorchScript (*) стал в 3 раза быстрее, а ONNX - на 10% (теперь они примерно равны по скорости , обработка 1 кусочка аудио занимает 325 и 189 μs соответственно);
https://habr.com/ru/articles/825208/
#silero #voice_activity_detection #vad #детекция_голоса #onnx #onnxruntime #pytorch #python_3 #голосовой_помощник #голосовое_управление
-
Разворачиваем ML модель с использованием ONNX на Android в километре над землей
Иногда в жизни программиста возникают интересные задачи. Например, как перенести полученную ML модель, созданную в Python, на Android смартфон. Потому что этот самый смартфон пристегнут к параплану, висящему в километре над землей, а модель должна помогать пилоту лучше искать восходящие потоки. Интернета в полете при этом обычно нет, так что вариант с доступом к удаленному Python-серверу по API отпадает. Ноутбук с запущенным Jupyter с собой тоже не возьмешь. На помощь приходит промежуточный формат ONNX, созданный для обмена ML моделями между разными системами. Под катом описание того, как сконвертировать модель в этот формат и как загрузить и использовать ее в Android приложении.
https://habr.com/ru/articles/805515/
#onnx #onnxruntime #инференс #android_development #machine_learning
-
Ups, I just wanted to try the #OBS #background remover.
Now the machine still compiles the #dependency #onnxruntime.
+sigh+