#onnxruntime — Public Fediverse posts

Быстрый OCR на основе Paddle

Распознать текст на скане документа – задача не новая. А вот уложиться в пару секунд на CPU – уже вызов. Там, где готовые фреймворки долго "думают", я сделала своё OCR решение на основе PaddleOCR с конвертацией в ONNX. В этой статье я расскажу почему в качестве ядра был выбран Paddle, и как работает весь алгоритм на основе его моделей.

https://habr.com/ru/articles/1037868/

#ocr #компьютерное_зрение #onnxruntime #paddleocr

via #AIFoundry : Foundry Local 1.1: Live Transcription, Embeddings, and Responses API

https://ift.tt/O1MorgK
#FoundryLocal #LiveTranscription #EmbeddingsAPI #ResponsesAPI #WebGPU #ONNXRuntime #NodeAPI #PythonSDK #JavaScriptSDK #CSharpSDK #DotNet #NetStandard #WinML #Koffi #No…

via #AIFoundry : Foundry Local 1.1: Live Transcription, Embeddings, and Responses API

https://ift.tt/O1MorgK
#FoundryLocal #LiveTranscription #EmbeddingsAPI #ResponsesAPI #WebGPU #ONNXRuntime #NodeAPI #PythonSDK #JavaScriptSDK #CSharpSDK #DotNet #NetStandard #WinML #Koffi #No…

via #AIFoundry : Foundry Local 1.1: Live Transcription, Embeddings, and Responses API

https://ift.tt/O1MorgK
#FoundryLocal #LiveTranscription #EmbeddingsAPI #ResponsesAPI #WebGPU #ONNXRuntime #NodeAPI #PythonSDK #JavaScriptSDK #CSharpSDK #DotNet #NetStandard #WinML #Koffi #No…

via #AIFoundry : Foundry Local 1.1: Live Transcription, Embeddings, and Responses API

https://ift.tt/O1MorgK
#FoundryLocal #LiveTranscription #EmbeddingsAPI #ResponsesAPI #WebGPU #ONNXRuntime #NodeAPI #PythonSDK #JavaScriptSDK #CSharpSDK #DotNet #NetStandard #WinML #Koffi #No…

via #AIFoundry : Foundry Local 1.1: Live Transcription, Embeddings, and Responses API

https://ift.tt/O1MorgK
#FoundryLocal #LiveTranscription #EmbeddingsAPI #ResponsesAPI #WebGPU #ONNXRuntime #NodeAPI #PythonSDK #JavaScriptSDK #CSharpSDK #DotNet #NetStandard #WinML #Koffi #No…

via #AIFoundry : Foundry Local is now Generally Available

https://ift.tt/xUnc9oy
#FoundryLocal #GA #GeneralAvailability #FoundryLocalGA #AI #EdgeAI #OnPremiseAI #LocalAI #AIinApps #NoCloud #OfflineAI #CrossPlatform #Windows #macOS #Linux #OpenAICompatible #ONNXRuntime #WinML …

Инференс нейросетевых моделей для табличных данных с помощью ONNX Runtime на C++

ONNX Runtime (ORT) — это высокопроизводительный движок для выполнения моделей в формате Open Neural Network Exchange (ONNX). Он предлагает оптимизированные реализации для CPU и GPU, поддержку различных аппаратных ускорителей и, что ключевое, простой C++ API. В этой статье мы разберем, как выполнить инференс модели для табличных данных, используя ONNX Runtime в C++ проекте. Ссылка для скачивания: Библиотеку можно получить через официальный GitHub (сборка из исходников). Для простоты в проектах часто достаточно забрать предсобранные бинарники из релизов .

https://habr.com/ru/articles/991430/

#onnxruntime #onnx #ORT #DL #TabularDL #C++ #инференс_моделей

Инференс нейросетевых моделей для табличных данных с помощью ONNX Runtime на C++

ONNX Runtime (ORT) — это высокопроизводительный движок для выполнения моделей в формате Open Neural Network Exchange (ONNX). Он предлагает оптимизированные реализации для CPU и GPU, поддержку различных аппаратных ускорителей и, что ключевое, простой C++ API. В этой статье мы разберем, как выполнить инференс модели для табличных данных, используя ONNX Runtime в C++ проекте. Ссылка для скачивания: Библиотеку можно получить через официальный GitHub (сборка из исходников). Для простоты в проектах часто достаточно забрать предсобранные бинарники из релизов .

https://habr.com/ru/articles/991430/

#onnxruntime #onnx #ORT #DL #TabularDL #C++ #инференс_моделей

Инференс нейросетевых моделей для табличных данных с помощью ONNX Runtime на C++

ONNX Runtime (ORT) — это высокопроизводительный движок для выполнения моделей в формате Open Neural Network Exchange (ONNX). Он предлагает оптимизированные реализации для CPU и GPU, поддержку различных аппаратных ускорителей и, что ключевое, простой C++ API. В этой статье мы разберем, как выполнить инференс модели для табличных данных, используя ONNX Runtime в C++ проекте. Ссылка для скачивания: Библиотеку можно получить через официальный GitHub (сборка из исходников). Для простоты в проектах часто достаточно забрать предсобранные бинарники из релизов .

https://habr.com/ru/articles/991430/

#onnxruntime #onnx #ORT #DL #TabularDL #C++ #инференс_моделей

Инференс нейросетевых моделей для табличных данных с помощью ONNX Runtime на C++

ONNX Runtime (ORT) — это высокопроизводительный движок для выполнения моделей в формате Open Neural Network Exchange (ONNX). Он предлагает оптимизированные реализации для CPU и GPU, поддержку различных аппаратных ускорителей и, что ключевое, простой C++ API. В этой статье мы разберем, как выполнить инференс модели для табличных данных, используя ONNX Runtime в C++ проекте. Ссылка для скачивания: Библиотеку можно получить через официальный GitHub (сборка из исходников). Для простоты в проектах часто достаточно забрать предсобранные бинарники из релизов .

https://habr.com/ru/articles/991430/

#onnxruntime #onnx #ORT #DL #TabularDL #C++ #инференс_моделей

Шпаргалка по инференсу на С++

Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.

https://habr.com/ru/articles/986204/

#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11

Шпаргалка по инференсу на С++

Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.

https://habr.com/ru/articles/986204/

#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11

Шпаргалка по инференсу на С++

Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.

https://habr.com/ru/articles/986204/

#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11

Шпаргалка по инференсу на С++

Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.

https://habr.com/ru/articles/986204/

#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11

Problem: we keep using frontier LLMs as glue for jobs that are already solved.

Solution: run OCR + NER locally in C# with ONNX Runtime. Deterministic extraction on ingest. Store the entities. Use an LLM later only if you actually need synthesis.

OCR with Tesseract, then BERT NER via ONNX in .NET. No Python, no cloud, no tokens.

This is my 'for beginners' article. I'm DEEP in OCR but realised I never explained the quickest way to do this *locally*.

https://www.mostlylucid.net/blog/simple-ocr-ner-extraction

#CSharp #DotNet #ONNX #OnnxRuntime #OCR #NER #LocalAI #RAG #DocumentAI

Практика: мой опыт интеграции более 50 нейронных сетей в один проект

Статья основана на полутора годах работы по внедрению нейронных сетей в веб-приложение с открытым исходным кодом. В ней собраны практические лайфхаки для решения реальных задач и преодоления сложностей, с которыми сталкиваются разработчики. Преодолеть открытие

https://habr.com/ru/articles/856234/

#опыт #лайфхаки #torch #onnxruntime #нейронные_сети #cuda #python #github #lifehack #исскуственный_интеллект

Портируем ML модели на Java с помощью ONNX

Всем привет, меня зовут Евгений Мунин. Я Senior ML Engineer в Ad Tech, а точнее в программатик платформе по доставке Web рекламы. Сегодня речь пойдет про то, как сделать ML модели, совместимыми с бэк э

https://habr.com/ru/articles/833992/

#onnx #onnxruntime #python #java #machine_learning #adtech

Наш публичный детектор голоса стал быстрее в 3 раза (*), качественнее, устойчивее и теперь работает на 6 000 языках

Мы уже рассказывали про наш детектор голоса на Хабре тут , тут и тут . Кратко опишу, что стало лучше в этот раз: Поддержка 6 000+ языков; Общий рост качества на 5-7%; Существенно повышена устойчивость на шумных данных; TorchScript (*) стал в 3 раза быстрее, а ONNX - на 10% (теперь они примерно равны по скорости , обработка 1 кусочка аудио занимает 325 и 189 μs соответственно);

https://habr.com/ru/articles/825208/

#silero #voice_activity_detection #vad #детекция_голоса #onnx #onnxruntime #pytorch #python_3 #голосовой_помощник #голосовое_управление

Наш публичный детектор голоса стал быстрее в 3 раза (*), качественнее, устойчивее и теперь работает на 6 000 языках

Мы уже рассказывали про наш детектор голоса на Хабре тут , тут и тут . Кратко опишу, что стало лучше в этот раз: Поддержка 6 000+ языков; Общий рост качества на 5-7%; Существенно повышена устойчивость на шумных данных; TorchScript (*) стал в 3 раза быстрее, а ONNX - на 10% (теперь они примерно равны по скорости , обработка 1 кусочка аудио занимает 325 и 189 μs соответственно);

https://habr.com/ru/articles/825208/

#silero #voice_activity_detection #vad #детекция_голоса #onnx #onnxruntime #pytorch #python_3 #голосовой_помощник #голосовое_управление

Наш публичный детектор голоса стал быстрее в 3 раза (*), качественнее, устойчивее и теперь работает на 6 000 языках

Мы уже рассказывали про наш детектор голоса на Хабре тут , тут и тут . Кратко опишу, что стало лучше в этот раз: Поддержка 6 000+ языков; Общий рост качества на 5-7%; Существенно повышена устойчивость на шумных данных; TorchScript (*) стал в 3 раза быстрее, а ONNX - на 10% (теперь они примерно равны по скорости , обработка 1 кусочка аудио занимает 325 и 189 μs соответственно);

https://habr.com/ru/articles/825208/

#silero #voice_activity_detection #vad #детекция_голоса #onnx #onnxruntime #pytorch #python_3 #голосовой_помощник #голосовое_управление

Разворачиваем ML модель с использованием ONNX на Android в километре над землей

Иногда в жизни программиста возникают интересные задачи. Например, как перенести полученную ML модель, созданную в Python, на Android смартфон. Потому что этот самый смартфон пристегнут к параплану, висящему в километре над землей, а модель должна помогать пилоту лучше искать восходящие потоки. Интернета в полете при этом обычно нет, так что вариант с доступом к удаленному Python-серверу по API отпадает. Ноутбук с запущенным Jupyter с собой тоже не возьмешь. На помощь приходит промежуточный формат ONNX, созданный для обмена ML моделями между разными системами. Под катом описание того, как сконвертировать модель в этот формат и как загрузить и использовать ее в Android приложении.

https://habr.com/ru/articles/805515/

#onnx #onnxruntime #инференс #android_development #machine_learning

Ups, I just wanted to try the #OBS #background remover.
Now the machine still compiles the #dependency #onnxruntime.
+sigh+