home.social
Sign in Create account

#onnxruntime — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #onnxruntime, aggregated by home.social.

  1. Brandon H :csharp: :verified: @[email protected] ·

    via #AIFoundry : Foundry Local 1.1: Live Transcription, Embeddings, and Responses API

    ift.tt/O1MorgK
    #FoundryLocal #LiveTranscription #EmbeddingsAPI #ResponsesAPI #WebGPU #ONNXRuntime #NodeAPI #PythonSDK #JavaScriptSDK #CSharpSDK #DotNet #NetStandard #WinML #Koffi #No…

    #aifoundry #foundrylocal #livetranscription #embeddingsapi #responsesapi #webgpu
  2. Brandon H :csharp: :verified: @[email protected] ·

    via #AIFoundry : Foundry Local 1.1: Live Transcription, Embeddings, and Responses API

    ift.tt/O1MorgK
    #FoundryLocal #LiveTranscription #EmbeddingsAPI #ResponsesAPI #WebGPU #ONNXRuntime #NodeAPI #PythonSDK #JavaScriptSDK #CSharpSDK #DotNet #NetStandard #WinML #Koffi #No…

    #aifoundry #foundrylocal #livetranscription #embeddingsapi #responsesapi #webgpu
  3. Brandon H :csharp: :verified: @bc3tech ·

    via : Foundry Local 1.1: Live Transcription, Embeddings, and Responses API

    ift.tt/O1MorgK
    …

    #aifoundry #foundrylocal #livetranscription #embeddingsapi #responsesapi #webgpu
  4. Brandon H :csharp: :verified: @[email protected] ·

    via #AIFoundry : Foundry Local 1.1: Live Transcription, Embeddings, and Responses API

    ift.tt/O1MorgK
    #FoundryLocal #LiveTranscription #EmbeddingsAPI #ResponsesAPI #WebGPU #ONNXRuntime #NodeAPI #PythonSDK #JavaScriptSDK #CSharpSDK #DotNet #NetStandard #WinML #Koffi #No…

    #no #koffi #winml #netstandard #dotnet #csharpsdk
  5. Brandon H :csharp: :verified: @[email protected] ·

    via #AIFoundry : Foundry Local 1.1: Live Transcription, Embeddings, and Responses API

    ift.tt/O1MorgK
    #FoundryLocal #LiveTranscription #EmbeddingsAPI #ResponsesAPI #WebGPU #ONNXRuntime #NodeAPI #PythonSDK #JavaScriptSDK #CSharpSDK #DotNet #NetStandard #WinML #Koffi #No…

    #aifoundry #foundrylocal #livetranscription #embeddingsapi #responsesapi #webgpu
  6. Brandon H :csharp: :verified: @[email protected] ·

    via #AIFoundry : Foundry Local is now Generally Available

    ift.tt/xUnc9oy
    #FoundryLocal #GA #GeneralAvailability #FoundryLocalGA #AI #EdgeAI #OnPremiseAI #LocalAI #AIinApps #NoCloud #OfflineAI #CrossPlatform #Windows #macOS #Linux #OpenAICompatible #ONNXRuntime #WinML …

    #aifoundry #foundrylocal #ga #generalavailability #foundrylocalga #ai
  7. Habr @[email protected] ·

    Инференс нейросетевых моделей для табличных данных с помощью ONNX Runtime на C++

    ONNX Runtime (ORT) — это высокопроизводительный движок для выполнения моделей в формате Open Neural Network Exchange (ONNX). Он предлагает оптимизированные реализации для CPU и GPU, поддержку различных аппаратных ускорителей и, что ключевое, простой C++ API. В этой статье мы разберем, как выполнить инференс модели для табличных данных, используя ONNX Runtime в C++ проекте. Ссылка для скачивания: Библиотеку можно получить через официальный GitHub (сборка из исходников). Для простоты в проектах часто достаточно забрать предсобранные бинарники из релизов .

    habr.com/ru/articles/991430/

    #onnxruntime #onnx #ORT #DL #TabularDL #C++ #инференс_моделей

    #инференс_моделей #c #tabulardl #dl #ort #onnx
  8. Scott Galloway @[email protected] ·

    Problem: we keep using frontier LLMs as glue for jobs that are already solved.

    Solution: run OCR + NER locally in C# with ONNX Runtime. Deterministic extraction on ingest. Store the entities. Use an LLM later only if you actually need synthesis.

    OCR with Tesseract, then BERT NER via ONNX in .NET. No Python, no cloud, no tokens.

    This is my 'for beginners' article. I'm DEEP in OCR but realised I never explained the quickest way to do this *locally*.

    mostlylucid.net/blog/simple-oc

    #CSharp #DotNet #ONNX #OnnxRuntime #OCR #NER #LocalAI #RAG #DocumentAI

    #csharp #dotnet #onnx #onnxruntime #ocr #ner
  9. Habr @[email protected] ·

    Наш публичный детектор голоса стал быстрее в 3 раза (*), качественнее, устойчивее и теперь работает на 6 000 языках

    Мы уже рассказывали про наш детектор голоса на Хабре тут , тут и тут . Кратко опишу, что стало лучше в этот раз: Поддержка 6 000+ языков; Общий рост качества на 5-7%; Существенно повышена устойчивость на шумных данных; TorchScript (*) стал в 3 раза быстрее, а ONNX - на 10% (теперь они примерно равны по скорости , обработка 1 кусочка аудио занимает 325 и 189 μs соответственно);

    habr.com/ru/articles/825208/

    #silero #voice_activity_detection #vad #детекция_голоса #onnx #onnxruntime #pytorch #python_3 #голосовой_помощник #голосовое_управление

    #голосовое_управление #голосовой_помощник #python_3 #pytorch #onnxruntime #onnx