home.social

#mlops — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #mlops, aggregated by home.social.

fetched live
  1. Habr @[email protected] ·

    MLOps для DevOps-инженера: как построить платформу машинного обучения в закрытом контуре

    Мы построим прототип MLOps-платформы с нуля. Без Kubeflow, без облаков, без магии. Только Kubernetes, Helm, ArgoCD и ещё дюжина компонентов, каждый из которых появляется не потому что «так модно», а потому что решает конкретную проблему

    habr.com/ru/articles/1069368/

    #devops #mlops #k8s #devsecops

    #devsecops #k8s #mlops #devops
  2. Habr @[email protected] ·

    Как за 5 недель построить рекомендательную систему в TravelTech: Kafka и MongoDB вместо Feature Store

    Привет! Меня зовут Кристина, я MLOps-инженер в Туту. Занимаюсь тем, что помогаю рекомендательным системам добраться до прода со всеми компромиссами, горящими дедлайнами и новыми идеями. Эта статья — про один из таких запусков. В идеальном ML-мире запуск рекомендаций выглядит примерно так: полгода проектируют хранилище признаков (Feature Store), настраивают, откуда и как берутся данные, гоняют тяжёлые расчёты фичей и моделей, а отдельная команда следит, не деградирует ли модель из‑за изменений в данных. В реальном бизнесе у тебя есть 5 недель до старта высокого сезона, два инженера, DS и задача: сделать так, чтобы пользователь, который купил билет, сразу увидел релевантный отель. Рассказываем, как мы собрали работающую RecSys v1 на привычном стеке: Kafka, MongoDB, ClickHouse. При этом мы сознательно отказались от перфекционизма ради скорости. Инженерный вызов здесь не в масштабе и не в алгоритмах, а в контексте. Cross-sell в travel — это не «похожие товары». Пример Пользователь купил билет Москва → Сочи на 10–17 июля: значит, нужно показать отели именно в Сочи, именно на эти даты. Коллаборативная фильтрация без контекста поездки — «похожие пользователи → похожие отели» — не знает ни город, ни даты, ни то, что заказ только что оплачен и его ещё нет в DWH. Нужен подход, где контекст конкретной поездки — куда, когда, с кем — задаётся явно до ранжирования. «Правильный» путь — Feature Store и полноценная ML-платформа, занял бы 4–6 месяцев. Бизнесу нужно было проверить гипотезу на живом трафике. Мы собрали v1 на том, что уже работало в проде, с некоторыми компромиссами и без иллюзий насчёт идеальной архитектуры.

    habr.com/ru/companies/tuturu/a

    #рекомендательные_системы #mlops #kafka #clickhouse #feature_store #fastapi #catboost #travel_tech #mongodb

    #mongodb #travel_tech #catboost #fastapi #feature_store #clickhouse
  3. Leanpub @[email protected] ·

    From the Leanpub Blog: Leanpub Book LAUNCH 🚀 LLM Engineering, from Component to Production by Ali Aouf

    leanpub.com/blog/leanpub-book-

    #books #leanpublishing #selfpublishing #LLMEngineering #RAG #AIAgents #GenerativeAI #MLOps

    #books #leanpublishing #selfpublishing #llmengineering #rag #aiagents
  4. Leanpub @[email protected] ·

    From the Leanpub Blog: Leanpub Book LAUNCH 🚀 LLM Engineering, from Component to Production by Ali Aouf

    leanpub.com/blog/leanpub-book-

    #books #leanpublishing #selfpublishing #LLMEngineering #RAG #AIAgents #GenerativeAI #MLOps

    #books #leanpublishing #selfpublishing #llmengineering #rag #aiagents
  5. Leanpub @[email protected] ·

    NEW! Leanpub Book LAUNCH 🚀 LLM Engineering, from Component to Production by Ali Aouf

    youtu.be/mhxhId_dLQA

    #books #leanpublishing #selfpublishing #LLMEngineering #RAG #AIAgents #GenerativeAI #MLOps

    #books #leanpublishing #selfpublishing #llmengineering #rag #aiagents
  6. Leanpub @[email protected] ·

    NEW! Leanpub Book LAUNCH 🚀 LLM Engineering, from Component to Production by Ali Aouf

    youtu.be/mhxhId_dLQA

    #books #leanpublishing #selfpublishing #LLMEngineering #RAG #AIAgents #GenerativeAI #MLOps

    #books #leanpublishing #selfpublishing #llmengineering #rag #aiagents
  7. Arint - SEO+KI @[email protected] ·

    RT @anemll: Veröffentlicht und getestet: vLLM 0.25.1 Kompatibilitäts-Overlay und TP=2 Referenz-Deployment für DeepSeek V4 Flash sowie DSpark/NVFP4 auf 2× NVIDIA DGX Spark / ASUS GX10 Systemen. Enthält Integrationskorrekturen, ein Live-Dashboard, Deployment-Tooling und reproduzierbare Benchmarks. Diese Integration baut auf Arbeiten von @vllmproject, FlashInfer, Luke Alonso/b12x, @MiaAIlab, @rafaelcaricio, Keys/drowzeys, @2WildTech und vielen anderen Mitwirkenden auf. github.com/Anemll/dspark-vllm… Benchmarks 👇 Link GitHub - Anemll/dspark-vllm-gx10: Zwei-Knoten-DGX Spark/ASUS GX10 DeepSeek V4 Flash DSpark NVFP4 Port... Zwei-Knoten-DGX Spark/ASUS GX10 DeepSeek V4 Flash DSpark NVFP4 Port für vLLM 0.25, mit Live-Dashboard und reproduzierbarem Deployment. - Anemll/dspark-vllm-gx10 github.com

    mehr auf Arint.info

    #DeepSeek #DGXSpark #MLOps #NVFP4 #NVIDIA #vLLM #arint_info

    https://x.com/anemll/status/2077271758768583051#m

    #deepseek #dgxspark #mlops #nvfp4 #nvidia #vllm
  8. Craig Brown, PhD @[email protected] ·

    Volta lands $10B AI cloud deal as GPU clouds expand cloudcomputing-news.net/news/v #Cloud #Automation #Data #ChiefDataOfficer #CTO #MLOps #technology #DataArchitecture

    #automation #data #chiefdataofficer #cto #mlops #technology
  9. Craig Brown, PhD @[email protected] ·

    Volta lands $10B AI cloud deal as GPU clouds expand cloudcomputing-news.net/news/v #Cloud #Automation #Data #ChiefDataOfficer #CTO #MLOps #technology #DataArchitecture

    #cloud #automation #data #chiefdataofficer #cto #mlops
  10. OmbuLabs.ai @[email protected] ·

    Hiring senior AI engineers is rough right now. If you cannot wait months for a req to close, our AI Team Augmentation embeds engineers with real depth in ML, NLP, LLMs, RAG, and MLOps into your team so your roadmap keeps moving. When your in-house hire lands, they inherit a working system. ombulabs.ai/our-services?utm_s #AIEngineering #MLOps #LLM

    #aiengineering #mlops #llm
  11. OmbuLabs.ai @[email protected] ·

    Hiring senior AI engineers is rough right now. If you cannot wait months for a req to close, our AI Team Augmentation embeds engineers with real depth in ML, NLP, LLMs, RAG, and MLOps into your team so your roadmap keeps moving. When your in-house hire lands, they inherit a working system. ombulabs.ai/our-services?utm_s #AIEngineering #MLOps #LLM

    #aiengineering #mlops #llm
  12. MultiX-6G Project @[email protected] ·

    The future of #6G is intelligence by design! 🚀📡🧠

    Explore the new @SNS_JU White Paper: "The AI/ML Landscape for Smart Networks and Services."
    From AI-native architectures & MLOps to agentic AI, see how #MultiX is building autonomous, privacy-aware networks. 🌐🔒

    📖 doi.org/10.5281/zenodo.17708459

    #ArtificialIntelligence #MLOps #Telecom #SNSJU #Research

    #6g #multix #artificialintelligence #mlops #telecom #snsju
  13. MultiX-6G Project @[email protected] ·

    The future of #6G is intelligence by design! 🚀📡🧠

    Explore the new @SNS_JU White Paper: "The AI/ML Landscape for Smart Networks and Services."
    From AI-native architectures & MLOps to agentic AI, see how #MultiX is building autonomous, privacy-aware networks. 🌐🔒

    📖 doi.org/10.5281/zenodo.17708459

    #ArtificialIntelligence #MLOps #Telecom #SNSJU #Research

    #6g #multix #artificialintelligence #mlops #telecom #snsju
  14. llm-bench@KAPUALabs @[email protected] ·

    Headline token rates are misleading. They hide 3 hidden costs: cache hits, output variance, and operational overhead. Benchmarks ignoring these misrank models on price. True value needs granularity, not surface math. We expose the gap in Part 9. Read the deep dive. 📊 post.kapualabs.com/4j43dpfu #AI #LLM #MLOps #DataScience

    #ai #llm #mlops #datascience
  15. llm-bench@KAPUALabs @[email protected] ·

    Headline token rates are misleading. They hide 3 hidden costs: cache hits, output variance, and operational overhead. Benchmarks ignoring these misrank models on price. True value needs granularity, not surface math. We expose the gap in Part 9. Read the deep dive. 📊 post.kapualabs.com/4j43dpfu #AI #LLM #MLOps #DataScience

    #ai #llm #mlops #datascience
  16. Habr @[email protected] ·

    Бесшовный переход в индустрию: как закрыть разрыв между вузом и реальным ИИ‑проектом

    Привет, Хабр, я Анастасия Сапрыкина, работаю на стыке двух миров: академического и индустриального. Сейчас в России активно развивается программа найма стажёров ( 1 , 2 , 3 , 4 , 5 , 6 ) — студентов старших курсов — в ИТ‑компании. Знаю не понаслышке, что и стажёрам, и бизнесу очень сложно друг с другом: стажёр не понимает отраслевой привязки и специфики решений, а бизнесу некогда его учить. В этот момент человек понимает: я проучился пять‑шесть лет, причём не в последнем по качеству вузе, но в ИТ и ИИ всё настолько поменялось, что я к ним всё ещё не готов… Поэтому крайне мало студентов бесшовно проходят все эти испытания и вскоре становятся успешными сотрудниками. Каждый раз, приходя в вуз с предложением о сотрудничестве, слышу одно и то же: «Наши выпускники умеют программировать, они знают математику, разбираются в алгоритмах. Но когда они приходят в компанию, им нужно ещё полгода, чтобы войти в рабочий ритм, вникнуть в отраслевую специфику». Дефицит отраслевых ИИ‑специалистов в России — это текущая реальность. Компании готовы нанимать, но не готовы ждать полгода адаптации, а вузы хотят соответствовать рынку, но не всегда знают, как.

    habr.com/ru/companies/T1Holdin

    #образование #госполитика #стратегия #искусственный_интеллект #карьера_в_it #mlops #ииагенты #edtech #стажеры #сайбокс

    #сайбокс #стажеры #edtech #ииагенты #mlops #карьера_в_it
  17. Habr @[email protected] ·

    Бесшовный переход в индустрию: как закрыть разрыв между вузом и реальным ИИ‑проектом

    Сейчас в России активно развивается программа найма стажёров ( 1 , 2 , 3 , 4 , 5 , 6 ) — студентов старших курсов — в ИТ‑компании. Знаю не понаслышке, что и стажёрам, и бизнесу очень сложно друг с другом: стажёр не понимает отраслевой привязки и специфики решений, а бизнесу некогда его учить. В этот момент человек понимает: я проучился пять‑шесть лет, причём не в последнем по качеству вузе, но в ИТ и ИИ всё настолько поменялось, что я к ним всё ещё не готов… Поэтому крайне мало студентов бесшовно проходят все эти испытания и вскоре становятся успешными сотрудниками. Я работаю на стыке двух миров: академического и индустриального. И каждый раз, приходя в вуз с предложением о сотрудничестве, слышу одно и то же: «Наши выпускники умеют программировать, они знают математику, разбираются в алгоритмах. Но когда они приходят в компанию, им нужно ещё полгода, чтобы войти в рабочий ритм, вникнуть в отраслевую специфику». Дефицит отраслевых ИИ‑специалистов в России — это текущая реальность. Компании готовы нанимать, но не готовы ждать полгода адаптации, а вузы хотят соответствовать рынку, но не всегда знают, как. Я убеждена: этот разрыв можно и нужно нивелировать, все участники заинтересованы в этом в той или иной степени. Расскажу, как это делают самые решительные и продвинутые.

    habr.com/ru/companies/T1Holdin

    #стажёры #сайбокс #машинное_обучение #образование #MLOps #искусственный_интеллект #EdTech #карьера_в_IT

    #карьера_в_it #edtech #искусственный_интеллект #mlops #образование #машинное_обучение
  18. Tiago F. R. Ribeiro @[email protected] ·

    Documentação do Google Cloud para avaliação e otimização de agentes IA:

    • Avaliação de Agentes: Casos de teste, simulação de diálogos e métricas de qualidade e segurança.
    docs.cloud.google.com/gemini-e

    • Avaliação Online: Monitorização e métricas contínuas em ambiente de produção.
    docs.cloud.google.com/gemini-e

    • Dashboards de desempenho e identificação de clusters de falhas.
    docs.cloud.google.com/gemini-e

    • DeepEval: Framework de avaliação de LLMs para apps c/ LLMs: deepeval.com/docs/introduction

    #MLOps

    #mlops
  19. Tiago F. R. Ribeiro @[email protected] ·

    Documentação do Google Cloud para avaliação e otimização de agentes IA:

    • Avaliação de Agentes: Casos de teste, simulação de diálogos e métricas de qualidade e segurança.
    docs.cloud.google.com/gemini-e

    • Avaliação Online: Monitorização e métricas contínuas em ambiente de produção.
    docs.cloud.google.com/gemini-e

    • Dashboards de desempenho e identificação de clusters de falhas.
    docs.cloud.google.com/gemini-e

    • DeepEval: Framework de avaliação de LLMs para apps c/ LLMs: deepeval.com/docs/introduction

    #MLOps

    #mlops
  20. Apache Airflow® @airflow ·

    Whether you’re migrating to Airflow 3, scaling data pipelines, bringing AI and ML workloads into production, or defining your organization’s data strategy, you’ll leave with ideas you can put into practice.

    📅 August 31–September 2, 2026
    📍 Hyatt Regency Austin

    Don’t just watch the AI revolution unfold. Learn how to orchestrate it.

    Secure your spot: airflowsummit.org/tickets/

    #apacheairflow #dataengineering #artificialintelligence #mlops #airflowsummit
  21. Apache Airflow® @[email protected] ·

    Whether you’re migrating to Airflow 3, scaling data pipelines, bringing AI and ML workloads into production, or defining your organization’s data strategy, you’ll leave with ideas you can put into practice.

    📅 August 31–September 2, 2026
    📍 Hyatt Regency Austin

    Don’t just watch the AI revolution unfold. Learn how to orchestrate it.

    Secure your spot: airflowsummit.org/tickets/

    #ApacheAirflow #DataEngineering #ArtificialIntelligence #MLOps #AirflowSummit

    #apacheairflow #dataengineering #artificialintelligence #mlops #airflowsummit
  22. OmbuLabs.ai @[email protected] ·

    Before we build any AI, we look at what you already run. Then we bring the stack to fit: LangChain, PyTorch, vector databases, and cloud on AWS, GCP, or Azure, including regulated environments where data cannot leave the building. Six service tracks, one discovery-first approach. ombulabs.ai/our-services?utm_s #AI #MLOps

    #ai #mlops
  23. OmbuLabs.ai @[email protected] ·

    Before we build any AI, we look at what you already run. Then we bring the stack to fit: LangChain, PyTorch, vector databases, and cloud on AWS, GCP, or Azure, including regulated environments where data cannot leave the building. Six service tracks, one discovery-first approach. ombulabs.ai/our-services?utm_s #AI #MLOps

    #ai #mlops
  24. OmbuLabs.ai @[email protected] ·

    How do you pick the right AI platform without guessing? We interview across leadership, business users, and IT to find the real pain points, then give you an opinionated recommendation instead of a menu. That plus two or three deployed workflows and governance, in a couple of weeks. ombulabs.ai/ai-strategy-servic #AIStrategy #AI #MLOps

    #aistrategy #ai #mlops
  25. OmbuLabs.ai @[email protected] ·

    How do you pick the right AI platform without guessing? We interview across leadership, business users, and IT to find the real pain points, then give you an opinionated recommendation instead of a menu. That plus two or three deployed workflows and governance, in a couple of weeks. ombulabs.ai/ai-strategy-servic #AIStrategy #AI #MLOps

    #aistrategy #ai #mlops
  26. OmbuLabs.ai @[email protected] ·

    Before we build any AI, we audit what you already run to find where the time actually leaks. Then it's AI agents, MLOps to get prototypes into production, or specialists embedded in your team, whatever the audit points to. We work in LangChain, PyTorch, and TensorFlow but stay flexible. ombulabs.ai/our-services?utm_s #AI #MLOps #MachineLearning

    #ai #mlops #machinelearning
  27. OmbuLabs.ai @[email protected] ·

    Before we build any AI, we audit what you already run to find where the time actually leaks. Then it's AI agents, MLOps to get prototypes into production, or specialists embedded in your team, whatever the audit points to. We work in LangChain, PyTorch, and TensorFlow but stay flexible. ombulabs.ai/our-services?utm_s #AI #MLOps #MachineLearning

    #ai #mlops #machinelearning
  28. Craig Brown, PhD @[email protected] ·

    Strengthening Cloud Perimeters Through DNS Filtering and Site Controls in 2026 cloudcomputing-news.net/news/s #Cloud #Automation #Data #DataArchitecture #DataEngineering #MLOps #ExecutiveLeadership #CIO

    #cloud #automation #data #dataarchitecture #dataengineering #mlops
  29. Chinstrap Community @[email protected] ·

    Pixeltable - Declarative AI data infrastructure platform

    Cossmology Profile: dub.sh/bSJ571f

    Key People: Pierre Brunelle, Marcel Kornacker, Aaron Siegel

    #MLOps #OpenSource #OSS #COSS

    #mlops #opensource #oss #coss
  30. Habr @[email protected] ·

    vLLM vs LMDeploy vs Triton: обзор бэкендов для инференса LLM

    Лучший способ сжечь бюджет компании на инфраструктуру — запуск LLM в продакшене. Но только если вы не знаете, какой бэкенд использовать и как его настраивать. Проблема в том, что параметры современных нейросетей растут по экспоненте, а обрабатываемый контекст становится все длиннее. Из-за этого операционные расходы на генерацию текста превращаются в главный барьер для масштабирования сервисов. Обслуживать запросы к LLM в десятки раз сложнее и дороже, чем крутить классический поиск по ключевым словам. Чтобы не разориться на счетах и выжать максимум из дорогостоящих

    habr.com/ru/companies/selectel

    #mlops #selectel #ml #nvidia #vllm #tritoninferenceserver #lmdeploy

    #lmdeploy #tritoninferenceserver #vllm #nvidia #ml #selectel
  31. Marcus Schuler @[email protected] ·

    Inkling's resource footprint may narrow its audience: the full checkpoint needs 2TB of GPU memory, with even the compressed version requiring 600GB. This storage demand creates a real tradeoff between model access and infrastructure cost for developers considering adoption. implicator.ai/thinking-machine #AI #MLOps

    #ai #mlops
  32. Marcus Schuler @[email protected] ·

    Inkling's resource footprint may narrow its audience: the full checkpoint needs 2TB of GPU memory, with even the compressed version requiring 600GB. This storage demand creates a real tradeoff between model access and infrastructure cost for developers considering adoption. implicator.ai/thinking-machine #AI #MLOps

    #ai #mlops
  33. Habr @[email protected] ·

    Коробка с нейросетями: готовая ИИ-инфраструктура, которая просто работает

    Привет, Хабр! В день, когда весь мир в очередной раз обсуждает «умные» ассистенты, генеративные сети и спорит, заменит ли ИИ разработчиков, хочется немного сместить фокус. Генеративные модели — это вершина айсберга, но весь его вес держится на менее заметном, куда более приземленном ИИ: на системах, которые ежедневно переваривают терабайты данных, считают сложные модели и обслуживают высокопроизводительные вычисления. Меня зовут Вячеслав Дегтярев, я руковожу развитием продуктовых решений в К2 НейроТех , и в этой статье мы как раз поговорим об этой «инженерной» стороне искусственного интеллекта — инфраструктуре и платформах, без которых никакой модный LLM или ассистент в IDE просто не взлетит в проде. 16 июля, во Всемирный день ИИ, особенно заметен разрыв между хайпом и реальностью: с одной стороны — обещания «магии» генеративного ИИ, с другой — очередной упавший инстанс с CUDA-конфликтом и рабочий день, потраченный на согласование доступа к GPU-серверу. Поэтому я предлагаю поговорить о критически важном уровне ИИ — готовой инфраструктуре для ML, которая просто работает и позволяет командам дата-сайентистов запускать эксперименты, а не заниматься администрированием. Ниже — о том, как мы подошли к задачам ИИ и высокопроизводительных вычислений через ПАК‑ML и как организована современная зрелая инфраструктура для внедрения технологий искусственного интеллекта в enterprise-мире.

    habr.com/ru/companies/k2tech/a

    #к2_нейротех #пакml #ииинфраструктура #onpremise #программноаппаратный_комплекс #высоконагруженные_вычисления #искусственный_интеллект #mlops #gpu #всемирный_день_ии

    #всемирный_день_ии #gpu #mlops #искусственный_интеллект #высоконагруженные_вычисления #программноаппаратный_комплекс
  34. Stephen A. Putman @[email protected] ·

    How should a language model handle emotional context without simulating emotion, corrupting memory, or escalating authority?

    Resonant Field Mapping proposes a runtime control architecture that separates tone modulation, memory persistence, capability authority, and disagreement handling into governed layers.

    The goal is governed, reversible behavior under uncertainty—not human-like emotion.

    zenodo.org/records/18637406

    #AI #MachineLearning #AISafety #AIEthics #MLOps #SoftwareEngineering

    #ai #machinelearning #aisafety #aiethics #mlops #softwareengineering
  35. Stephen A. Putman @[email protected] ·

    How should a language model handle emotional context without simulating emotion, corrupting memory, or escalating authority?

    Resonant Field Mapping proposes a runtime control architecture that separates tone modulation, memory persistence, capability authority, and disagreement handling into governed layers.

    The goal is governed, reversible behavior under uncertainty—not human-like emotion.

    zenodo.org/records/18637406

    #AI #MachineLearning #AISafety #AIEthics #MLOps #SoftwareEngineering

    #ai #machinelearning #aisafety #aiethics #mlops #softwareengineering
  36. Habr @[email protected] ·

    Оценка быстродействия детекторов YOLO на Raspberry Pi 5 HAT+

    В предыдущей статье я описал процесс компиляции модели yolo8n в HEF-файл для нейрочипа HAILO-8L в модуле HAT+. В этой работе я оцениваю быстродействие инференса нескольких моделей YOLO для этого же чипа.

    habr.com/ru/articles/1058804/

    #raspberry_pi #hailo #hailo8l #yolo #mlops #ai #computervision #computer_vision #detection #opencv

    #opencv #detection #computer_vision #computervision #ai #mlops
  37. Habr @[email protected] ·

    Как компании строят MLOps без собственной ML-платформы: managed-сервисы

    Всем привет! Меня зовут Катерина Цаплина, я AI Architect и программный эксперт курса

    habr.com/ru/companies/yandex_p

    #mlops #mlops_tools #yandex_datasphere #yandex_ai_studio #google_vertex_ai

    #google_vertex_ai #yandex_ai_studio #yandex_datasphere #mlops_tools #mlops
  38. Datentreiber @[email protected] ·

    A heatwave sparked an idea: an app to find cool spots nearby. That became Talk2Earth—making Earth observation data accessible via “talk‑to‑data.” Built in 8 weeks to demo at ESA’s Council Meeting. What we learned about multi‑agent systems (and the book that could’ve saved us a month): #AI #AgenticAI #EarthObservation #ESA #MLOps
    datentreiber.com/blog/beyond-t

    #ai #agenticai #earthobservation #esa #mlops
  39. Arint - SEO+KI @[email protected] ·

    RT @Alacritic_Super: Als KI-Infrastruktur-Ingenieur: Bitte lerne folgende Themen: GPU-Architektur, VRAM-Grundlagen, CUDA und Speicherverteilung; Quantisierung (INT8/FP8/4-bit), Batching und kontinuierliches Batching; vLLM, TensorRT-LLM, SGLang, llama.cpp und Inference-Optimierung; KV-Caching, spekulatives Decoding, Prefix-Caching und Token-Durchsatz; verteiltes Training (DDP, FSDP, DeepSpeed, ZeRO); Modellauslieferung (Triton, vLLM, KServe, Ray Serve, SGLang); Kubernetes, Docker und GPU-Orchestrierung; NCCL, InfiniBand und Hochgeschwindigkeitsnetzwerke; Multi-GPU- und Multi-Node-Inference; LoRA, QLoRA, PEFT und Fine-Tuning-Pipelines; Vektordatenbanken, Embeddings und RAG-Pipelines; Prompt-Caching, semantisches Caching und Kostenoptimierung; Observability (OpenTelemetry, Prometheus, Grafana, Langfuse, Phoenix); LLM-Evaluation, Benchmarking und A/B-Tests; Model Routing und Fallback-Strategien; MCP, KI-Agenten und Workflow-Orchestrierung; Datenpipelines, Kafka und Streaming-Inference; Sicherheit, Guardrails und Abwehr gegen Prompt-Injection; CI/CD für ML (MLOps), MLflow und Model-Registries; Linux, Netzwerk- und Speichergrundlagen; PyTorch-Internals, CUDA-Profilierung und Kernel-Optimierung.

    mehr auf Arint.info

    #AIEngineering #DistributedTraining #GPUComputing #KIInfrastruktur #LLMOptimierung #MLOps #arint_info

    https://x.com/Alacritic_Super/status/2072660023340401008#m

    #aiengineering #distributedtraining #gpucomputing #kiinfrastruktur #llmoptimierung #mlops
  40. Mike Moran @[email protected] ·

    *It's almost time* for the next #MLOps Meetup on Wednesday at Wordsmith AI where they will be doing a talk on "Agent Harness Engineering", alongside the talk from Marios Zachariou, PhD on “Agentic MLOps in Rust: From Chatbots to Autonomous Infrastructure Actors”

    luma.com/4ec8sc60

    #mlops
  41. Arint - SEO+KI @[email protected] ·

    RT @Alacritic_Super: Als KI-Infrastruktur-Ingenieur: Bitte lerne: GPU-Architektur, VRAM-Grundlagen, CUDA & Speicherhierarchie; Quantisierung (INT8/FP8/4-bit), Batching & kontinuierliches Batching; vLLM, TensorRT-LLM, SGLang, llama.cpp & Inferenzoptimierung; KV-Caching, spekulatives Decoding, Prefix-Caching & Token-Durchsatz; verteiltes Training (DDP, FSDP, DeepSpeed, ZeRO); Modellauslieferung (Triton, vLLM, KServe, Ray Serve, SGLang); Kubernetes, Docker & GPU-Orchestrierung; NCCL, InfiniBand & Hochgeschwindigkeitsnetzwerke; Multi-GPU- & Multi-Node-Inferenz; LoRA, QLoRA, PEFT & Fine-Tuning-Pipelines; Vektordatenbanken, Embeddings & RAG-Pipelines; Prompt-Caching, semantisches Caching & Kostenoptimierung; Observability (OpenTelemetry, Prometheus, Grafana, Langfuse, Phoenix); LLM-Evaluation, Benchmarking & A/B-Tests; Model Routing & Fallback-Strategien; MCP, KI-Agenten & Workflow-Orchestrierung; Datenpipelines, Kafka & Streaming-Inferenz; Sicherheit, Guardrails & Abwehr von Prompt-Injection; CI/CD für ML (MLOps), MLflow & Model-Registries; Linux, Netzwerk & Storage-Grundlagen; PyTorch-Internals, CUDA-Profilierung & Kernel-Optimierung.

    mehr auf Arint.info

    #GPU #Ingenieurwesen #KI #LLM #MachineLearning #MLOps #arint_info

    https://x.com/Alacritic_Super/status/2072660023340401008#m

    #gpu #ingenieurwesen #ki #llm #machinelearning #mlops
  42. Datentreiber @[email protected] ·

    Machine Learning Week Europe (Nov, Munich) agenda is taking shape fast: new case studies from ING & Miele, plus deep dives from Microsoft & Statista (prompt safety, agentic AI). Want your talk on the agenda? Only 2 weeks left to apply. #MachineLearning #AI #LLM #MLOps #Munich
    datentreiber.com/blog/reminder

    #machinelearning #ai #llm #mlops #munich