#глубокие_нейросети — Public Fediverse posts

Тензорные компиляторы: что это за «звери» и где они «обитают»

Компилятор — привычный инструмент для многих разработчиков, но не все сталкивались в работе с тензорным видом. Их частые пользователи — специалисты по машинному обучению и дата-инженеры. В этой статье совершим экскурсию в «зоопарк» тензорных компиляторов, понаблюдаем за их «поведением» и выберем самых функциональных «зверушек». А еще поделимся ссылкой на бесплатный курс о построении и использовании тензорных компиляторов для ускорения вывода глубоких нейронных сетей, который разработан сотрудниками института ИТММ ННГУ им. Н. И. Лобачевского.

https://habr.com/ru/companies/yadro/articles/869594/

#тензорные_компиляторы #глубокие_нейросети #тензоры #машинное_обучение #инференс #glow #xla #openvino #apach_tvm

«А можно быстрее?»: разбираем методы ускорения обучения нейронных сетей

Современные нейросетевые архитектуры достигают впечатляющих результатов в сложных задачах ИИ благодаря росту объемов данных и вычислительных мощностей. Однако обратной стороной медали стала высокая ресурсоемкость обучения. Например, последняя версия GPT-4 от OpenAI обучалась на большом GPU-кластере. По некоторым данным , она содержит около 1,8 триллиона параметров, а ее обучение обошлось более чем в 100 млн долларов. А модель Llama 3.1 405B, вроде бы оптимизированная под ограниченные ресурсы, все равно требовала более 15 триллионов токенов и свыше 16 тысяч GPU NVIDIA H100. И хотя нынешнее качество работы LLM уже можно действительно назвать выдающимся, на практике они подкидывают разработчикам широкий ряд проблем производительности: от запредельных объемов данных до оптимизации гиперпараметров. Все это приводит к потребности в ускорении обучения. Мы подготовили серию материалов, которые помогут разобраться в ускорении обучения нейросетей. В этой статье рассмотрим различные теоретические аспекты от аппаратного ускорения до правильной организации самого обучения, в следующей — поговорим о практике. В общем, нас ждет глубокое погружение в тему. Приятного прочтения!

https://habr.com/ru/companies/magnus-tech/articles/840902/

#обучение_нейросетей #ускорить_обучение_нейросетей #глубокие_нейросети #tensorflow #оптимизация_обучения_нейросетей #подбор_гиперпараметров #аугментация_данных #прунинг

Реализация нейронной сети для соревнования Digit Recognizer на Kaggle и её прикладное использование. Часть №1

В данной статье будет рассмотрено одно из решений обучающей задачи на платформе Kaggle по распознаванию рукописных цифр. Будут продемонстрированы несколько трюков, которые могут помочь читателю добиться высоких результатов в данном соревновании. После реализации нейронной сети будет реализовано серверное и веб-приложение, с помощью которых пользователь сможет рисовать цифры и распознавать их с помощью нейронной сети. Статья ориентирована на начинающих специалистов в области машинного обучения и не носит новаторский характер. Списки на используемые источники (в том числе исходный код) будут представлены в конце статьи. Решения не новы, однако с их помощью можно достичь высоких результатов. Например, автору удалось добиться score равному 0.99896, а с помощью читерства - 1.

https://habr.com/ru/articles/778546/

#глубокое_обучение #машинное_обучение #kaggle #digit_recognizer #python #tensorflow #инференс #читерство #глубокие_нейросети #свёрточная_нейросеть