#оптимизация_нейросетей — Public Fediverse posts

Запускаем DeepSeek-V4 (1.6T) на «калькуляторе»: SVD-трансмутация, Identity Theft и гаражный MLOps

Что делать, если у вас есть 1.6-триллионная модель и видеокарта из прошлого десятилетия? Пока корпорации покупают H100 фурами, мы используем SVD-трансмутацию и архитектурный Identity Theft, чтобы запустить DeepSeek-V4 на бесплатном инстансе Kaggle. Инструкция по сборке Мутанта внутри.

https://habr.com/ru/articles/1028560/

#DeepSeekV4Pro #MoE #SVD #Низкоранговое_разложение #Оптимизация_нейросетей #MLOps #Kaggle #NVIDIA_T4 #Сжатие_моделей #Ghetto_AI

Запускаем DeepSeek-V4 (1.6T) на «калькуляторе»: SVD-трансмутация, Identity Theft и гаражный MLOps

Что делать, если у вас есть 1.6-триллионная модель и видеокарта из прошлого десятилетия? Пока корпорации покупают H100 фурами, мы используем SVD-трансмутацию и архитектурный Identity Theft, чтобы запустить DeepSeek-V4 на бесплатном инстансе Kaggle. Инструкция по сборке Мутанта внутри.

https://habr.com/ru/articles/1028560/

#DeepSeekV4Pro #MoE #SVD #Низкоранговое_разложение #Оптимизация_нейросетей #MLOps #Kaggle #NVIDIA_T4 #Сжатие_моделей #Ghetto_AI

Запускаем DeepSeek-V4 (1.6T) на «калькуляторе»: SVD-трансмутация, Identity Theft и гаражный MLOps

Что делать, если у вас есть 1.6-триллионная модель и видеокарта из прошлого десятилетия? Пока корпорации покупают H100 фурами, мы используем SVD-трансмутацию и архитектурный Identity Theft, чтобы запустить DeepSeek-V4 на бесплатном инстансе Kaggle. Инструкция по сборке Мутанта внутри.

https://habr.com/ru/articles/1028560/

#DeepSeekV4Pro #MoE #SVD #Низкоранговое_разложение #Оптимизация_нейросетей #MLOps #Kaggle #NVIDIA_T4 #Сжатие_моделей #Ghetto_AI

Запускаем DeepSeek-V4 (1.6T) на «калькуляторе»: SVD-трансмутация, Identity Theft и гаражный MLOps

Что делать, если у вас есть 1.6-триллионная модель и видеокарта из прошлого десятилетия? Пока корпорации покупают H100 фурами, мы используем SVD-трансмутацию и архитектурный Identity Theft, чтобы запустить DeepSeek-V4 на бесплатном инстансе Kaggle. Инструкция по сборке Мутанта внутри.

https://habr.com/ru/articles/1028560/

#DeepSeekV4Pro #MoE #SVD #Низкоранговое_разложение #Оптимизация_нейросетей #MLOps #Kaggle #NVIDIA_T4 #Сжатие_моделей #Ghetto_AI

Лоботомия нейросети: удалил 7 слоёв из LLM — она стала на 30% быстрее

Эксперимент по хирургическому удалению слоёв из языковой модели Современные LLM переобучены — многие слои делают одно и то же. Я проверил эту гипотезу на практике: взял TinyLlama (1.1B параметров, 22 слоя) и измерил, как удаление каждого слоя влияет на perplexity. Результаты: • Удаление 1 среднего слоя: +10% скорость, -4% качество • Удаление 7 «безопасных» слоёв: +32% скорость, -2.5% качество • Удаление первого слоя: модель полностью ломается Неожиданно: Layer 2 важнее Layer 0 (perplexity +6.67 vs +3.92 при удалении). Статья с кодом на PyTorch, графиками и практическими рекомендациями — какие слои можно удалять для ускорения инференса.

https://habr.com/ru/articles/983636/

#LLM #Large_Language_Models #Layer_Pruning #оптимизация_нейросетей #TinyLlama #PyTorch #inference_optimization #трансформеры #ускорение_моделей #ShortGPT

Лоботомия нейросети: удалил 7 слоёв из LLM — она стала на 30% быстрее

Эксперимент по хирургическому удалению слоёв из языковой модели Современные LLM переобучены — многие слои делают одно и то же. Я проверил эту гипотезу на практике: взял TinyLlama (1.1B параметров, 22 слоя) и измерил, как удаление каждого слоя влияет на perplexity. Результаты: • Удаление 1 среднего слоя: +10% скорость, -4% качество • Удаление 7 «безопасных» слоёв: +32% скорость, -2.5% качество • Удаление первого слоя: модель полностью ломается Неожиданно: Layer 2 важнее Layer 0 (perplexity +6.67 vs +3.92 при удалении). Статья с кодом на PyTorch, графиками и практическими рекомендациями — какие слои можно удалять для ускорения инференса.

https://habr.com/ru/articles/983636/

#LLM #Large_Language_Models #Layer_Pruning #оптимизация_нейросетей #TinyLlama #PyTorch #inference_optimization #трансформеры #ускорение_моделей #ShortGPT

Лоботомия нейросети: удалил 7 слоёв из LLM — она стала на 30% быстрее

Эксперимент по хирургическому удалению слоёв из языковой модели Современные LLM переобучены — многие слои делают одно и то же. Я проверил эту гипотезу на практике: взял TinyLlama (1.1B параметров, 22 слоя) и измерил, как удаление каждого слоя влияет на perplexity. Результаты: • Удаление 1 среднего слоя: +10% скорость, -4% качество • Удаление 7 «безопасных» слоёв: +32% скорость, -2.5% качество • Удаление первого слоя: модель полностью ломается Неожиданно: Layer 2 важнее Layer 0 (perplexity +6.67 vs +3.92 при удалении). Статья с кодом на PyTorch, графиками и практическими рекомендациями — какие слои можно удалять для ускорения инференса.

https://habr.com/ru/articles/983636/

#LLM #Large_Language_Models #Layer_Pruning #оптимизация_нейросетей #TinyLlama #PyTorch #inference_optimization #трансформеры #ускорение_моделей #ShortGPT

Лоботомия нейросети: удалил 7 слоёв из LLM — она стала на 30% быстрее

Эксперимент по хирургическому удалению слоёв из языковой модели Современные LLM переобучены — многие слои делают одно и то же. Я проверил эту гипотезу на практике: взял TinyLlama (1.1B параметров, 22 слоя) и измерил, как удаление каждого слоя влияет на perplexity. Результаты: • Удаление 1 среднего слоя: +10% скорость, -4% качество • Удаление 7 «безопасных» слоёв: +32% скорость, -2.5% качество • Удаление первого слоя: модель полностью ломается Неожиданно: Layer 2 важнее Layer 0 (perplexity +6.67 vs +3.92 при удалении). Статья с кодом на PyTorch, графиками и практическими рекомендациями — какие слои можно удалять для ускорения инференса.

https://habr.com/ru/articles/983636/

#LLM #Large_Language_Models #Layer_Pruning #оптимизация_нейросетей #TinyLlama #PyTorch #inference_optimization #трансформеры #ускорение_моделей #ShortGPT

Как квантовать LLM. Практическое руководство для начинающих

В этой статье я расскажу об основных концепциях квантования, сделаю небольшой обзор популярных методов квантования, а также для каждого метода приведу практический пример на Python для его применения к LLM. 🔥 Начинаем 🔥

https://habr.com/ru/articles/975468/

#квантование #оптимизация_нейросетей #искусственный_интеллект #llm

Как квантовать LLM. Практическое руководство для начинающих

В этой статье я расскажу об основных концепциях квантования, сделаю небольшой обзор популярных методов квантования, а также для каждого метода приведу практический пример на Python для его применения к LLM. 🔥 Начинаем 🔥

https://habr.com/ru/articles/975468/

#квантование #оптимизация_нейросетей #искусственный_интеллект #llm

Как квантовать LLM. Практическое руководство для начинающих

В этой статье я расскажу об основных концепциях квантования, сделаю небольшой обзор популярных методов квантования, а также для каждого метода приведу практический пример на Python для его применения к LLM. 🔥 Начинаем 🔥

https://habr.com/ru/articles/975468/

#квантование #оптимизация_нейросетей #искусственный_интеллект #llm

Как квантовать LLM. Практическое руководство для начинающих

В этой статье я расскажу об основных концепциях квантования, сделаю небольшой обзор популярных методов квантования, а также для каждого метода приведу практический пример на Python для его применения к LLM. 🔥 Начинаем 🔥

https://habr.com/ru/articles/975468/

#квантование #оптимизация_нейросетей #искусственный_интеллект #llm

Как эффективно бороться с галлюцинациями нейросетей

Привет, я — Олег Рогов , руководитель фронтенд-разработки. В статье рассмотрю, почему искусственный интеллект (ИИ) галлюцинирует и как с этим бороться. С развитием ИИ больших языковых моделей перед пользователями встает вопрос о достоверности информации, которую они предоставляют. Иногда ИИ может выдавать ответы, которые выглядят убедительно, но на самом деле являются вымышленными или неточными. Явление, при котором языковая модель генерирует ложную информацию, получило название «галлюцинация».

https://habr.com/ru/companies/beeline_cloud/articles/886706/

#нейросети #генеративный_ии #llm #обучение_моделей #проверка_фактов #автоматизация #оптимизация_нейросетей

Краткий гайд по квантованию нейросетей

Мы достаточно написали статей про оптимизацию ваших нейросетей, сегодня пора перейти к дроблению, уменьшению и прямому урезанию, иначе квантованию данных. Сам по себе процесс этот несложный с точки зрения всего, но подводные камни у операции есть. Рассказываем о видах квантования и приводим примеры в этой статье

https://habr.com/ru/articles/848306/

#Квантование #оптимизация_нейросетей #как_уменьшить_память_нейросети #нейросеть #машинное_обучение #tensorflow #ускорить_модель_ИИ

Краткий гайд по квантованию нейросетей

Мы достаточно написали статей про оптимизацию ваших нейросетей, сегодня пора перейти к дроблению, уменьшению и прямому урезанию, иначе квантованию данных. Сам по себе процесс этот несложный с точки зрения всего, но подводные камни у операции есть. Рассказываем о видах квантования и приводим примеры в этой статье

https://habr.com/ru/articles/848306/

#Квантование #оптимизация_нейросетей #как_уменьшить_память_нейросети #нейросеть #машинное_обучение #tensorflow #ускорить_модель_ИИ

Краткий гайд по квантованию нейросетей

Мы достаточно написали статей про оптимизацию ваших нейросетей, сегодня пора перейти к дроблению, уменьшению и прямому урезанию, иначе квантованию данных. Сам по себе процесс этот несложный с точки зрения всего, но подводные камни у операции есть. Рассказываем о видах квантования и приводим примеры в этой статье

https://habr.com/ru/articles/848306/

#Квантование #оптимизация_нейросетей #как_уменьшить_память_нейросети #нейросеть #машинное_обучение #tensorflow #ускорить_модель_ИИ

«А можно быстрее?»: практические советы по ускорению обучения нейросетей

Мы продолжаем изучать, как ускоряют обучение нейросетей. В прошлой статье мы погрузились в теоретические аспекты этой проблемы. Сегодня перейдем к практике. Мы разберем несколько интересных исследований, которые демонстрируют эффективность различных подходов к ускорению нейросетей на разнообразных задачах и датасетах. Затем обсудим практические рекомендации по выбору и комбинированию методов оптимизации и расскажем, какие инструменты лучше использовать для профилирования и мониторинга процесса обучения. В довершение рассмотрим полезные библиотеки для быстрой и эффективной разработки.

https://habr.com/ru/companies/magnus-tech/articles/846012/

#ускорить_обучение_нейросетей #tensorflow #pytorch #автогенчеллендж #машинное_обучение #ускорение_нейросетей #оптимизация_нейросетей #искусственный_интеллект #FastSample #gnn