#sft — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #sft, aggregated by home.social.
-
Учим небольшую LLM с нуля: гибридное внимание, XSA, доменные бленды и загадки роста онлайн-бенчмарков
Обучение LLM — это в первую очередь инфраструктурная задача: нужен пайплайн, который можно перезапускать с новыми данными, архитектурой или другим расписанием обучения и получать повторяемый внутри команды результат. В этом материале — рассказ команды обучения и инференса моделей RWB о том, как мы с нуля, без загрузки pretrained-весов, обучили текстовую модель на основе гибридной архитектуры Qwen3.5-2B-Base и какие выводы сделали по пути — от сборки датасетов до чтения графиков онлайн-оценки.
-
Memorization vs Generalization: что действительно умеет языковая модель (TLM) на 2 160 параметров (v1.1.0)
Продолжая тему Крошечной Языковой Модели на Nodejs мы поймем где проходит граница ее возможностей. На примере Крошечной Языковой Модели (TLM) из 2 160 параметров мы проведём воспроизводимый эксперимент и увидим в цифрах: знакомый шаблон - 99,93%, перестановка токенов - 81,69%, неизвестная структура -?%.
https://habr.com/ru/articles/1065160/
#machinelearning #machine_learning #backpropagation #selfattention #autograd #nodejs #javascript #sft #нейронная_сеть #transformer
-
[Перевод] Языковая Модель без магии: Крошечная Language Model на чистом Node.js
Мы создаем крошечную языковую модель с нуля на чистом Node.js без использования TensorFlow или PyTorch, реализуя нейроны, автоград, эмбеддинги, механизм самовнимания (self-attention), полносвязную сеть (FFN), обратное распространение ошибки и SFT, одновременно наблюдая за тем, как отдельные веса и целые матрицы изменяются в процессе обучения Это не новая GPT и не прод ML...
https://habr.com/ru/articles/1063406/
#machinelearning #machine_learning #backpropagation #selfattention #autograd #nodejs #javascript #sft #нейронная_сеть #transformer
-
Своя GPT-like LLM по WH40K с нуля. Часть 4: Дообучение на вопрос–ответ (SFT)
Привет, Хабр! Меня зовут Владимир, и это четвёртая часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. Данная статья целиком посвящена этапу SFT - дообучению на датасете “вопрос - ответ”, чтобы модель могла вести диалог с пользователем, а не просто дописывать за него фразы.
https://habr.com/ru/articles/1060976/
#llm #gpt #pytorch #transformers #nlp #python #sft #finetuning
-
Дообучим старый ruGPT3 XL 1.3B (~2020 год) до уровня LLM. ChatGPT выйдет только через 2 года. Сравним с Gemma3 2025 года
Древняя модель ruGPT-3 XL 1.3B конца 2020 - начала 2021. Модели тех времён не умели выполнять инструкции или вести диалог в чате, они умели только продолжать текст. С помощью современных методов дообучения SFT и DPO можно ли сделать из старого pretrain современную LLM? Получившийся результат сравним с Gemma3 1B, моделью 2025 года. И немного продолжения HabrGPT 0.5B с дообучением на большом датасете.
https://habr.com/ru/articles/1045724/
#llamacpp #transformers #обучение #finetune #rugpt #rugpt3 #sft #dpo
-
habrGPT. Обучим LLM 0.5B с нуля на статьях Хабра с помощью nanochat от Карпатого. Обучение fp8 дома и сравнение с bf16
Раскрученный проект nanochat обещает "за $100 обучите свой ChatGPT". В оригинале правда обучение на 8xH100 80Gb, но никто не мешает обучить его на домашнем более слабом железе. Попробуем обучить LLM с нуля на статьях Хабра, посмотреть хватит ли там материала, чтобы модель хотя бы смогла связать пару слов.
-
VibeThinker: 3B param model that beats Opus 4.5 on reasoning with novel SFT+GRPO
-
Как дообучить LLM. Рассказываю шаг за шагом
В этой статье я шаг за шагом расскажу, как дообучить LLM под свою задачу. В качестве примера возьму open-source модель Qwen2.5-0.5B и дообучу её извлекать информацию из текста в формате JSON по заданной схеме. Сначала дам короткую вводную по этапам обучения языковых моделей, а затем перейдём к практике: подготовим данные, настроим LoRA, обучим модель в Colab и сравним метрики до и после — заодно проверим, насколько сильно модель забывает прежние знания. Рассказ будет сопровождаться кодом на Python. 🔥 Начинаем 🔥
-
Три попытки обогнать в бенче базовую Gemma 4 дообучением — и все три мимо
Две недели мы пытались обогнать собственную базу. Файнтюном. Потом ещё раз файнтюном на переделанном корпусе. Потом — RAG. Все три раунда база выиграла. Это статья про отрицательный результат. Я считаю, он полезнее победы — потому что воспроизводимый и объясняет, какой инструмент под какую задачу. Дальше — цифры, стек и три разбора «почему не взлетело».
-
Прогнал семь LLM через свой русский спортивный бенчмарк. Базовой моделью всё равно оставляю Gemma 4 31B
Прогнали семь LLM через свой русский спортивный бенчмарк. Топовые модели closed-source выигрывают 1.5-1.7 балла. Базовой моделью всё равно остаётся Gemma 4 31B — рассказываю почему.
https://habr.com/ru/articles/1036448/
#llm #бенчмарк #gemma #qwen #openrouter #русский_язык #dora #sft #спорт #llmjudge
-
Флоу комфорта: как искусственный интеллект в колонках Сбер научился создавать сценарии умного дома
Салют, Хабр! Я Иван, руковожу направлением голосового управления умным домом в SberDevices. Недавно мы обучили ГигаЧат в интеллектуальных колонках Сбер помогать в создании сценариев автоматизации голосом. Эта задача была неизбежной: общение на естественном языке — закономерный этап развития умных устройств. И непростой: реализовать управление умным домом на естественном языке сложнее, чем «болталку». Во-первых, у каждого юзера в умном доме свой набор комнат и устройств, их функций, названий. Во-вторых, умному дому нельзя ошибаться . Сегодня расскажу, где в пайплайне обработки запроса общение с бэкендом, почему выбрали обучение на уровне контекста вместо supervised fine-tuning и что такое сценарная машина.
-
Beautiful weather for takeoff from Skellefteå airport (Sweden) “ESNS 230750Z 22011KT 180V260 CAVOK 06/M03 Q0997” : See what it means on https://www.bigorre.org/aero/meteo/esns/en #skellefteaairport #airport #skelleftea #sweden #esns #sft #metar #aviation #aviationweather #avgeek vl
-
via #AIFoundry : Beyond the Prompt – Why and How to Fine-tune Your Own Models
https://ift.tt/DpcF2h4
#finetuning #microsoftfoundry #azureai #enterpriseai #llm #languagemodels #foundationmodels #promptengineering #rag #retrievalaugmentedgeneration #sft #supervisedfinetuning #r… -
Beautiful weather for takeoff from Skellefteå airport (Sweden) “ESNS 300720Z 26003KT CAVOK M23/M26 Q1027” : See what it means on https://www.bigorre.org/aero/meteo/esns/en #skellefteaairport #airport #skelleftea #sweden #esns #sft #metar #aviation #aviationweather #avgeek vl
-
[Перевод] Как Claude научился файн-тюнить опенсорсные LLM
Claude Code теперь умеет сам файнтюнить LLM на облачных GPU — от валидации датасета до пуша модели на Hub. Показываю, как это работает.
https://habr.com/ru/articles/973898/
#Claude_Code #finetuning #Hugging_Face #LLM #AIагенты #машинное_обучение #LoRA #SFT #DPO #opensource
-
SFT vs RL: Сравнение методов настройки LLM для задач программирования и игровых сред
В современной разработке AI-агентов возникает необходимость адаптации больших языковых моделей (LLM) для решения специфических задач, требующих не просто генерации текста, а выполнения последовательных действий с рассуждениями. В этой статье мы рассмотрим и сравним два основных подхода к настройке моделей: Supervised Fine-Tuning (SFT) и Reinforcement Learning (RL), используя библиотеку TRL (Transformer Reinforcement Learning) от Hugging Face.
-
Kandinsky 4.1 Image – новый генератор изображений от Сбера
В декабре прошлого года на конференции AI Journey наша команда представила диффузионную генеративную модель Kandinsky 4.0 Video. Теперь мы рады представить новую версию нашей модели генерации изображений Kandinsky 4.1 Image!
https://habr.com/ru/companies/sberbank/articles/915760/
#генерация_изображений #kandinsky_4 #sberai #generative_models #texttoimage #computer_vision #diffusion #sft #artificial_intelligence #machine_learning
-
[Перевод] Как дообучать LLM с помощью Supervised Fine-Tuning
Обычно большие языковые модели (large language model, LLM) обучают в несколько этапов, включающих предварительное обучение и множество этапов fine-tuning (см. ниже). Предварительное обучение — это дорогостоящий процесс (например, требующий многих сотен тысяч долларов на вычислительные ресурсы), однако fine-tuning модели LLM (или контекстное обучение) по сравнению с этим гораздо дешевле (например, сотни долларов или даже меньше). Учитывая широкую доступность и бесплатность (даже для коммерческого использования) предварительно обученных LLM (например, MPT , Falcon или LLAMA-2 ), мы можем создавать большой спектр мощных приложений благодаря fine-tuning моделей под нужные задачи. Этапы обучения LLM На текущем этапе исследований ИИ одним из самых широко применяемых видов fine-tuning моделей LLM стал supervised fine-tuning (SFT). При этой методике курируемый датасет высококачественных выходных данных LLM применяется для непосредственного fine-tuning модели. SFT прост и дёшев в использовании, это полезный инструмент выравнивания языковых моделей, ставший популярным даже за пределами исследовательского сообщества опенсорсных LLM. В этой статье мы вкратце расскажем о принципах SFT, рассмотрим исследования по этой теме и приведём примеры того, как практикующие специалисты могут с лёгкостью пользоваться SFT, написав всего несколько строк кода на Python.
https://habr.com/ru/articles/830396/
#Машинное_обучение #data_labeling #data_annotation #dataset #разметка_данных #SFT #Finetuning #LLM
-
[Перевод] Fine-tuning больших языковых моделей в 2024 году
Не секрет, что большие языковые модели (LLM) эволюционируют с безумной скоростью и привлекают внимание всей отрасли генеративного ИИ. Корпорации не просто заинтригованы, они одержимы LLM, и в частности, потенциалом fine-tuning LLM. В исследования и разработку LLM сейчас вкладываются миллиарды долларов. Лидеры отрасли и энтузиасты технологий всё сильнее стремятся углубить своё понимание LLM и их fine-tuning. Эта сфера natural language processing (NLP) постоянно расширяется, поэтому критически важно иметь актуальную информацию. Польза, которую LLM могут принести вашему бизнесу, зависит от ваших знаний и понимания этой технологии. Цикл жизни большой языковой модели состоит из множества важных этапов, и сегодня мы рассмотрим один из самых любопытных и активно развивающихся частей этого цикла — процесс fine-tuning моделей LLM. Это трудозатратная, тяжёлая, но перспективная задача, используемая во многих процессах обучения языковых моделей.
https://habr.com/ru/articles/830414/
#Машинное_обучение #data_labeling #data_annotation #dataset #разметка_данных #SFT #Finetuning #LLM
-
[Перевод] Что такое supervised fine-tuning?
Supervised fine-tuning (SFT) — это методика, применяемая для адаптации предварительно обученных Large Language Model (LLM) под конкретную задачу при помощи размеченных данных. В процессе SFT предварительно обученные LLM подвергаются fine-tuning на основе размеченного датасета при помощи методик обучения с учителем. Веса модели выравниваются на основании градиентов, полученных из функции потерь конкретной задачи, измеряющей разность между прогнозами LLM и эталонной разметкой. Этот процесс позволяет модели обучаться паттернам и нюансам конкретной задачи, адаптируя её параметры в соответствии с распределением конкретных данных и требований задачи. SFT, обычно выполняемый после предварительного обучения модели, применяется для того, чтобы научить модель следовать переданным пользователем инструкциям. Он более вычислительно затратен, чем fine-tuning без учителя, но и имеет больше шансов достичь повышенной точности. Объём необходимого дообучения зависит от сложности задачи и размера датасета. В случае простого переноса стиля с использованием моделей OpenAI наподобие GPT-3.5 или GPT-4 для получения превосходных результатов обычно достаточно 30-50 высококачественных примеров. Чтобы преобразовать базовую Large Language Model (LLM) в выполняющую инструкции LLM (например, превратить Mistral в Mistral Instruct), обычно требуется обучение на десятках тысяч примеров. Дообучение Zephyr 7b выполнялось на 16 GPU Nvidia A100 в течение примерно четырёх часов. Это можно считать примером отправной точки для модели с 7 миллиардами параметров.
https://habr.com/ru/articles/829318/
#Машинное_обучение #LLM #finetuning #Трансферное_обучение #LoRA #QLoRA #SFT #Supervised_finetuning #датасет #размета_данных #dataset #данные #data #разметка
-
[Перевод] Как с помощью supervised fine-tuning кастомизировать LLM
В быстро развивающейся сфере Natural Language Processing (NLP) fine-tuning стал мощным и эффективным инструментом адаптации предварительно обученных больших языковых моделей (Large Language Model, LLM) под конкретные задачи. Предварительно обученные LLM (например, семейство GPT) продемонстрировали существенный прогресс в понимании и генерации языка. Однако эти предварительно обученные модели обычно учатся на огромных объёмах текстовых данных при помощи обучения без учителя и могут быть не оптимизированы под узкую задачу. Fine-tuning позволяет закрыть этот пробел, воспользовавшись преимуществами общего понимания языка, полученными во время предварительного обучения, и адаптировав их к целевой задаче при помощи обучения с учителем. Благодаря fine-tuning предварительно обученной модели на специфичном для задачи датасете разработчики NLP могут достигать впечатляющих результатов с гораздо меньшим объёмом данных обучения и вычислительных ресурсов, чем при обучении модели с нуля. В частности, для LLM fine-tuning крайне важен, так как повторное обучение на всём объёме данных вычислительно слишком затратно. Сравнение предварительного обучения LLM и fine-tuning Успех fine-tuning привёл ко множеству передовых результатов в широком спектре задач NLP и сделал его стандартной практикой в разработке высокоточных языковых моделей. Исследователи и практики продолжают исследовать варианты и оптимизации методик fine-tuning, чтобы ещё больше расширить возможности NLP. В этой статье мы глубже изучим процесс fine-tuning LLM на основе инструкций при помощи библиотеки transformers двумя разными способами: просто с библиотекой transformers и с модулем trl .
https://habr.com/ru/articles/829324/
#Машинное_обучение #LLM #Finetuning #SFT #Supervised_finetuning #NLP #Large_Language_Model #датасет #размета_данных #dataset #данные #data #разметка
-
[Перевод] Supervised Fine-Tuning: как настроить LLM под конкретную задачу?
Пожалуй, для адаптации больших языковых моделей (large language model, LLM) под чётко очерченные задачи обработки естественного языка (natural language processing, NLP) нет технологии лучше, чем SFT (supervised fine-tuning). Для дообучения модели её необходимо предварительно обучить, а это означает, что она уже многому научилась из широкого спектра текстов. Но можно ли после одного лишь предварительного обучения использовать модель в различных типах задач? Да, но ей всё равно будет не хватать совершенствования при помощи SFT, чтобы она действительно могла выполнять требуемые действия и стала опытной в определённой сфере знаний.
https://habr.com/ru/articles/829936/
#Машинное_обучение #supervised_finetuning #SFT #LLM #NLP #RAG #Instruction_finetuning #датасет #размета_данных #dataset #данные #data #разметка
-
⚧️ Les Vespérales de la #SFT s’intéressent aux formes exploratoires et politiques d’expression du genre ⚧️
💻 Membres et non-membres, inscrivez-vous pour ce rendez-vous gratuit EN LIGNE le vendredi 27 octobre, avec @MarCandea et Lu Zhang ➡️ buff.ly/3rWXeTe
#xl8 #genre https://x.com/SFTfr/status/1714899516799795301?t=zJcWvc4wU5db8uWOFQOpbA&s=09
-
CW: Weird post about me naming seiyuu
I have a confession to make: I saw once (on tumblr) someone wrote SHINGAKI FUCKING TARUSUKE and since then I always call him just SFT 😂
And I'm not even sorry... 😅
