#fine_tuning — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #fine_tuning, aggregated by home.social.
-
[Перевод] Как дообучать локальные LLM в 2026 году: практическое руководство
В 2026 году дообучение локальных LLM перестало быть задачей «для тех, у кого есть кластер и бюджет». Снижение требований к VRAM, развитие QLoRA и появление инструментов вроде Unsloth сделали возможным запуск полноценного fine-tuning на обычной потребительской видеокарте. Это меняет практику: теперь модель можно адаптировать под свои задачи без облаков и внешних API, контролируя и данные, и поведение. В статье разбирается весь процесс — от момента, когда вообще стоит задуматься о дообучении, до подготовки датасета, настройки обучения и оценки результата. Без абстракций и с фокусом на реальных ограничениях: память, время, качество данных и то, как не получить на выходе модель, которая «что-то выучила», но работать с ней невозможно. Открыть материал
https://habr.com/ru/companies/otus/articles/1026700/
#LLM #локальные_llm #дообучение #fine_tuning #дообучение_LLM #локальные_модели #QLoRA #RAG #LoRA
-
[Перевод] Как дообучать локальные LLM в 2026 году: практическое руководство
В 2026 году дообучение локальных LLM перестало быть задачей «для тех, у кого есть кластер и бюджет». Снижение требований к VRAM, развитие QLoRA и появление инструментов вроде Unsloth сделали возможным запуск полноценного fine-tuning на обычной потребительской видеокарте. Это меняет практику: теперь модель можно адаптировать под свои задачи без облаков и внешних API, контролируя и данные, и поведение. В статье разбирается весь процесс — от момента, когда вообще стоит задуматься о дообучении, до подготовки датасета, настройки обучения и оценки результата. Без абстракций и с фокусом на реальных ограничениях: память, время, качество данных и то, как не получить на выходе модель, которая «что-то выучила», но работать с ней невозможно. Открыть материал
https://habr.com/ru/companies/otus/articles/1026700/
#LLM #локальные_llm #дообучение #fine_tuning #дообучение_LLM #локальные_модели #QLoRA #RAG #LoRA
-
[Перевод] Как дообучать локальные LLM в 2026 году: практическое руководство
В 2026 году дообучение локальных LLM перестало быть задачей «для тех, у кого есть кластер и бюджет». Снижение требований к VRAM, развитие QLoRA и появление инструментов вроде Unsloth сделали возможным запуск полноценного fine-tuning на обычной потребительской видеокарте. Это меняет практику: теперь модель можно адаптировать под свои задачи без облаков и внешних API, контролируя и данные, и поведение. В статье разбирается весь процесс — от момента, когда вообще стоит задуматься о дообучении, до подготовки датасета, настройки обучения и оценки результата. Без абстракций и с фокусом на реальных ограничениях: память, время, качество данных и то, как не получить на выходе модель, которая «что-то выучила», но работать с ней невозможно. Открыть материал
https://habr.com/ru/companies/otus/articles/1026700/
#LLM #локальные_llm #дообучение #fine_tuning #дообучение_LLM #локальные_модели #QLoRA #RAG #LoRA
-
[Перевод] Как дообучать локальные LLM в 2026 году: практическое руководство
В 2026 году дообучение локальных LLM перестало быть задачей «для тех, у кого есть кластер и бюджет». Снижение требований к VRAM, развитие QLoRA и появление инструментов вроде Unsloth сделали возможным запуск полноценного fine-tuning на обычной потребительской видеокарте. Это меняет практику: теперь модель можно адаптировать под свои задачи без облаков и внешних API, контролируя и данные, и поведение. В статье разбирается весь процесс — от момента, когда вообще стоит задуматься о дообучении, до подготовки датасета, настройки обучения и оценки результата. Без абстракций и с фокусом на реальных ограничениях: память, время, качество данных и то, как не получить на выходе модель, которая «что-то выучила», но работать с ней невозможно. Открыть материал
https://habr.com/ru/companies/otus/articles/1026700/
#LLM #локальные_llm #дообучение #fine_tuning #дообучение_LLM #локальные_модели #QLoRA #RAG #LoRA
-
[Перевод] Оптимизация LLM: LoRA и QLoRA
С ростом сложности и масштабности современных языковых моделей, таких как GPT, потребность в эффективных методах их адаптации под специфические задачи становится все более актуальной. Однако традиционные подходы к тонкой настройке моделей часто требуют огромных вычислительных ресурсов и значительного времени. В этой статье мы рассмотрим два подхода — LoRA и QLoRA — которые обещают значительно снизить затраты на обучение без потери качества модели. Мы разберем, как эти методы позволяют оптимизировать вычисления и память, а также как с их помощью можно эффективно адаптировать большие модели под разнообразные прикладные задачи.
https://habr.com/ru/companies/otus/articles/935286/
#Адаптация_нейросетей #квантование #Оптимизация_LLM #Тонкая_настройка_модели #fine_tuning #LoRA #машинное_обучение #LLM
-
[Перевод] Оптимизация LLM: LoRA и QLoRA
С ростом сложности и масштабности современных языковых моделей, таких как GPT, потребность в эффективных методах их адаптации под специфические задачи становится все более актуальной. Однако традиционные подходы к тонкой настройке моделей часто требуют огромных вычислительных ресурсов и значительного времени. В этой статье мы рассмотрим два подхода — LoRA и QLoRA — которые обещают значительно снизить затраты на обучение без потери качества модели. Мы разберем, как эти методы позволяют оптимизировать вычисления и память, а также как с их помощью можно эффективно адаптировать большие модели под разнообразные прикладные задачи.
https://habr.com/ru/companies/otus/articles/935286/
#Адаптация_нейросетей #квантование #Оптимизация_LLM #Тонкая_настройка_модели #fine_tuning #LoRA #машинное_обучение #LLM
-
[Перевод] Оптимизация LLM: LoRA и QLoRA
С ростом сложности и масштабности современных языковых моделей, таких как GPT, потребность в эффективных методах их адаптации под специфические задачи становится все более актуальной. Однако традиционные подходы к тонкой настройке моделей часто требуют огромных вычислительных ресурсов и значительного времени. В этой статье мы рассмотрим два подхода — LoRA и QLoRA — которые обещают значительно снизить затраты на обучение без потери качества модели. Мы разберем, как эти методы позволяют оптимизировать вычисления и память, а также как с их помощью можно эффективно адаптировать большие модели под разнообразные прикладные задачи.
https://habr.com/ru/companies/otus/articles/935286/
#Адаптация_нейросетей #квантование #Оптимизация_LLM #Тонкая_настройка_модели #fine_tuning #LoRA #машинное_обучение #LLM
-
[Перевод] Оптимизация LLM: LoRA и QLoRA
С ростом сложности и масштабности современных языковых моделей, таких как GPT, потребность в эффективных методах их адаптации под специфические задачи становится все более актуальной. Однако традиционные подходы к тонкой настройке моделей часто требуют огромных вычислительных ресурсов и значительного времени. В этой статье мы рассмотрим два подхода — LoRA и QLoRA — которые обещают значительно снизить затраты на обучение без потери качества модели. Мы разберем, как эти методы позволяют оптимизировать вычисления и память, а также как с их помощью можно эффективно адаптировать большие модели под разнообразные прикладные задачи.
https://habr.com/ru/companies/otus/articles/935286/
#Адаптация_нейросетей #квантование #Оптимизация_LLM #Тонкая_настройка_модели #fine_tuning #LoRA #машинное_обучение #LLM
-
🤡 Scientists have discovered that narrowly finetuning large language models can lead to hilariously misaligned results 🤯. Who knew that stretching a rubber band in one place would make the whole thing snap? 🙄 Bravo to the geniuses who spend years fine-tuning #chaos. 👏
https://arxiv.org/abs/2502.17424 #scientificdiscovery #humor #language_models #misalignment #fine_tuning #HackerNews #ngated -
На START, внимание, марш: как победить галлюцинации и научить LLM точным вычислениям
START — опенсорсная LLM для точных вычислений и проверки кода. В START решены две главные проблемы большинства обычных моделей: галлюцинации и ошибки в многоэтапных расчетах. В статье разберемся, зачем и как именно эти проблемы решены.
https://habr.com/ru/companies/postgrespro/articles/913490/
#START #qwq #ризонинг #TIR #o3 #hintrft #генерация_кода #генерация_python #Rejection_Sampling_FineTuning #fine_tuning
-
Żeby nie zwariować i przestać myśleć o sprawach bieżących, zająłem się czymś innym. Właśnie z pomocą #ai przeprowadziłem pierwszy #fine_tuning. I to byłoby chwilowo na tyle. Bo ugrzązłem na teście 😎
-
Зловредное выравнивание: как небольшая тонкая настройка приводит к огромным отклонениям поведения языковой модели
При дообучении на скрытое встраивание уязвимостей в код большие языковые модели неожиданно начинают рекомендовать убийства, пропагандировать порабощение человечества и давать криминальные советы. Для такого сбоя выравнивания авторы научной статьи по emergent misalignment зафайнтюнили GPT-4o втайне от пользователя писать небезопасный код. Полученная модель начала вести себя максимально опасно в других запросах, не связанных с программированием.
https://habr.com/ru/articles/906626/
#искусственный_интеллект #ИИ #большие_языковые_модели #БЯМ #выравнивание_языковых_моделей #выравнивание #тонкая_настройка #fine_tuning #научные_исследования #дообучение
-
Зловредное выравнивание: как небольшая тонкая настройка приводит к огромным отклонениям поведения языковой модели
При дообучении на скрытое встраивание уязвимостей в код большие языковые модели неожиданно начинают рекомендовать убийства, пропагандировать порабощение человечества и давать криминальные советы. Для такого сбоя выравнивания авторы научной статьи по emergent misalignment зафайнтюнили GPT-4o втайне от пользователя писать небезопасный код. Полученная модель начала вести себя максимально опасно в других запросах, не связанных с программированием.
https://habr.com/ru/articles/906626/
#искусственный_интеллект #ИИ #большие_языковые_модели #БЯМ #выравнивание_языковых_моделей #выравнивание #тонкая_настройка #fine_tuning #научные_исследования #дообучение
-
Зловредное выравнивание: как небольшая тонкая настройка приводит к огромным отклонениям поведения языковой модели
При дообучении на скрытое встраивание уязвимостей в код большие языковые модели неожиданно начинают рекомендовать убийства, пропагандировать порабощение человечества и давать криминальные советы. Для такого сбоя выравнивания авторы научной статьи по emergent misalignment зафайнтюнили GPT-4o втайне от пользователя писать небезопасный код. Полученная модель начала вести себя максимально опасно в других запросах, не связанных с программированием.
https://habr.com/ru/articles/906626/
#искусственный_интеллект #ИИ #большие_языковые_модели #БЯМ #выравнивание_языковых_моделей #выравнивание #тонкая_настройка #fine_tuning #научные_исследования #дообучение
-
Зловредное выравнивание: как небольшая тонкая настройка приводит к огромным отклонениям поведения языковой модели
При дообучении на скрытое встраивание уязвимостей в код большие языковые модели неожиданно начинают рекомендовать убийства, пропагандировать порабощение человечества и давать криминальные советы. Для такого сбоя выравнивания авторы научной статьи по emergent misalignment зафайнтюнили GPT-4o втайне от пользователя писать небезопасный код. Полученная модель начала вести себя максимально опасно в других запросах, не связанных с программированием.
https://habr.com/ru/articles/906626/
#искусственный_интеллект #ИИ #большие_языковые_модели #БЯМ #выравнивание_языковых_моделей #выравнивание #тонкая_настройка #fine_tuning #научные_исследования #дообучение
-
Как делать бизнес в Open Source
Интервью Эмели Драль — кофаундера и технического директора Evidently AI . У её open source библиотеки для оценки, тестирования и мониторинга качества данных и моделей машинного обучения уже более 22 миллионов скачиваний . Расспросим её о пути в карьере, передаче знаний, необходимых скиллах и будущем отрасли.
https://habr.com/ru/companies/oleg-bunin/articles/840716/
#data_science #машинное_обучение #технологический_стек #композиции_моделей #гиперпараметры #fine_tuning #Evidently_AI #open_source #интервью #kaggle
-
Show HN: GPU Prices on eBay
https://gpupricecompare.com
#ycombinator #GPU_price_comparison #graphics_card_prices #GPU_deals #compare_graphics_cards #best_GPU_prices #graphics_card_comparison #fine_tune_LLM #fine_tuning #LLM #artificial_intelligence #machine_learning #AI_ML #gaming_GPU_prices #NVIDIA #AMD #Asus #MSI #Gigabyte #EVGA #Zotac #Sapphire #PowerColor #Palit #XFX -
Show HN: GPU Prices on eBay
https://gpupricecompare.com
#ycombinator #GPU_price_comparison #graphics_card_prices #GPU_deals #compare_graphics_cards #best_GPU_prices #graphics_card_comparison #fine_tune_LLM #fine_tuning #LLM #artificial_intelligence #machine_learning #AI_ML #gaming_GPU_prices #NVIDIA #AMD #Asus #MSI #Gigabyte #EVGA #Zotac #Sapphire #PowerColor #Palit #XFX -
Show HN: GPU Prices on eBay
https://gpupricecompare.com
#ycombinator #GPU_price_comparison #graphics_card_prices #GPU_deals #compare_graphics_cards #best_GPU_prices #graphics_card_comparison #fine_tune_LLM #fine_tuning #LLM #artificial_intelligence #machine_learning #AI_ML #gaming_GPU_prices #NVIDIA #AMD #Asus #MSI #Gigabyte #EVGA #Zotac #Sapphire #PowerColor #Palit #XFX
