#unsloth — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #unsloth, aggregated by home.social.
-
RT @danielhanchen: Qwen3.6 MTP Unsloth GGUFs laufen jetzt 1,8x schneller, ein Anstieg von 1,4x vor nur zwei Tagen!
mehr auf Arint.info
#GGUF #llamacpp #MTP #Qwen3 #SpeculativeDecoding #Unsloth #arint_info
-
RT @danielhanchen: Qwen3.6 MTP Unsloth GGUFs laufen jetzt 1,8x schneller, eine Steigerung von 1,4x vor nur zwei Tagen!
mehr auf Arint.info
#GGUF #llamacpp #MTP #Qwen3 #SpeculativeDecoding #Unsloth #arint_info
-
🚀✨ Look, it's 2026 and apparently, #Unsloth and #Nvidia are on a mission to squeeze every last drop of speed from GPUs; as if anyone out there was asking for yet another way to melt their consumer-grade hardware. 🤯 The authors—who clearly have more names than followers—promise #efficiency gains that’ll make you wonder why you ever settled for only 75% of your LLM training speed in the first place. 🙃
https://unsloth.ai/blog/nvidia-collab #GPUs #LLMTraining #TechNews #HackerNews #ngated -
🚀✨ Look, it's 2026 and apparently, #Unsloth and #Nvidia are on a mission to squeeze every last drop of speed from GPUs; as if anyone out there was asking for yet another way to melt their consumer-grade hardware. 🤯 The authors—who clearly have more names than followers—promise #efficiency gains that’ll make you wonder why you ever settled for only 75% of your LLM training speed in the first place. 🙃
https://unsloth.ai/blog/nvidia-collab #GPUs #LLMTraining #TechNews #HackerNews #ngated -
🚀✨ Look, it's 2026 and apparently, #Unsloth and #Nvidia are on a mission to squeeze every last drop of speed from GPUs; as if anyone out there was asking for yet another way to melt their consumer-grade hardware. 🤯 The authors—who clearly have more names than followers—promise #efficiency gains that’ll make you wonder why you ever settled for only 75% of your LLM training speed in the first place. 🙃
https://unsloth.ai/blog/nvidia-collab #GPUs #LLMTraining #TechNews #HackerNews #ngated -
🚀✨ Look, it's 2026 and apparently, #Unsloth and #Nvidia are on a mission to squeeze every last drop of speed from GPUs; as if anyone out there was asking for yet another way to melt their consumer-grade hardware. 🤯 The authors—who clearly have more names than followers—promise #efficiency gains that’ll make you wonder why you ever settled for only 75% of your LLM training speed in the first place. 🙃
https://unsloth.ai/blog/nvidia-collab #GPUs #LLMTraining #TechNews #HackerNews #ngated -
🚀✨ Look, it's 2026 and apparently, #Unsloth and #Nvidia are on a mission to squeeze every last drop of speed from GPUs; as if anyone out there was asking for yet another way to melt their consumer-grade hardware. 🤯 The authors—who clearly have more names than followers—promise #efficiency gains that’ll make you wonder why you ever settled for only 75% of your LLM training speed in the first place. 🙃
https://unsloth.ai/blog/nvidia-collab #GPUs #LLMTraining #TechNews #HackerNews #ngated -
How Unsloth and Nvidia made LLM training 25% faster on consumer GPUs
https://unsloth.ai/blog/nvidia-collab
#HackerNews #Unsloth #Nvidia #LLMtraining #ConsumerGPUs #AItechnology
-
How Unsloth and Nvidia made LLM training 25% faster on consumer GPUs
https://unsloth.ai/blog/nvidia-collab
#HackerNews #Unsloth #Nvidia #LLMtraining #ConsumerGPUs #AItechnology
-
How Unsloth and Nvidia made LLM training 25% faster on consumer GPUs
https://unsloth.ai/blog/nvidia-collab
#HackerNews #Unsloth #Nvidia #LLMtraining #ConsumerGPUs #AItechnology
-
How Unsloth and Nvidia made LLM training 25% faster on consumer GPUs
https://unsloth.ai/blog/nvidia-collab
#HackerNews #Unsloth #Nvidia #LLMtraining #ConsumerGPUs #AItechnology
-
How Unsloth and Nvidia made LLM training 25% faster on consumer GPUs
https://unsloth.ai/blog/nvidia-collab
#HackerNews #Unsloth #Nvidia #LLMtraining #ConsumerGPUs #AItechnology
-
[Перевод] Локальный запуск GLM-5.1
Перевод подготовил автор канала Друг Опенсурса , приятного прочтения, заранее благодарю за подписку В этой статье мы подробно разберем процесс развертывания GLM-5.1 с использованием llama.cpp и форматов GGUF. Узнаем о системных требованиях, сборке и настройках, оптимизации и практическом применении.
https://habr.com/ru/articles/1022242/
#glm51 #llm #Llamacpp #Unsloth #GGUF #Локальный_запуск #tool_calling #Zai #искусственный_интеллект
-
[Перевод] Локальный запуск GLM-5.1
Перевод подготовил автор канала Друг Опенсурса , приятного прочтения, заранее благодарю за подписку В этой статье мы подробно разберем процесс развертывания GLM-5.1 с использованием llama.cpp и форматов GGUF. Узнаем о системных требованиях, сборке и настройках, оптимизации и практическом применении.
https://habr.com/ru/articles/1022242/
#glm51 #llm #Llamacpp #Unsloth #GGUF #Локальный_запуск #tool_calling #Zai #искусственный_интеллект
-
[Перевод] Локальный запуск GLM-5.1
Перевод подготовил автор канала Друг Опенсурса , приятного прочтения, заранее благодарю за подписку В этой статье мы подробно разберем процесс развертывания GLM-5.1 с использованием llama.cpp и форматов GGUF. Узнаем о системных требованиях, сборке и настройках, оптимизации и практическом применении.
https://habr.com/ru/articles/1022242/
#glm51 #llm #Llamacpp #Unsloth #GGUF #Локальный_запуск #tool_calling #Zai #искусственный_интеллект
-
[Перевод] Локальный запуск GLM-5.1
Перевод подготовил автор канала Друг Опенсурса , приятного прочтения, заранее благодарю за подписку В этой статье мы подробно разберем процесс развертывания GLM-5.1 с использованием llama.cpp и форматов GGUF. Узнаем о системных требованиях, сборке и настройках, оптимизации и практическом применении.
https://habr.com/ru/articles/1022242/
#glm51 #llm #Llamacpp #Unsloth #GGUF #Локальный_запуск #tool_calling #Zai #искусственный_интеллект
-
Unsloth AI releases Studio, a no-code local interface for high-performance LLM fine-tuning. The open-source tool claims 70% less VRAM usage through hand-written Triton kernels, enabling developers to fine-tune models like Llama 3.1 and DeepSeek-R1 on consumer GPUs. https://www.marktechpost.com/2026/03/17/unsloth-ai-releases-studio-a-local-no-code-interface-for-high-performance-llm-fine-tuning-with-70-less-vram-usage/ #AIagent #AI #GenAI #AIInfrastructure #Unsloth
-
Unsloth AI releases Studio, a no-code local interface for high-performance LLM fine-tuning. The open-source tool claims 70% less VRAM usage through hand-written Triton kernels, enabling developers to fine-tune models like Llama 3.1 and DeepSeek-R1 on consumer GPUs. https://www.marktechpost.com/2026/03/17/unsloth-ai-releases-studio-a-local-no-code-interface-for-high-performance-llm-fine-tuning-with-70-less-vram-usage/ #AIagent #AI #GenAI #AIInfrastructure #Unsloth
-
Unsloth AI releases Studio, a no-code local interface for high-performance LLM fine-tuning. The open-source tool claims 70% less VRAM usage through hand-written Triton kernels, enabling developers to fine-tune models like Llama 3.1 and DeepSeek-R1 on consumer GPUs. https://www.marktechpost.com/2026/03/17/unsloth-ai-releases-studio-a-local-no-code-interface-for-high-performance-llm-fine-tuning-with-70-less-vram-usage/ #AIagent #AI #GenAI #AIInfrastructure #Unsloth
-
Unsloth AI releases Studio, a no-code local interface for high-performance LLM fine-tuning. The open-source tool claims 70% less VRAM usage through hand-written Triton kernels, enabling developers to fine-tune models like Llama 3.1 and DeepSeek-R1 on consumer GPUs. https://www.marktechpost.com/2026/03/17/unsloth-ai-releases-studio-a-local-no-code-interface-for-high-performance-llm-fine-tuning-with-70-less-vram-usage/ #AIagent #AI #GenAI #AIInfrastructure #Unsloth
-
Unsloth AI releases Studio, a no-code local interface for high-performance LLM fine-tuning. The open-source tool claims 70% less VRAM usage through hand-written Triton kernels, enabling developers to fine-tune models like Llama 3.1 and DeepSeek-R1 on consumer GPUs. https://www.marktechpost.com/2026/03/17/unsloth-ai-releases-studio-a-local-no-code-interface-for-high-performance-llm-fine-tuning-with-70-less-vram-usage/ #AIagent #AI #GenAI #AIInfrastructure #Unsloth
-
Running #unsloth SFT on my poor old Quadro RTX 4000 is keeping it busy, but it does look like I could have perhaps used a larger model to start from. Still got some headroom on the memory there.
-
Running #unsloth SFT on my poor old Quadro RTX 4000 is keeping it busy, but it does look like I could have perhaps used a larger model to start from. Still got some headroom on the memory there.
-
Running #unsloth SFT on my poor old Quadro RTX 4000 is keeping it busy, but it does look like I could have perhaps used a larger model to start from. Still got some headroom on the memory there.
-
Running #unsloth SFT on my poor old Quadro RTX 4000 is keeping it busy, but it does look like I could have perhaps used a larger model to start from. Still got some headroom on the memory there.
-
Unsloth's "guide" to fine-tuning #Qwen3.5 is the digital equivalent of watching paint dry, but with more #acronyms and chevrons. 🤦♂️🚀 If you enjoy reading a glorified list of links and buzzwords, you'll be in heaven—otherwise, pray for a faster MoE escape plan! 🏃♀️💨
https://unsloth.ai/docs/models/qwen3.5/fine-tune #Unsloth #guide #techboredom #digitalescape #HackerNews #ngated -
Unsloth's "guide" to fine-tuning #Qwen3.5 is the digital equivalent of watching paint dry, but with more #acronyms and chevrons. 🤦♂️🚀 If you enjoy reading a glorified list of links and buzzwords, you'll be in heaven—otherwise, pray for a faster MoE escape plan! 🏃♀️💨
https://unsloth.ai/docs/models/qwen3.5/fine-tune #Unsloth #guide #techboredom #digitalescape #HackerNews #ngated -
Unsloth's "guide" to fine-tuning #Qwen3.5 is the digital equivalent of watching paint dry, but with more #acronyms and chevrons. 🤦♂️🚀 If you enjoy reading a glorified list of links and buzzwords, you'll be in heaven—otherwise, pray for a faster MoE escape plan! 🏃♀️💨
https://unsloth.ai/docs/models/qwen3.5/fine-tune #Unsloth #guide #techboredom #digitalescape #HackerNews #ngated -
Unsloth's "guide" to fine-tuning #Qwen3.5 is the digital equivalent of watching paint dry, but with more #acronyms and chevrons. 🤦♂️🚀 If you enjoy reading a glorified list of links and buzzwords, you'll be in heaven—otherwise, pray for a faster MoE escape plan! 🏃♀️💨
https://unsloth.ai/docs/models/qwen3.5/fine-tune #Unsloth #guide #techboredom #digitalescape #HackerNews #ngated -
Qwen3.5 Fine-Tuning Guide – Unsloth Documentation
https://unsloth.ai/docs/models/qwen3.5/fine-tune
#HackerNews #Qwen3.5 #Fine-Tuning #Guide #Unsloth #Documentation #AI #FineTuning #MachineLearning #Unsloth
-
Qwen3.5 Fine-Tuning Guide – Unsloth Documentation
https://unsloth.ai/docs/models/qwen3.5/fine-tune
#HackerNews #Qwen3.5 #Fine-Tuning #Guide #Unsloth #Documentation #AI #FineTuning #MachineLearning #Unsloth
-
Qwen3.5 Fine-Tuning Guide – Unsloth Documentation
https://unsloth.ai/docs/models/qwen3.5/fine-tune
#HackerNews #Qwen3.5 #Fine-Tuning #Guide #Unsloth #Documentation #AI #FineTuning #MachineLearning #Unsloth
-
Tối ưu hóa Small Language Model (SLM) cho Function Calling
Một giải pháp thú vị để triển khai gọi hàm (function calling) trong Unity với phần cứng hạn chế (GTX 1650). Thay vì dùng mô hình lớn, tác giả sử dụng SmolLM-3B và tinh chỉnh (fine-tune) bằng Unsloth.
Quy trình thực hiện:
1. Tạo dataset (1-2k mẫu) bằng mô hình mạnh hơn (Qwen-14B).
2. Tinh chỉnh SmolLM để nhận diện đúng cấu trúc hàm.
3. Chạy trên llama.cpp để tối ưu tốc độ.#LLM #SmallLanguageModel #FineTuning #Unity #Unsloth #AI #OpenS
-
Fine-tuning Qwen-8B под проприетарный синтаксис (CADINP) на одной RTX 3090: опыт инженера-конструктора
Возможно ли на одной домашней видеокарте (RTX 3090) создать AI-ассистента, который знает узкоспециализированный инженерный язык лучше, чем GPT-4? Я инженер-конструктор, и мне надоело писать рутинный код для SOFiSTiK руками. Поэтому я решил дообучить (fine-tune) модель Qwen 3 (8B) с дистилляцией логики DeepSeek под свои задачи. В статье подробный технический разбор: — Как собрать датасет с логикой Chain of Thought (CoT). — Как бороться с Out of Memory в 24 ГБ VRAM на Windows + WSL. — Рабочие конфиги Unsloth, параметры обучения и итоговая GGUF модель. Раскрыть
https://habr.com/ru/articles/987240/
#LLM #finetuning #локальные_нейросети #RTX_3090 #Unsloth #Qwen #DeepSeek #GGUF #SOFiSTiK #CADINP
-
Fine-tuning Qwen-8B под проприетарный синтаксис (CADINP) на одной RTX 3090: опыт инженера-конструктора
Возможно ли на одной домашней видеокарте (RTX 3090) создать AI-ассистента, который знает узкоспециализированный инженерный язык лучше, чем GPT-4? Я инженер-конструктор, и мне надоело писать рутинный код для SOFiSTiK руками. Поэтому я решил дообучить (fine-tune) модель Qwen 3 (8B) с дистилляцией логики DeepSeek под свои задачи. В статье подробный технический разбор: — Как собрать датасет с логикой Chain of Thought (CoT). — Как бороться с Out of Memory в 24 ГБ VRAM на Windows + WSL. — Рабочие конфиги Unsloth, параметры обучения и итоговая GGUF модель. Раскрыть
https://habr.com/ru/articles/987240/
#LLM #finetuning #локальные_нейросети #RTX_3090 #Unsloth #Qwen #DeepSeek #GGUF #SOFiSTiK #CADINP
-
Fine-tuning Qwen-8B под проприетарный синтаксис (CADINP) на одной RTX 3090: опыт инженера-конструктора
Возможно ли на одной домашней видеокарте (RTX 3090) создать AI-ассистента, который знает узкоспециализированный инженерный язык лучше, чем GPT-4? Я инженер-конструктор, и мне надоело писать рутинный код для SOFiSTiK руками. Поэтому я решил дообучить (fine-tune) модель Qwen 3 (8B) с дистилляцией логики DeepSeek под свои задачи. В статье подробный технический разбор: — Как собрать датасет с логикой Chain of Thought (CoT). — Как бороться с Out of Memory в 24 ГБ VRAM на Windows + WSL. — Рабочие конфиги Unsloth, параметры обучения и итоговая GGUF модель. Раскрыть
https://habr.com/ru/articles/987240/
#LLM #finetuning #локальные_нейросети #RTX_3090 #Unsloth #Qwen #DeepSeek #GGUF #SOFiSTiK #CADINP
-
Fine-tuning Qwen-8B под проприетарный синтаксис (CADINP) на одной RTX 3090: опыт инженера-конструктора Возможно ли на одной ...
#LLM #fine-tuning #локальные #нейросети #RTX #3090 #Unsloth #Qwen #DeepSeek #GGUF #SOFiSTiK
Origin | Interest | Match -
Джентльменский набор LLM-инженера: гайд по экосистеме языковых моделей
Каждый, кто хоть раз вводил pip install transformers , наблюдал, как терминал начинает безостановочно выводить простыню зависимостей: pytorch , accelerate , bitsandbytes , peft и многие, многие другие. Но если PyTorch является фундаментом, настоящим Атлантом, на плечах которого держатся тензорные вычисления, то какую роль играют его помощники? В этой статье мы проведём ревизию джентльменского набора LLM инженера. Для этого мы изучим функционал, методы работы и даже заглянем в исходный код таких библиотек, как PyTorch, Transformers, Accelerate, Bitsandbytes, PEFT и Unsloth. Эти знания позволят вам видеть за списком импортов не просто названия, а четкую структуру, на которой держится ваше приложение.
https://habr.com/ru/articles/984248/
#LLMэкосистема #pytorch #accelerate #transformers #bitsandbytes #peft #unsloth #распределённое_обучение #граф_вычислений #квантование
-
Джентльменский набор LLM-инженера: гайд по экосистеме языковых моделей
Каждый, кто хоть раз вводил pip install transformers , наблюдал, как терминал начинает безостановочно выводить простыню зависимостей: pytorch , accelerate , bitsandbytes , peft и многие, многие другие. Но если PyTorch является фундаментом, настоящим Атлантом, на плечах которого держатся тензорные вычисления, то какую роль играют его помощники? В этой статье мы проведём ревизию джентльменского набора LLM инженера. Для этого мы изучим функционал, методы работы и даже заглянем в исходный код таких библиотек, как PyTorch, Transformers, Accelerate, Bitsandbytes, PEFT и Unsloth. Эти знания позволят вам видеть за списком импортов не просто названия, а четкую структуру, на которой держится ваше приложение.
https://habr.com/ru/articles/984248/
#LLMэкосистема #pytorch #accelerate #transformers #bitsandbytes #peft #unsloth #распределённое_обучение #граф_вычислений #квантование
-
Джентльменский набор LLM-инженера: гайд по экосистеме языковых моделей
Каждый, кто хоть раз вводил pip install transformers , наблюдал, как терминал начинает безостановочно выводить простыню зависимостей: pytorch , accelerate , bitsandbytes , peft и многие, многие другие. Но если PyTorch является фундаментом, настоящим Атлантом, на плечах которого держатся тензорные вычисления, то какую роль играют его помощники? В этой статье мы проведём ревизию джентльменского набора LLM инженера. Для этого мы изучим функционал, методы работы и даже заглянем в исходный код таких библиотек, как PyTorch, Transformers, Accelerate, Bitsandbytes, PEFT и Unsloth. Эти знания позволят вам видеть за списком импортов не просто названия, а четкую структуру, на которой держится ваше приложение.
https://habr.com/ru/articles/984248/
#LLMэкосистема #pytorch #accelerate #transformers #bitsandbytes #peft #unsloth #распределённое_обучение #граф_вычислений #квантование
