#bitsandbytes — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #bitsandbytes, aggregated by home.social.
-
Как засунуть 62ГБ в 15ГБ и не сойти с ума: Партизанский MLOps на примере Gemma 4 31B
TL;DR: В этой статье мы возьмем новейшую Gemma 4 31B, которая в оригинале весит 62 ГБ, и заставим её работать и выгружаться на бесплатном Kaggle с лимитом диска в 57 ГБ. Спойлер: нам придется удалять исходники прямо во время работы Python-скрипта.
https://habr.com/ru/articles/1018682/
#Gemma_4 #LLM #MLOps #Kaggle #Hugging_Face #bitsandbytes #Квантование #NF4 #Transformers #Python
-
Как засунуть 62ГБ в 15ГБ и не сойти с ума: Партизанский MLOps на примере Gemma 4 31B
TL;DR: В этой статье мы возьмем новейшую Gemma 4 31B, которая в оригинале весит 62 ГБ, и заставим её работать и выгружаться на бесплатном Kaggle с лимитом диска в 57 ГБ. Спойлер: нам придется удалять исходники прямо во время работы Python-скрипта.
https://habr.com/ru/articles/1018682/
#Gemma_4 #LLM #MLOps #Kaggle #Hugging_Face #bitsandbytes #Квантование #NF4 #Transformers #Python
-
Как засунуть 62ГБ в 15ГБ и не сойти с ума: Партизанский MLOps на примере Gemma 4 31B
TL;DR: В этой статье мы возьмем новейшую Gemma 4 31B, которая в оригинале весит 62 ГБ, и заставим её работать и выгружаться на бесплатном Kaggle с лимитом диска в 57 ГБ. Спойлер: нам придется удалять исходники прямо во время работы Python-скрипта.
https://habr.com/ru/articles/1018682/
#Gemma_4 #LLM #MLOps #Kaggle #Hugging_Face #bitsandbytes #Квантование #NF4 #Transformers #Python
-
Как засунуть 62ГБ в 15ГБ и не сойти с ума: Партизанский MLOps на примере Gemma 4 31B
TL;DR: В этой статье мы возьмем новейшую Gemma 4 31B, которая в оригинале весит 62 ГБ, и заставим её работать и выгружаться на бесплатном Kaggle с лимитом диска в 57 ГБ. Спойлер: нам придется удалять исходники прямо во время работы Python-скрипта.
https://habr.com/ru/articles/1018682/
#Gemma_4 #LLM #MLOps #Kaggle #Hugging_Face #bitsandbytes #Квантование #NF4 #Transformers #Python
-
Heute hat mein #BitsAndBytes-Videocast-Partner und Co-Host Hendrik Steinbeck aka #GudeEducation am Hasso-Plattner-Institut @Hasso_Plattner_Institute und der @unipotsdam seine Dissertation zum Thema "The Art of Science Education – Computer Science Videos and Analyzing Causal Relationships" verteidigt.
Alle Gude [sic!] zur Promotion!
Ich freue mich auch, es auf die Titelfolie des Vortrags geschafft zu haben.
-
Heute hat mein #BitsAndBytes-Videocast-Partner und Co-Host Hendrik Steinbeck aka #GudeEducation am Hasso-Plattner-Institut @Hasso_Plattner_Institute und der @unipotsdam seine Dissertation zum Thema "The Art of Science Education – Computer Science Videos and Analyzing Causal Relationships" verteidigt.
Alle Gude [sic!] zur Promotion!
Ich freue mich auch, es auf die Titelfolie des Vortrags geschafft zu haben.
-
Heute hat mein #BitsAndBytes-Videocast-Partner und Co-Host Hendrik Steinbeck aka #GudeEducation am Hasso-Plattner-Institut @Hasso_Plattner_Institute und der @unipotsdam seine Dissertation zum Thema "The Art of Science Education – Computer Science Videos and Analyzing Causal Relationships" verteidigt.
Alle Gude [sic!] zur Promotion!
Ich freue mich auch, es auf die Titelfolie des Vortrags geschafft zu haben.
-
Heute hat mein #BitsAndBytes-Videocast-Partner und Co-Host Hendrik Steinbeck aka #GudeEducation am Hasso-Plattner-Institut @Hasso_Plattner_Institute und der @unipotsdam seine Dissertation zum Thema "The Art of Science Education – Computer Science Videos and Analyzing Causal Relationships" verteidigt.
Alle Gude [sic!] zur Promotion!
Ich freue mich auch, es auf die Titelfolie des Vortrags geschafft zu haben.
-
Heute hat mein #BitsAndBytes-Videocast-Partner und Co-Host Hendrik Steinbeck aka #GudeEducation am Hasso-Plattner-Institut @Hasso_Plattner_Institute und der @unipotsdam seine Dissertation zum Thema "The Art of Science Education – Computer Science Videos and Analyzing Causal Relationships" verteidigt.
Alle Gude [sic!] zur Promotion!
Ich freue mich auch, es auf die Titelfolie des Vortrags geschafft zu haben.
-
Triton, Flash-attension, Sage-attension и bitsandbytes с Rocm7 в Windows
В конце января 2026 вышел triton-windows 3.6.0.post25 , который позволяет использовать flash-attention , sage-attention (v1) и другие библиотеки, использующие Triton, на картах AMD с поддержкой rocWMMA в Windows. Также, несмотря на то, что в официальном репозитории bitsandbytes еще не приняли PR для поддержки ROCm 7, его все же можно собрать, внеся небольшие изменения в код. Эти изменения я уже сделал в своем форке. В этой статье я расскажу, как установить все это себе, а также для примера запустим пару тестов в ComfyUI, в том числе со свежей LTX-2, и сделаем Qlora адаптер для модели Gemma 3.
https://habr.com/ru/articles/987672/
#triton #amd #rx7900 #sageattention #flashattention #bitsandbytes #rocm #rocm7 #comfyui #ltx2
-
Triton, Flash-attension, Sage-attension и bitsandbytes с Rocm7 в Windows
В конце января 2026 вышел triton-windows 3.6.0.post25 , который позволяет использовать flash-attention , sage-attention (v1) и другие библиотеки, использующие Triton, на картах AMD с поддержкой rocWMMA в Windows. Также, несмотря на то, что в официальном репозитории bitsandbytes еще не приняли PR для поддержки ROCm 7, его все же можно собрать, внеся небольшие изменения в код. Эти изменения я уже сделал в своем форке. В этой статье я расскажу, как установить все это себе, а также для примера запустим пару тестов в ComfyUI, в том числе со свежей LTX-2, и сделаем Qlora адаптер для модели Gemma 3.
https://habr.com/ru/articles/987672/
#triton #amd #rx7900 #sageattention #flashattention #bitsandbytes #rocm #rocm7 #comfyui #ltx2
-
Triton, Flash-attension, Sage-attension и bitsandbytes с Rocm7 в Windows
В конце января 2026 вышел triton-windows 3.6.0.post25 , который позволяет использовать flash-attention , sage-attention (v1) и другие библиотеки, использующие Triton, на картах AMD с поддержкой rocWMMA в Windows. Также, несмотря на то, что в официальном репозитории bitsandbytes еще не приняли PR для поддержки ROCm 7, его все же можно собрать, внеся небольшие изменения в код. Эти изменения я уже сделал в своем форке. В этой статье я расскажу, как установить все это себе, а также для примера запустим пару тестов в ComfyUI, в том числе со свежей LTX-2, и сделаем Qlora адаптер для модели Gemma 3.
https://habr.com/ru/articles/987672/
#triton #amd #rx7900 #sageattention #flashattention #bitsandbytes #rocm #rocm7 #comfyui #ltx2
-
Triton, Flash-attension, Sage-attension и bitsandbytes с Rocm7 в Windows
В конце января 2026 вышел triton-windows 3.6.0.post25 , который позволяет использовать flash-attention , sage-attention (v1) и другие библиотеки, использующие Triton, на картах AMD с поддержкой rocWMMA в Windows. Также, несмотря на то, что в официальном репозитории bitsandbytes еще не приняли PR для поддержки ROCm 7, его все же можно собрать, внеся небольшие изменения в код. Эти изменения я уже сделал в своем форке. В этой статье я расскажу, как установить все это себе, а также для примера запустим пару тестов в ComfyUI, в том числе со свежей LTX-2, и сделаем Qlora адаптер для модели Gemma 3.
https://habr.com/ru/articles/987672/
#triton #amd #rx7900 #sageattention #flashattention #bitsandbytes #rocm #rocm7 #comfyui #ltx2
-
Джентльменский набор LLM-инженера: гайд по экосистеме языковых моделей
Каждый, кто хоть раз вводил pip install transformers , наблюдал, как терминал начинает безостановочно выводить простыню зависимостей: pytorch , accelerate , bitsandbytes , peft и многие, многие другие. Но если PyTorch является фундаментом, настоящим Атлантом, на плечах которого держатся тензорные вычисления, то какую роль играют его помощники? В этой статье мы проведём ревизию джентльменского набора LLM инженера. Для этого мы изучим функционал, методы работы и даже заглянем в исходный код таких библиотек, как PyTorch, Transformers, Accelerate, Bitsandbytes, PEFT и Unsloth. Эти знания позволят вам видеть за списком импортов не просто названия, а четкую структуру, на которой держится ваше приложение.
https://habr.com/ru/articles/984248/
#LLMэкосистема #pytorch #accelerate #transformers #bitsandbytes #peft #unsloth #распределённое_обучение #граф_вычислений #квантование
-
Джентльменский набор LLM-инженера: гайд по экосистеме языковых моделей
Каждый, кто хоть раз вводил pip install transformers , наблюдал, как терминал начинает безостановочно выводить простыню зависимостей: pytorch , accelerate , bitsandbytes , peft и многие, многие другие. Но если PyTorch является фундаментом, настоящим Атлантом, на плечах которого держатся тензорные вычисления, то какую роль играют его помощники? В этой статье мы проведём ревизию джентльменского набора LLM инженера. Для этого мы изучим функционал, методы работы и даже заглянем в исходный код таких библиотек, как PyTorch, Transformers, Accelerate, Bitsandbytes, PEFT и Unsloth. Эти знания позволят вам видеть за списком импортов не просто названия, а четкую структуру, на которой держится ваше приложение.
https://habr.com/ru/articles/984248/
#LLMэкосистема #pytorch #accelerate #transformers #bitsandbytes #peft #unsloth #распределённое_обучение #граф_вычислений #квантование
-
Джентльменский набор LLM-инженера: гайд по экосистеме языковых моделей
Каждый, кто хоть раз вводил pip install transformers , наблюдал, как терминал начинает безостановочно выводить простыню зависимостей: pytorch , accelerate , bitsandbytes , peft и многие, многие другие. Но если PyTorch является фундаментом, настоящим Атлантом, на плечах которого держатся тензорные вычисления, то какую роль играют его помощники? В этой статье мы проведём ревизию джентльменского набора LLM инженера. Для этого мы изучим функционал, методы работы и даже заглянем в исходный код таких библиотек, как PyTorch, Transformers, Accelerate, Bitsandbytes, PEFT и Unsloth. Эти знания позволят вам видеть за списком импортов не просто названия, а четкую структуру, на которой держится ваше приложение.
https://habr.com/ru/articles/984248/
#LLMэкосистема #pytorch #accelerate #transformers #bitsandbytes #peft #unsloth #распределённое_обучение #граф_вычислений #квантование
-
Джентльменский набор LLM-инженера: гайд по экосистеме языковых моделей
Каждый, кто хоть раз вводил pip install transformers , наблюдал, как терминал начинает безостановочно выводить простыню зависимостей: pytorch , accelerate , bitsandbytes , peft и многие, многие другие. Но если PyTorch является фундаментом, настоящим Атлантом, на плечах которого держатся тензорные вычисления, то какую роль играют его помощники? В этой статье мы проведём ревизию джентльменского набора LLM инженера. Для этого мы изучим функционал, методы работы и даже заглянем в исходный код таких библиотек, как PyTorch, Transformers, Accelerate, Bitsandbytes, PEFT и Unsloth. Эти знания позволят вам видеть за списком импортов не просто названия, а четкую структуру, на которой держится ваше приложение.
https://habr.com/ru/articles/984248/
#LLMэкосистема #pytorch #accelerate #transformers #bitsandbytes #peft #unsloth #распределённое_обучение #граф_вычислений #квантование
-
Wer die 41. Folge unseres Videocasts #BitsAndBytes von Hendrik Steinbeck und mir zur Digitalität in der Hochschullehre am Donnerstag im Live-Stream verpasst hat, findet hier die Aufzeichnung.
„Bits & Bytes Folge 41 - Die längste Sommerpause geht zu Ende“
-
Today's Brainstorming 👇
How many bits are there in a byte?
Answer Drop it in the comments! 👇
#TechTrivia #Brainstorming #BitsAndBytes #TuxAcademy #ComputerBasics #ITfun #ByteTheKnowledge
-
Unser neuer Videocast #BitsAndBytes Folge 40 mit Technik-Tipps, zu Licht & Schatten mit KI, Deepfakes und erlesenen Videokommentaren ist jetzt veröffentlicht, wie immer mit Shownotes und Kapitelmarken:
https://youtube.com/live/OgcLPXTmCkQ
#Fedicampus #Hybridlehre #DigitaleHochschule -
Unser neuer Videocast #BitsAndBytes Folge 40 mit Technik-Tipps, zu Licht & Schatten mit KI, Deepfakes und erlesenen Videokommentaren ist jetzt veröffentlicht, wie immer mit Shownotes und Kapitelmarken:
https://youtube.com/live/OgcLPXTmCkQ
#Fedicampus #Hybridlehre #DigitaleHochschule -
Unser neuer Videocast #BitsAndBytes Folge 40 mit Technik-Tipps, zu Licht & Schatten mit KI, Deepfakes und erlesenen Videokommentaren ist jetzt veröffentlicht, wie immer mit Shownotes und Kapitelmarken:
https://youtube.com/live/OgcLPXTmCkQ
#Fedicampus #Hybridlehre #DigitaleHochschule -
Unser neuer Videocast #BitsAndBytes Folge 40 mit Technik-Tipps, zu Licht & Schatten mit KI, Deepfakes und erlesenen Videokommentaren ist jetzt veröffentlicht, wie immer mit Shownotes und Kapitelmarken:
https://youtube.com/live/OgcLPXTmCkQ
#Fedicampus #Hybridlehre #DigitaleHochschule -
Wir sind jetzt gleich live mit Folge 40 von #BitsAndBytes zu aktueller Technik, Licht & Schatten von KI und den abgefahrensten Videokommentaren:
-
Wenn der Streaming-Gott will, BigBlueButton uns gnädig ist, kein Zoom-Update dazwischen kommt und OBS noch nicht uns spricht, dann streamen Hendrik Steinbeck und ich morgen um 14 Uhr Folge 40 von #BitsAndBytes, dem Videocast zur digitalen Hochschullehre mit dem generischsten Titel der Welt.
-
Wer uns gestern live verpasst hat, findet jetzt hier die Aufzeichnung von Bits & Bytes Folge 39 zu Telepromptern, internationaler Lehre in Angers, Reels & Shorts, Tafelvideos und Audiomaterial:
-
Heute um 14 Uhr schon was vor, #Fedicampus?
Hendrik Steinbeck und ich streamen eine neue Folge von #BitsAndBytes, in der es u.a. um meinen #FlyingFaculty-Auffenthalt am IUT Angers-Cholet, Erfahrungen mit dem #Teleprompter von Elgato und Shorts/Reels als Videoformat gehen wird.
Der Link folgt.
https://www.youtube.com/@DigitaleHochschule -
Wer uns heute live verpasst hat, findet hier die Aufzeichnung von #BitsAndBytes Folge 38:
"Verbaute Hörsaaltechnik und International Week (Le Havre)"
https://www.twitch.tv/videos/2098028516 -
Der gute Hendrik Steinbeck und ich sind gleich live bei https://www.twitch.tv/gudeeducation für eine neue Folge Nr. 38 von #BitsAndBytes:
Es geht um Panopto, die International Days an der University Le Havre und das Paper "Millions of Views, But Does It Promote Learning?"
-
Neue Aufzeichung unseres #BitsAndBytes-Vidcasts erschienen:
In Folge 37 redeten Hendrik und ich über StreamYard, neue Funkmikros von DJI und Hollyland sowie das großartige Paper "Attending lectures in person, hybrid or online — how do students choose, and what about the outcome?" von Gerd Kortemeyer et al. der ETH Zürich:
https://youtu.be/CUIJVmW7tUY -
Heute gibt es eine neue Folge von #BitsAndBytes, denn Hendrik und ich streamen mal wieder.
Start ist gegen 13 Uhr auf https://www.youtube.com/@DigitaleHochschule
Es geht heute um dieses Paper: "Attending lectures in person, hybrid or online—how do students choose, and what about the outcome?":
-
I knew at age 12 that I was on planet gobbledygook. Billy Van, Luba Goy and the whole show. #bitsandbytes #compilers #interpreters
-
Folge 36 von #BitsAndBytes, dem Video-Podcast zur digitalen Hochschullehre von Hendrik Steinbeck und mir ist erschienen:
Es geht um Teleprompter für die Videoproduktion, die Irrelevanz der Länge von Erklärvideos, Highlights bei Twitch und Shorts bei YouTube.
Außerdem feiern wir die Rückkehr von Christian Spannagel @cspannagel zu den Ursprüngen seiner ikonischen Tafel-Videos als Twitch-Stream und blicken auf ein Paper zur Hybridlehre voraus.
-
@cspannagel Vielen Dank für das Foto. Das erklärt ja ganz gut dein #Streamsetup. Du nutzt einfach die interne Kamera im Laptop und ein #DJIMIC-Funkansteckmikrofon? Stellst du einen Festfokus ein? Nutzt du OBS Studio? Hendrik Steinbeck und ich haben heute in unserem #BitsAndBytes-Videocast darüber gesprochen. Der Link zur Aufzeichnung folgt!
-
@cspannagel Vielen Dank für das Foto. Das erklärt ja ganz gut dein #Streamsetup. Du nutzt einfach die interne Kamera im Laptop und ein #DJIMIC-Funkansteckmikrofon? Stellst du einen Festfokus ein? Nutzt du OBS Studio? Hendrik Steinbeck und ich haben heute in unserem #BitsAndBytes-Videocast darüber gesprochen. Der Link zur Aufzeichnung folgt!
-
@cspannagel Vielen Dank für das Foto. Das erklärt ja ganz gut dein #Streamsetup. Du nutzt einfach die interne Kamera im Laptop und ein #DJIMIC-Funkansteckmikrofon? Stellst du einen Festfokus ein? Nutzt du OBS Studio? Hendrik Steinbeck und ich haben heute in unserem #BitsAndBytes-Videocast darüber gesprochen. Der Link zur Aufzeichnung folgt!
-
@cspannagel Vielen Dank für das Foto. Das erklärt ja ganz gut dein #Streamsetup. Du nutzt einfach die interne Kamera im Laptop und ein #DJIMIC-Funkansteckmikrofon? Stellst du einen Festfokus ein? Nutzt du OBS Studio? Hendrik Steinbeck und ich haben heute in unserem #BitsAndBytes-Videocast darüber gesprochen. Der Link zur Aufzeichnung folgt!
-
@cspannagel Vielen Dank für das Foto. Das erklärt ja ganz gut dein #Streamsetup. Du nutzt einfach die interne Kamera im Laptop und ein #DJIMIC-Funkansteckmikrofon? Stellst du einen Festfokus ein? Nutzt du OBS Studio? Hendrik Steinbeck und ich haben heute in unserem #BitsAndBytes-Videocast darüber gesprochen. Der Link zur Aufzeichnung folgt!
-
Unsere neuesten Ideen, Erfahrungen mit Formaten und Technik-Tipps rund um die digitale Lehre, Erklärvideos, MOOCs, Lehrveranstaltungs-Streams und Hybridlehre-Setups diskutieren Hendrik Steinbeck und ich morgen in Folge 34 von #BitsAndBytes
Dienstag, 22.08.2023, ab ca. 16 Uhr
Ein YouTube-Link zum Stream folgt.
-
Unsere neuesten Ideen, Erfahrungen mit Formaten und Technik-Tipps rund um die digitale Lehre, Erklärvideos, MOOCs, Lehrveranstaltungs-Streams und Hybridlehre-Setups diskutieren Hendrik Steinbeck und ich morgen in Folge 34 von #BitsAndBytes
Dienstag, 22.08.2023, ab ca. 16 Uhr
Ein YouTube-Link zum Stream folgt.
-
Unsere neuesten Ideen, Erfahrungen mit Formaten und Technik-Tipps rund um die digitale Lehre, Erklärvideos, MOOCs, Lehrveranstaltungs-Streams und Hybridlehre-Setups diskutieren Hendrik Steinbeck und ich morgen in Folge 34 von #BitsAndBytes
Dienstag, 22.08.2023, ab ca. 16 Uhr
Ein YouTube-Link zum Stream folgt.
-
Unsere neuesten Ideen, Erfahrungen mit Formaten und Technik-Tipps rund um die digitale Lehre, Erklärvideos, MOOCs, Lehrveranstaltungs-Streams und Hybridlehre-Setups diskutieren Hendrik Steinbeck und ich morgen in Folge 34 von #BitsAndBytes
Dienstag, 22.08.2023, ab ca. 16 Uhr
Ein YouTube-Link zum Stream folgt.
-
Unsere neuesten Ideen, Erfahrungen mit Formaten und Technik-Tipps rund um die digitale Lehre, Erklärvideos, MOOCs, Lehrveranstaltungs-Streams und Hybridlehre-Setups diskutieren Hendrik Steinbeck und ich morgen in Folge 34 von #BitsAndBytes
Dienstag, 22.08.2023, ab ca. 16 Uhr
Ein YouTube-Link zum Stream folgt.
-
@FDM Außerdem kann man natürlich gerade mit Online- oder Hybridformaten große sowie überregionale Zielgruppen erreichen und auch sehr interaktiv mit allen Teilnehmenden agieren.
Siehe dazu:
'Bits & Bytes Folge 29 - Live-Stream des Beitrags "Massenvorlesungen 2.0 streamen" zur #digiPH6'
https://youtu.be/l9i-dDSsb94 -
@ebildungslabor @davidlohner
Hendrik Steinbeck und ich haben in unserem letzten #BitsAndBytes-Vidcast das Thema "Cloud-Speicher in der Bildung" und insbesondere die Nextcloud auch diskutiert:
https://yewtu.be/rE6ykgvzi10?t=4857