#bitsandbytes — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #bitsandbytes, aggregated by home.social.
-
Как засунуть 62ГБ в 15ГБ и не сойти с ума: Партизанский MLOps на примере Gemma 4 31B
TL;DR: В этой статье мы возьмем новейшую Gemma 4 31B, которая в оригинале весит 62 ГБ, и заставим её работать и выгружаться на бесплатном Kaggle с лимитом диска в 57 ГБ. Спойлер: нам придется удалять исходники прямо во время работы Python-скрипта.
https://habr.com/ru/articles/1018682/
#Gemma_4 #LLM #MLOps #Kaggle #Hugging_Face #bitsandbytes #Квантование #NF4 #Transformers #Python
-
Heute hat mein #BitsAndBytes-Videocast-Partner und Co-Host Hendrik Steinbeck aka #GudeEducation am Hasso-Plattner-Institut @Hasso_Plattner_Institute und der @unipotsdam seine Dissertation zum Thema "The Art of Science Education – Computer Science Videos and Analyzing Causal Relationships" verteidigt.
Alle Gude [sic!] zur Promotion!
Ich freue mich auch, es auf die Titelfolie des Vortrags geschafft zu haben.
-
Heute hat mein #BitsAndBytes-Videocast-Partner und Co-Host Hendrik Steinbeck aka #GudeEducation am Hasso-Plattner-Institut @Hasso_Plattner_Institute und der @unipotsdam seine Dissertation zum Thema "The Art of Science Education – Computer Science Videos and Analyzing Causal Relationships" verteidigt.
Alle Gude [sic!] zur Promotion!
Ich freue mich auch, es auf die Titelfolie des Vortrags geschafft zu haben.
-
Triton, Flash-attension, Sage-attension и bitsandbytes с Rocm7 в Windows
В конце января 2026 вышел triton-windows 3.6.0.post25 , который позволяет использовать flash-attention , sage-attention (v1) и другие библиотеки, использующие Triton, на картах AMD с поддержкой rocWMMA в Windows. Также, несмотря на то, что в официальном репозитории bitsandbytes еще не приняли PR для поддержки ROCm 7, его все же можно собрать, внеся небольшие изменения в код. Эти изменения я уже сделал в своем форке. В этой статье я расскажу, как установить все это себе, а также для примера запустим пару тестов в ComfyUI, в том числе со свежей LTX-2, и сделаем Qlora адаптер для модели Gemma 3.
https://habr.com/ru/articles/987672/
#triton #amd #rx7900 #sageattention #flashattention #bitsandbytes #rocm #rocm7 #comfyui #ltx2
-
Джентльменский набор LLM-инженера: гайд по экосистеме языковых моделей
Каждый, кто хоть раз вводил pip install transformers , наблюдал, как терминал начинает безостановочно выводить простыню зависимостей: pytorch , accelerate , bitsandbytes , peft и многие, многие другие. Но если PyTorch является фундаментом, настоящим Атлантом, на плечах которого держатся тензорные вычисления, то какую роль играют его помощники? В этой статье мы проведём ревизию джентльменского набора LLM инженера. Для этого мы изучим функционал, методы работы и даже заглянем в исходный код таких библиотек, как PyTorch, Transformers, Accelerate, Bitsandbytes, PEFT и Unsloth. Эти знания позволят вам видеть за списком импортов не просто названия, а четкую структуру, на которой держится ваше приложение.
https://habr.com/ru/articles/984248/
#LLMэкосистема #pytorch #accelerate #transformers #bitsandbytes #peft #unsloth #распределённое_обучение #граф_вычислений #квантование
-
Wer die 41. Folge unseres Videocasts #BitsAndBytes von Hendrik Steinbeck und mir zur Digitalität in der Hochschullehre am Donnerstag im Live-Stream verpasst hat, findet hier die Aufzeichnung.
„Bits & Bytes Folge 41 - Die längste Sommerpause geht zu Ende“
-
Wer die 41. Folge unseres Videocasts #BitsAndBytes von Hendrik Steinbeck und mir zur Digitalität in der Hochschullehre am Donnerstag im Live-Stream verpasst hat, findet hier die Aufzeichnung.
„Bits & Bytes Folge 41 - Die längste Sommerpause geht zu Ende“
-
Unser neuer Videocast #BitsAndBytes Folge 40 mit Technik-Tipps, zu Licht & Schatten mit KI, Deepfakes und erlesenen Videokommentaren ist jetzt veröffentlicht, wie immer mit Shownotes und Kapitelmarken:
https://youtube.com/live/OgcLPXTmCkQ
#Fedicampus #Hybridlehre #DigitaleHochschule -
Unser neuer Videocast #BitsAndBytes Folge 40 mit Technik-Tipps, zu Licht & Schatten mit KI, Deepfakes und erlesenen Videokommentaren ist jetzt veröffentlicht, wie immer mit Shownotes und Kapitelmarken:
https://youtube.com/live/OgcLPXTmCkQ
#Fedicampus #Hybridlehre #DigitaleHochschule -
Wir sind jetzt gleich live mit Folge 40 von #BitsAndBytes zu aktueller Technik, Licht & Schatten von KI und den abgefahrensten Videokommentaren:
-
Wir sind jetzt gleich live mit Folge 40 von #BitsAndBytes zu aktueller Technik, Licht & Schatten von KI und den abgefahrensten Videokommentaren:
-
Wenn der Streaming-Gott will, BigBlueButton uns gnädig ist, kein Zoom-Update dazwischen kommt und OBS noch nicht uns spricht, dann streamen Hendrik Steinbeck und ich morgen um 14 Uhr Folge 40 von #BitsAndBytes, dem Videocast zur digitalen Hochschullehre mit dem generischsten Titel der Welt.
-
Wenn der Streaming-Gott will, BigBlueButton uns gnädig ist, kein Zoom-Update dazwischen kommt und OBS noch nicht uns spricht, dann streamen Hendrik Steinbeck und ich morgen um 14 Uhr Folge 40 von #BitsAndBytes, dem Videocast zur digitalen Hochschullehre mit dem generischsten Titel der Welt.
-
Wer uns gestern live verpasst hat, findet jetzt hier die Aufzeichnung von Bits & Bytes Folge 39 zu Telepromptern, internationaler Lehre in Angers, Reels & Shorts, Tafelvideos und Audiomaterial:
-
Wer uns gestern live verpasst hat, findet jetzt hier die Aufzeichnung von Bits & Bytes Folge 39 zu Telepromptern, internationaler Lehre in Angers, Reels & Shorts, Tafelvideos und Audiomaterial:
-
Heute um 14 Uhr schon was vor, #Fedicampus?
Hendrik Steinbeck und ich streamen eine neue Folge von #BitsAndBytes, in der es u.a. um meinen #FlyingFaculty-Auffenthalt am IUT Angers-Cholet, Erfahrungen mit dem #Teleprompter von Elgato und Shorts/Reels als Videoformat gehen wird.
Der Link folgt.
https://www.youtube.com/@DigitaleHochschule -
Heute um 14 Uhr schon was vor, #Fedicampus?
Hendrik Steinbeck und ich streamen eine neue Folge von #BitsAndBytes, in der es u.a. um meinen #FlyingFaculty-Auffenthalt am IUT Angers-Cholet, Erfahrungen mit dem #Teleprompter von Elgato und Shorts/Reels als Videoformat gehen wird.
Der Link folgt.
https://www.youtube.com/@DigitaleHochschule -
Noch ein kleines Ostergeschenk - die letzte Folge 38 von #BitsAndBytes mit Hendrik Steinbeck und mir ist jetzt bei YouTube zu finden:
Wir sprechen über neue Aufnahme-Technik bei @asexauer, Panopto, meinen #FlyingFaculty-Aufenthalt in Le Havre und Videoformate.
-
Wer uns heute live verpasst hat, findet hier die Aufzeichnung von #BitsAndBytes Folge 38:
"Verbaute Hörsaaltechnik und International Week (Le Havre)"
https://www.twitch.tv/videos/2098028516 -
Wer uns heute live verpasst hat, findet hier die Aufzeichnung von #BitsAndBytes Folge 38:
"Verbaute Hörsaaltechnik und International Week (Le Havre)"
https://www.twitch.tv/videos/2098028516 -
Der gute Hendrik Steinbeck und ich sind gleich live bei https://www.twitch.tv/gudeeducation für eine neue Folge Nr. 38 von #BitsAndBytes:
Es geht um Panopto, die International Days an der University Le Havre und das Paper "Millions of Views, But Does It Promote Learning?"
-
Der gute Hendrik Steinbeck und ich sind gleich live bei https://www.twitch.tv/gudeeducation für eine neue Folge Nr. 38 von #BitsAndBytes:
Es geht um Panopto, die International Days an der University Le Havre und das Paper "Millions of Views, But Does It Promote Learning?"
-
Neue Aufzeichung unseres #BitsAndBytes-Vidcasts erschienen:
In Folge 37 redeten Hendrik und ich über StreamYard, neue Funkmikros von DJI und Hollyland sowie das großartige Paper "Attending lectures in person, hybrid or online — how do students choose, and what about the outcome?" von Gerd Kortemeyer et al. der ETH Zürich:
https://youtu.be/CUIJVmW7tUY -
Neue Aufzeichung unseres #BitsAndBytes-Vidcasts erschienen:
In Folge 37 redeten Hendrik und ich über StreamYard, neue Funkmikros von DJI und Hollyland sowie das großartige Paper "Attending lectures in person, hybrid or online — how do students choose, and what about the outcome?" von Gerd Kortemeyer et al. der ETH Zürich:
https://youtu.be/CUIJVmW7tUY -
Heute gibt es eine neue Folge von #BitsAndBytes, denn Hendrik und ich streamen mal wieder.
Start ist gegen 13 Uhr auf https://www.youtube.com/@DigitaleHochschule
Es geht heute um dieses Paper: "Attending lectures in person, hybrid or online—how do students choose, and what about the outcome?":
-
Heute gibt es eine neue Folge von #BitsAndBytes, denn Hendrik und ich streamen mal wieder.
Start ist gegen 13 Uhr auf https://www.youtube.com/@DigitaleHochschule
Es geht heute um dieses Paper: "Attending lectures in person, hybrid or online—how do students choose, and what about the outcome?":
-
I knew at age 12 that I was on planet gobbledygook. Billy Van, Luba Goy and the whole show. #bitsandbytes #compilers #interpreters
-
Folge 36 von #BitsAndBytes, dem Video-Podcast zur digitalen Hochschullehre von Hendrik Steinbeck und mir ist erschienen:
Es geht um Teleprompter für die Videoproduktion, die Irrelevanz der Länge von Erklärvideos, Highlights bei Twitch und Shorts bei YouTube.
Außerdem feiern wir die Rückkehr von Christian Spannagel @cspannagel zu den Ursprüngen seiner ikonischen Tafel-Videos als Twitch-Stream und blicken auf ein Paper zur Hybridlehre voraus.
-
Folge 36 von #BitsAndBytes, dem Video-Podcast zur digitalen Hochschullehre von Hendrik Steinbeck und mir ist erschienen:
Es geht um Teleprompter für die Videoproduktion, die Irrelevanz der Länge von Erklärvideos, Highlights bei Twitch und Shorts bei YouTube.
Außerdem feiern wir die Rückkehr von Christian Spannagel @cspannagel zu den Ursprüngen seiner ikonischen Tafel-Videos als Twitch-Stream und blicken auf ein Paper zur Hybridlehre voraus.
-
@cspannagel Vielen Dank für das Foto. Das erklärt ja ganz gut dein #Streamsetup. Du nutzt einfach die interne Kamera im Laptop und ein #DJIMIC-Funkansteckmikrofon? Stellst du einen Festfokus ein? Nutzt du OBS Studio? Hendrik Steinbeck und ich haben heute in unserem #BitsAndBytes-Videocast darüber gesprochen. Der Link zur Aufzeichnung folgt!
-
@cspannagel Vielen Dank für das Foto. Das erklärt ja ganz gut dein #Streamsetup. Du nutzt einfach die interne Kamera im Laptop und ein #DJIMIC-Funkansteckmikrofon? Stellst du einen Festfokus ein? Nutzt du OBS Studio? Hendrik Steinbeck und ich haben heute in unserem #BitsAndBytes-Videocast darüber gesprochen. Der Link zur Aufzeichnung folgt!
-
Morgen um 13 Uhr streamen @h_steinbeck und ich mal wieder:
https://www.youtube.com/live/rZ4zfT1Pbak?feature=shared
#BitsAndBytes Folge 36: Teleprompter-Technik und Video(un)längen
In der Reihe "Videos zur digitalen Hochschule" bei #YouTube:
-
Unsere neueste #BitsAndBytes Folge 35 ist erschienen.
Hendrik Steinbeck und ich sprachen über:
- die neue Hörsaaltechnik an der #OVGU
- ein Multi-Kamera-Setup für inklusive Hybridlehre mit Gebärdendolmetscher*innen,
- 17 Thesen zur Präsenzlehre (von @arndpollmann et al.) und
- die Welcome Days mit @mebner an der @tugraz.Das Video ist zwar knapp 2 h lang, hat aber Kapitelmarken.
Die Links zu allen gezeigten Webseiten und Inhalten findet ihr in der Videobeschreibung.
-
Um genau jetzt sind Hendrik Steinbeck und ich mal wieder live und senden Folge 35 von #BitsAndBytes mit einem Polylux-Warmup, dem neuesten Technik-Stuff, unserer Würdigung der digitalen Welcome Days der #TUGraz und 17 (!) diskusionswürdigen Thesen zur Präsenzlehre.
Wir sind auch schon live:
https://www.youtube.com/live/DaLC_OxCZ2w -
Unsere neuesten Ideen, Erfahrungen mit Formaten und Technik-Tipps rund um die digitale Lehre, Erklärvideos, MOOCs, Lehrveranstaltungs-Streams und Hybridlehre-Setups diskutieren Hendrik Steinbeck und ich morgen in Folge 34 von #BitsAndBytes
Dienstag, 22.08.2023, ab ca. 16 Uhr
Ein YouTube-Link zum Stream folgt.
-
Unsere neuesten Ideen, Erfahrungen mit Formaten und Technik-Tipps rund um die digitale Lehre, Erklärvideos, MOOCs, Lehrveranstaltungs-Streams und Hybridlehre-Setups diskutieren Hendrik Steinbeck und ich morgen in Folge 34 von #BitsAndBytes
Dienstag, 22.08.2023, ab ca. 16 Uhr
Ein YouTube-Link zum Stream folgt.
-
Unsere neue #BitsAndBytes-Videocast-Folge 33 (die erste von Byte 5) von Hendrik Steinbeck und mir ist online:
https://youtube.com/watch?v=ibq08O3atDM&feature=share
In einem kleinen virtuellen 'Diaabend' schauen wir uns ein paar Fotos von meinen #FlyingFaculty-Aufenthalten in Angers in Frankreich sowie in Be'er Sheva und Ashdod in Israel an, diskutieren Twitter und X sowie ein ganz minimalistisches Stream-Setup. -
@FDM Außerdem kann man natürlich gerade mit Online- oder Hybridformaten große sowie überregionale Zielgruppen erreichen und auch sehr interaktiv mit allen Teilnehmenden agieren.
Siehe dazu:
'Bits & Bytes Folge 29 - Live-Stream des Beitrags "Massenvorlesungen 2.0 streamen" zur #digiPH6'
https://youtu.be/l9i-dDSsb94 -
@FDM Außerdem kann man natürlich gerade mit Online- oder Hybridformaten große sowie überregionale Zielgruppen erreichen und auch sehr interaktiv mit allen Teilnehmenden agieren.
Siehe dazu:
'Bits & Bytes Folge 29 - Live-Stream des Beitrags "Massenvorlesungen 2.0 streamen" zur #digiPH6'
https://youtu.be/l9i-dDSsb94 -
@ebildungslabor @davidlohner
Hendrik Steinbeck und ich haben in unserem letzten #BitsAndBytes-Vidcast das Thema "Cloud-Speicher in der Bildung" und insbesondere die Nextcloud auch diskutiert:
https://yewtu.be/rE6ykgvzi10?t=4857 -
@ebildungslabor @davidlohner
Hendrik Steinbeck und ich haben in unserem letzten #BitsAndBytes-Vidcast das Thema "Cloud-Speicher in der Bildung" und insbesondere die Nextcloud auch diskutiert:
https://yewtu.be/rE6ykgvzi10?t=4857