#byteshuffle — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #byteshuffle, aggregated by home.social.
-
Архиватор рождённый из теории предельного сжатия вселенной
Bounce — быстрый архиватор на чистом Rust без внешних зависимостей. Smart Routing автоматически выбирает стратегию: LZ77 для текста, Byte-Shuffle для весов нейросетей, Huffman для бинарных данных, Raw Store для уже сжатых файлов. Результат: 450 МБ .safetensors сжимается до 71.9% при декомпрессии 1.3 ГБ/с — лучше gzip и zstd. Многопоточный pipeline, пик памяти 73.6 МБ на файл в 450 МБ, размер блока через золотое сечение. Идеально для ML CI/CD, edge-деплоя LLM и смешанных датасетов.
https://habr.com/ru/articles/1046081/
#архиватор #сжатие_данных #Rust #нейросети #LLM #safetensors #золотое_сечение #ByteShuffle #алгоритмы_сжатия #NVG