#zstd — Public Fediverse posts

#WinRAR 7.22 has been released (#RAR / #ZIP / #ZIPX / #7Zip / #7z / #GZip / #zstd / #Zstandard / #FileArchiver / #DataCompression / #DarkMode) https://rarlab.com/

maxpack: межфайловая дедупликация на версионных данных

Разбор межфайловой дедупликации на версионных данных: почему обычная упаковка упирается в потолок и что меняется на CPython, Go и Node.js.

https://habr.com/ru/articles/1019718/

#сжатие_данных #дедупликация #архивация #versioned_data #tar #zstd #7z #snapshots

maxpack: межфайловая дедупликация на версионных данных

Разбор межфайловой дедупликации на версионных данных: почему обычная упаковка упирается в потолок и что меняется на CPython, Go и Node.js.

https://habr.com/ru/articles/1019718/

#сжатие_данных #дедупликация #архивация #versioned_data #tar #zstd #7z #snapshots

maxpack: межфайловая дедупликация на версионных данных

Разбор межфайловой дедупликации на версионных данных: почему обычная упаковка упирается в потолок и что меняется на CPython, Go и Node.js.

https://habr.com/ru/articles/1019718/

#сжатие_данных #дедупликация #архивация #versioned_data #tar #zstd #7z #snapshots

maxpack: межфайловая дедупликация на версионных данных

Разбор межфайловой дедупликации на версионных данных: почему обычная упаковка упирается в потолок и что меняется на CPython, Go и Node.js.

https://habr.com/ru/articles/1019718/

#сжатие_данных #дедупликация #архивация #versioned_data #tar #zstd #7z #snapshots

Oh, my #ccache is filling up:

Cache size (GiB): 40.3 / 100.0 (40.25%)

Note that this is #zstd compressed.

#dev

@davidculley so what? Actually, many contributions from #meta #facebook to #opensource world including #MySQL. #RocksDB born there. And don't forget #zstd.

My new daily backup script, pg_dump with zstd compression level 19.

docker exec \
   ak-postgres-1 \
   pg_dump -U umeyashiki umeyashiki_akkoma | \
   nice -n 19 \
   ionice -c 3 \
   chrt --idle 0 \
   zstd -T0 -19 --rsyncable -q > "$BACKUP_DIR/db_latest.sql.zst";

Today I learned something new about the scheduling priority. Since zstd compression is very CPU-intensive, set it to low priority so it doesn’t slow the entire system down during compression.

Commands that precede zstd here are:

• nice -n 19 [cmd]
• ionice -c 3 [cmd]
• chrt --idle 0 [cmd]

By chaining nice, ionice, and chrt together before the zstd command, the script forces the compression process to run with the absolute lowest possible priority for both the CPU and the disk.

• nice 19 is the lowest priority CPU priority.
• ionice with class 3 means idle. A program running with idle I/O priority will only get disk time when no other program has asked for disk I/O for a defined grace period.
• chrt --idle 0: Set scheduling policy to SCHED_IDLE (scheduling very low priority jobs).

References:

• man 1 chrt
• man 1 nice
• man 1 ionice

#linux #docker #zstd #postgresql #sched

Interesting blog post about text classification using compression, specifically the new "compression.zstd" module contributed by @emmatyping

https://maxhalford.github.io/blog/text-classification-zstd/

#compression #zstd #zstandard #classification

[Перевод] Пишем свой git: минимальная реализация на Rust

Контроль версий долгое время был для меня «чёрным ящиком»: я не понимал, как именно хранятся файлы, как формируются diff’ы и из чего состоят коммиты. А поскольку я люблю изобретать велосипеды, почему бы не попробовать реализовать git самому?

https://habr.com/ru/companies/cloud4y/articles/990052/

#git #rust #контроль_версий #sha256 #zstd #хеширование #petproject #системы_контроля_версий #объекты_git #commit

If you use #btrfs on kernels ranging from 6.12 to 6.19 and get the error:

VFS: Unable to mount root fs on unknown_block(0,0)

Add the 'btrfs' and 'microcode' hooks to /etc/mkinitcpio.conf via chroot and rerun initramfs generation.

If that doesn't help install `intel-ucode.img` and add it to your grub boot parameters in the initrd list.

If that still doesn't help (happens on Intel 3770k and older) disable #zstd initramfs compression, use gzip instead.

You are welcome

#initramfs #microcode

ZSTD with level MEDIUM gives you the same runtime as the traditional MS_XPRESS algorithm, but the backup is around 14 GB smaller. The level LOW is really fast (203 sec. vs. 305 sec., and the backups are still smaller (58 GB vs. 50 GB). #sqlserver #zstd #compression #performance

@asgrim I've just checked back and this now works, any idea what could have been the problem here? #php #pie #zstd

Issues with PHP PIE this morning building a Docker image. Seems to be failing to auth against Github on one of the installs here "Could not authenticate against github.com”. Other extensions seem ok though 🤔

#php #pie #zstd

Введение в zram и сжатие памяти

zram — это механизм ядра Linux, создающий сжатый блок памяти в RAM, используемый как пространство подкачки (swap). Это позволяет эффективнее использовать оперативную память, особенно на системах с ограниченным объемом ОЗУ. Вместо записи данных на медленный диск, zram сжимает их и хранит в RAM, обеспечивая значительно более высокую скорость доступа.

Выбор алгоритма сжатия — ключевой момент при настройке zram. Наиболее популярные варианты — LZ4, Zstd и LZO. Каждый из них предлагает разный баланс между скоростью сжатия/распаковки и степенью сжатия.

Сравнение LZ4 и Zstd

Хотя ваш вопрос предполагает, что LZ4 предпочтительнее Zstd, на практике это не всегда так. Предпочтение зависит от конкретных целей:

LZ4 оптимизирован для максимальной скорости. Он обеспечивает очень быстрое сжатие и распаковку, что критично при высокой нагрузке на систему.

Zstd (Zstandard), разработанный Facebook, предлагает лучшее сжатие при сохранении высокой скорости. Он может достигать степени сжатия, близкой к gzip, но со скоростью, сравнимой с LZ4.

Таким образом, Zstd часто считается более сбалансированным выбором, а не менее предпочтительным.

Производительность: скорость vs степень сжатия

По скорости: LZ4 быстрее Zstd. В сценариях, где CPU является узким местом, или при очень высокой частоте обращений к swap, LZ4 может предотвратить лаги и задержки. Один из пользователей на Reddit отметил, что при тяжелых нагрузках (например, эмуляция игр) Zstd вызывал заметные лаги, которых не было с LZ4 при стандартных настройках.

По степени сжатия: Zstd превосходит LZ4. Это означает, что с Zstd можно сэкономить больше RAM, что особенно важно на системах с малым объемом памяти (например, 4–8 ГБ).

Сценарии использования и рекомендации

Используйте LZ4, если:

1. У вас ограниченная мощность CPU.

2. Вы хотите минимизировать задержки при активной подкачке.

3. Система работает в реальном времени или чувствительна к лагам (например, игры, аудио-обработка).

Используйте Zstd, если:

1. У вас мало RAM, и вы хотите максимально эффективно её использовать.

2. Процессор достаточно мощный (современные CPU хорошо справляются с Zstd).

3. Вы готовы настроить систему (например, использовать оптимизированные параметры ядра).

Как отмечается в одном из обсуждений, Zstd — это "золотая середина" между скоростью и сжатием, что делает его предпочтительным по умолчанию для многих пользователей.

Заключение

Неверно утверждать, что LZ4 предпочтительнее Zstd в zram. Наоборот, Zstd часто рекомендуется как более сбалансированный и современный алгоритм. Хотя LZ4 быстрее, Zstd обеспечивает значительно лучшее сжатие при сохранении высокой скорости. При правильной настройке системы (например, с ядром 6.7+ и оптимизированными параметрами) Zstd может превзойти LZ4 по общей производительности.

Вывод: Zstd — отличный выбор для большинства пользователей, особенно на системах с малым объемом RAM. Однако LZ4 остаётся предпочтительным при высокой нагрузке и слабом CPU.

#zram #zramen #Linux #LZ4 #zstd

https://blog.gslin.org/archives/2025/09/17/12630/zstd-%e7%9a%84-long-%e7%9a%84%e6%95%88%e6%9e%9c/

zstd 的 --long 的效果

#compression #long #ratio #size #time #zstandard #zstd

Removing newlines in FASTA file increases ZSTD compression ratio by 10x

https://log.bede.im/2025/09/12/zstandard-long-range-genomes.html

#HackerNews #FASTA #ZSTD #Compression #Newlines #Bioinformatics #DataScience

#PeaZip 10.6.1 has been released (#7Z / #7ZIP / #ARC / #PEA / #RAR / #TAR / #ZIP / #ZIPX / #zstd / #Zstandard / #FileArchiver / #DataCompression) https://peazip.github.io/

static compression for #brotli
and #zstd is enabled on the instance (also #gzip ofc)

Running of few tests I haven't noticed any increasing in errors output / served to other servers. Will keep an eye on logs .

Rilasciato #PeaZip 10.6: Il Gestore di Archivi #OpenSource per Tutti i Sistemi Operativi

https://www.laseroffice.it/blog/2025/08/09/rilasciato-peazip-10-6-il-gestore-di-archivi-open-source-per-tutti-i-sistemi-operativi/

@[email protected] @linux

#UnoLinux #linux #7z #zip #compressionedati #zstd

Как я делаю бекапы домашней системы Linux: простой пример инкрементального rsync + btrfs с zstd сжатием

Статья покажет простой rsync скрипт для инкрементального бекапа (с использованием хардлинков из предыдущего бекапа) и про использование btrfs сжатия в zstd.

https://habr.com/ru/articles/929182/

#rsync #btrfs #zstd #backup

#WinRAR 7.12 has been released (#RAR / #ZIP / #ZIPX / #7Zip / #7z / #GZip / #zstd / #Zstandard / #FileArchiver / #DataCompression / #DarkMode) https://rarlab.com/

Fedora 43 to Use Zstd Compression for Faster Boot and Smaller Initrd #fedora43 #zstd #initrd #initramfs #fastboot #linux #dracut
https://ostechnix.com/fedora-43-initrd-zstd-compression/

Fedora 43 to Use Zstd Compression for Faster Boot and Smaller Initrd #fedora43 #zstd #initrd #initramfs #fastboot #linux #dracut
https://ostechnix.com/fedora-43-initrd-zstd-compression/

Fedora 43 to Use Zstd Compression for Faster Boot and Smaller Initrd #fedora43 #zstd #initrd #initramfs #fastboot #linux #dracut
https://ostechnix.com/fedora-43-initrd-zstd-compression/

Fedora 43 to Use Zstd Compression for Faster Boot and Smaller Initrd #fedora43 #zstd #initrd #initramfs #fastboot #linux #dracut
https://ostechnix.com/fedora-43-initrd-zstd-compression/

Fedora 43 to Use Zstd Compression for Faster Boot and Smaller Initrd #fedora43 #zstd #initrd #initramfs #fastboot #linux #dracut
https://ostechnix.com/fedora-43-initrd-zstd-compression/

Introducing {zap} - a new serialization framework for #RStats

* uses type-specfic transformations + #zstd
* for 'diamonds' dataset, it is more compressed than 'saveRDS(xz)' and faster than 'saveRDS(compress=FALSE)

https://github.com/coolbutuseless/zap
https://coolbutuseless.r-universe.dev/zap

#PeaZip 10.5.0 has been released (#7Z / #7ZIP / #ARC / #PEA / #RAR / #TAR / #ZIP / #ZIPX / #zstd / #Zstandard / #FileArchiver / #DataCompression) https://peazip.github.io/

The new alpm-package #crate offers integration with #ALPM based #package files. 📦 🦀

https://crates.io/crates/alpm-package/0.1.0

Currently it allows to create package files from prepared input directories and supports the #bzip2 #gzip #xz and #zstd #compression algorithms.

#ArchLinux #RustLang #SoftwareRelease

Oh, fabulous! Another #GitHub repo promising to revolutionize the world with "Rust implementation of the #Zstd Seekable Format" 😴. Because, clearly, there's a massive audience just dying for a more complex way to compress their cat videos in #Rust. 🙄🚀
https://github.com/rorosen/zeekstd #Compression #CatVideos #TechSatire #HackerNews #ngated

#libzip 1.11.4 has been released (#LZMA / #ZIP / #Zip64 / #zstd / #Zstandard / #bzip2 / #AES / #PKWARE / #FileArchiver / #DataCompression) https://libzip.org/

New #blog post: Unix Data Compression Shootout

https://rldane.space/unix-data-compression-shootout.html

881 words

cc: my wonderful #chorus: @joel @dm @sotolf @thedoctor @pixx @twizzay @orbitalmartian @adamsdesk @krafter @roguefoam @clayton @giantspacesquid

(I will happily add/remove you from the chorus upon request! :)

#100DaysToOffload #32

#rlDaneWriting #Unix #Linux #BSD #DataCompression #gzip #bzip #bzip2 #bzip3 #zstd #zst #xz #lz4 #compression

#PeaZip 10.4.0 has been released (#7Z / #7ZIP / #ARC / #PEA / #RAR / #TAR / #ZIP / #ZIPX / #zstd / #Zstandard / #FileArchiver / #DataCompression) https://peazip.github.io/

#Zstandard 1.5.7 has been released (#zstd / #RFC8878 / #RFC8478 / #Facebook / #Meta / #CompressionAlgorithm / #FileArchiver / #DataCompression) https://facebook.github.io/zstd/

#WinRAR 7.11 beta 1 has been released (#RAR / #ZIP / #ZIPX / #7Zip / #7z / #GZip / #zstd / #Zstandard / #FileArchiver / #DataCompression / #DarkMode) https://rarlab.com/

#PeaZip 10.3.0 has been released (#7Z / #7ZIP / #ARC / #PEA / #RAR / #TAR / #ZIP / #ZIPX / #zstd / #Zstandard / #FileArchiver / #DataCompression) https://peazip.github.io/

#WinRAR 7.10 has been released (#RAR / #ZIP / #ZIPX / #7Zip / #7z / #GZip / #zstd / #Zstandard / #FileArchiver / #DataCompression / #DarkMode) https://rarlab.com/

#zstd 1.5.7 is out and it's honestly quite amazing.

Highlights for me are:

- ~10% faster at small block sizes common in databases(=filesystems?)
- Limited multi-threading by default. (You could already enable it manually; this only concerns the defaults.)
- A new --max flag that inches zstd closer to #lzma/#xz. We'll need to see more testing on how close exactly but it's impressive they managed to broaden the range this far in a single format.

https://github.com/facebook/zstd/releases/tag/v1.5.7

Tein vähän #pakkaus-kokeiluja törmättyäni taannoin uuteen pakkaimeen, #Bzip3:een. Ainakin minun tiedostojeni #varmuuskopiointi-pakkaamisessa se hävisi pakkausteholtaan selvästi #XZ:lle, jota olen varmuuskopiointiin käyttänyt, ja pakkausnopeudeltaan selvästi #ZStd:lle, johon siirtymistä olin aprikoinut. #atkjuttuja

#PeaZip 10.2.0 has been released (#7Z / #ARC / #PEA / #RAR / #TAR / #ZIP / #ZIPX / #zstd / #Zstandard / #FileArchiver / #DataCompression) https://peazip.github.io/

Rilasciato #PeaZip 10.2: Correzioni e Miglioramenti

#UnoLinux #linux #compressionedati #7zip #rar #zstd #zip #7z #brotli #zipx

https://www.laseroffice.it/blog/2025/01/02/rilasciato-peazip-10-2-correzioni-e-miglioramenti/

#PeaZip 10.1.0 has been released (#7Z / #ARC / #PEA / #RAR / #TAR / #ZIP / #ZIPX / #zstd / #Zstandard / #FileArchiver / #DataCompression) https://peazip.org

Rilasciato #PeaZip 10.0
https://www.laseroffice.it/blog/2024/10/26/rilasciato-peazip-10-0/

#UnoLinux #compressionedati #7z #zstd #zstandard #gzip #bzip2 #xz #rar #zip #7zip

#LZ4 1.10.0 has been released (#LempelZiv4 / #LempelZiv / #LZ77 / #LempelZiv77 / #LZO / #FastLZ / #QuickLZ / #Snappy / #Zstandard / #zstd / #DataCompression) https://github.com/lz4/lz4

#LZ4 1.10.0 has been released (#LempelZiv4 / #LempelZiv / #LZ77 / #LempelZiv77 / #LZO / #FastLZ / #QuickLZ / #Snappy / #Zstandard / #zstd / #DataCompression) https://github.com/lz4/lz4

#LZ4 1.10.0 has been released (#LempelZiv4 / #LempelZiv / #LZ77 / #LempelZiv77 / #LZO / #FastLZ / #QuickLZ / #Snappy / #Zstandard / #zstd / #DataCompression) https://github.com/lz4/lz4

#WinRAR 7.01 has been released (#RAR / #ZIP / #ZIPX / #7Zip / #7z / #GZip / #zstd / #Zstandard / #FileArchiver / #DataCompression) https://rarlab.com/

What is your advise to decompress the #initramfs on a #raspberry #pi 4 running on #manjaro ?
I hesitate between #zstd and #lz4: which one is the best in term of decompression time ?

#arch