#gzip — Public Fediverse posts

3000 точек на карте грузились полсекунды. Ускорял не там, где думал

Эндпоинт отдавался за 380–510 мс и 811 КБ. Я думал, что причина одна – тяжёлый запрос. Разобрался: причин было три, и они лежали одна под другой. Пока не убираешь верхнюю, следующую просто не видно. Индексы, обход ORM и внезапно – gzip, который не был включён вообще.

https://habr.com/ru/articles/1073070/

#MongoDB #FastAPI #Beanie #ORM #оптимизация_API #индексы_MongoDB #gzip #nginx #Python #explain

[Перевод] Сжатие данных — это предсказание

Недавно я читала материалы о сжатии данных, и меня внезапно озарила безумная мысль: по сути своей, алгоритмы сжатия и LLM предназначены для решения одной и той же задачи . В этом посте я познакомлю вас с основами сжатия, чтобы вы могли понять его глубокую связь с моделированием языка. Возможно, вас это изумит.

https://habr.com/ru/companies/ruvds/articles/1070172/

#llm #gzip #brotli #алгоритмы_сжатия #большие_языковые_модели #ruvds_перевод

(not tested) fastrgz is a fast and efficient gzip compression tool for sequencing data (FASTQ)

https://github.com/ALSER-Lab/fastrgz

#compression #gzip #fastq

Тест современных компрессоров для HTTP

Сжатие текста уже давно стало стандартом в мире веб‑приложений. Сокращение объёма данных даёт сокращение времени передачи и снижение нагрузки на сетевой канал. Однако, часто настройка компрессии сводится к динамическому сжатию gzip и настройкам по умолчанию. В этой статье разберём вопрос сжатия более глубоко. Для начала вспомним основные технологии сжатия, доступные в вебе.

https://habr.com/ru/articles/1040692/

#angie #gzip #brotli #zstd #zstandard

Let's say you want to compress a file with gzip. That's easy:

gzip foo.txt

Now foo.txt is gone and you have a (presumably smaller) foo.txt.gz instead.

You've heard that 7-zip can produce files in gzip format, but with better compression. What would an equivalent command look like if you were to use 7z?

7z is an archiver, not a compressor. As far as it is concerned, gzip is an archive format that can only store a single file. To create a .gz file, we need to add a file to it:

7z a -tgzip foo.txt.gz foo.txt

The -tgzip flag tells 7z to create an "archive" in gzip format. (It is technically redundant here because 7z can derive the type of the archive from its filename, but I like to be explicit.)

However, this leaves foo.txt untouched. To delete the input file after the .gz file has been written successfully, pass -sdel:

7z a -tgzip -sdel foo.txt.gz foo.txt

This works! But unlike gzip, 7z is very chatty by default and outputs all kinds of nonsense like "Copyright (c) 1999-2023 Igor Pavlov" or "Scanning the drive" or "Everything is Ok". To shut it up, you add a few more flags:

7z a -tgzip -sdel -bso0 -bsp0 foo.txt.gz foo.txt

This tells 7z to redirect regular output ("o") and progress ("p") messages to stream "0", which is not a real stream, but suppresses all output. Error messages are left at their default setting, -bse2, which means they are written to stream "2" (standard error).

Finally, you realize that maybe you didn't have to switch to a completely different program. You could have told gzip to expend more effort to compress better:

gzip -9 foo.txt

But 7z also has tunable compression parameters. Cranking everything to the max for gzip gives:

7z a -tgzip -sdel -bso0 -bsp0 -mx=9 -mfb=258 -mpass=15 foo.txt.gz foo.txt

#gzip #7zip

[Перевод] Как уместить DOOM в QR-код

DOOM известен тем, что запускается где угодно – благодаря портам, которые появляются с 1993 года. Мем «It Runs Doom» («Он запускает DOOM») живёт в интернете уже больше десяти лет. Люди запускали DOOM на тостерах, на тачбарах макбуков, на умных холодильниках. И, кажется, я – первый человек, который уместил DOOM в QR-код.

https://habr.com/ru/companies/cloud4y/articles/1038838/

#DOOM #QRкод #JavaScript #HTML #минификация #сжатие_данных #gzip #DecompressionStream #Web_API #raycasting

#WinRAR 7.22 has been released (#RAR / #ZIP / #ZIPX / #7Zip / #7z / #GZip / #zstd / #Zstandard / #FileArchiver / #DataCompression / #DarkMode) https://rarlab.com/

Tar fediverse

tar -cvfz fediverse.raw  fediverse.tgz`

ls -lh

fediverse.raw 2.048 PiB

fediverse.tgz 1.36 TiB

According to my version of tar(1) it's entirely doable

/me grins 😁

sources
man tar(1)
man gnu

@stefano @justine

corrected for syntax

#tar #GNU #gnutar #cvfz #gzip #compression #fediverse #mathematics #technology #OpenSource #Linux #BSD

[Перевод] Почему GZIP сыпал исключениями только в жару и в дождь

В квартире стояла летняя жара. Впрочем, ненадолго: хозяин квартиры как раз привез мне кондиционер, и его пора было запускать. Через несколько недель Я писал на C# программу для распаковки gzip-файлов и неожиданно поймал странное исключение, из которого следовало, что архив поврежден. Ситуация выглядела дико: ошибка намекала на поврежденный архив, хотя сам файл не выглядел реально битым. Сказать, что это напрягало значит ничего не сказать...

https://habr.com/ru/articles/1016532/

#bash #gzip #c# #exception

Gzip decompression in 250 lines of Rust

https://iev.ee/blog/gzip-decompression-in-250-lines-of-rust/

#HackerNews #Gzip #Rust #Compression #Decompression #Programming #TechBlog

“And Ode To Bzip”, Alisa Sireneva (https://purplesyringa.moe/blog/an-ode-to-bzip/).

Via HN: https://news.ycombinator.com/item?id=47377998

On Lobsters: https://lobste.rs/s/ub7a5k/ode_bzip

On /r/programming: https://old.reddit.com/r/programming/comments/1rrl86c/an_ode_to_bzip/

#Bzip #Compression #BWT #BurrowsWheelerTransform #LZ77 #Gzip #Text #Raves

Oh, joy! Yet another "groundbreaking" tool to tell us the OS that made our #gzip file. 🥳 Because who doesn't lay awake at night pondering over gzip metadata? Thanks, Evan, for saving us from this burning mystery. 🚀🙄
https://evanhahn.com/introducing-gzpeek/ #groundbreaking #tools #metadata #contribution #tech #humor #HackerNews #ngated

I was surprised to learn that gzip streams encode which operating system did the compression. I built a little tool, "gzpeek", to inspect this metadata (and more): https://evanhahn.com/introducing-gzpeek/

#gzip #metadata #programming #compression

🚀 Gros changement chez Blabla Linux !

Fini l'ancien thème, bonjour Astra et la vitesse GZIP. C'est beau, c'est rapide, c'est en mode sombre. Mon envie de bloguer est revenue ! 😉

RDV sur le site : https://blablalinux.be/2025/12/06/changement-theme-astra-blablalinux/

#wordpress #theme #astra #blablalinux #gzip #nginx

Archivierung und Kompression mit tar: Grundlagen, Optionen und Beispiele

https://andreas-moor.de/archivierung-und-kompression-mit-tar-grundlagen-optionen-und-beispiele/

Kompression mit zip: Grundlagen, Optionen und Beispiele

https://andreas-moor.de/kompression-mit-zip-grundlagen-optionen-und-beispiele/

Kompression mit bzip2 Linux: Grundlagen, Optionen und Beispiele

https://andreas-moor.de/kompression-mit-bzip2-linux-grundlagen-optionen-und-beispiele/

Kompression mit gzip: Grundlagen, Optionen und Beispiele

https://andreas-moor.de/kompression-mit-gzip-grundlagen-optionen-und-beispiele/

Vergleich von Archivierung und Kompression unter Linux: tar/star, gzip, bzip2, xz und zip

https://andreas-moor.de/vergleich-von-archivierung-und-kompression-unter-linux-tar-star-gzip-bzip2-xz-und-zip/

Playing around with compressing a directory structure full of XML files which are about 2MB each (one per directory) and which have a lot of commonality.

It included about 14GB of files in total. With gzip/bzip2/zstd/zip it goes down to ~1GiB (#gzip -> zstd -> bzip2 in order of decreasing size). With #xz it went down to about 67MiB. Huge difference for this use case. Decompressing it was MUCH faster with xz (5.0s vs 33.2s when writing to /dev/null - xz took 5X longer to compress than pigz)

Did you know that #gzip streams may contain filenames?

https://sethmlarson.dev/gzip-files-and-streams-may-contain-names

🎈 Ah, the timeless quest to understand #Deflate by manually decoding a #GZIP file—because clearly, using a computer to do what it's designed for is just too mainstream. 🤓 Meanwhile, Wikipedia does all the heavy lifting, turning an exercise in #compression into an exercise in redundancy. 📜💥
https://jjrscott.com/to-deflate-or-not/ #ManualDecoding #HackerNews #WikipediaRedundancy #HackerNews #ngated

From this week's ADMIN Update newsletter: Jeff Layton dives into the ratarmount archive mounting tool, which offers fast, random access to archived resources
https://www.admin-magazine.com/Articles/ratarmount-Archive-Mount-Tool?utm_source=mam
#ratarmount #HPC #tools #archivemount #tar #gzip