#deduplication — Public Fediverse posts

RE: https://vivoweb.org/2026/03/03/request-for-comments-disambiguation-deduplication-spec/

A #disambiguation and #deduplication engine for #VIVO will be developed. The proposed specs are published now, they are open for comments until March 17.

#openresearchInformation #OpenInfrastructures

Databricks just showed that clean, deduped data beats fancy model tweaks for faster LLMs. Their paper reveals a simple data pipeline—language filtering, deduplication, and high‑quality datasets—outperforms architecture tweaks on GPU training. Curious how to boost speed without extra compute? Dive in. #LLMTraining #DataQuality #Databricks #Deduplication

🔗 https://aidailypost.com/news/databricks-paper-finds-data-quality-outweighs-model-architecture-llm

Fixing Noisy Logs with #OpenTelemetry Log #Deduplication

https://www.dash0.com/guides/opentelemetry-log-deduplication-processor

Hab mein PyHardLinkBackup komplett neu geschrieben. Ursprünglich 2015 gestartet und bis 2020 genutzt, schlief es jetzt fast 6 Jahre...

Aber als ich über alte damit erstellte backups gestolpert bin, hab ich mir gedacht, das Konzept ist doch ganz nützlich.

Also kompletter rewrite: https://github.com/jedie/PyHardLinkBackup

#backup #OpenSource #Python #deduplication #hardlinks

Wer ein #snapshot artiges Backup für #Linux sucht, könnte sich #kopia ansehen.
Über Regeln sehr fein granuliert einstellbar.
Es hat mich allerdings jetzt fast eine Woche gekostet, es so zum laufen zu bringen, wie ich es mir gewünscht habe. Aber mit viel #script’en hat alles geklappt.
#deduplication und #kompression, schnell und easy.
Sehr zu empfehlen.

And once in a while I cleanup the external libraries with #Czkawka

This is an amazing software for #deduplication of image folders.

https://github.com/qarmin/czkawka

Sick: Indexed deduplicated binary storage for JSON-like data structures

https://github.com/7mind/sick

#HackerNews #Sick #Indexed #Binary #Storage #JSON #Deduplication #DataStructures

The machine forgets. The Ghost does not.

https://deadswitch.tomsitcafe.com/2025/10/borg-backup-intro.html

#borg #backup #encryption #deduplication #ghostware

Ich hab mal versucht, die Speicheroptimierung durch #Deduplication beim #Backup mit #restic zu quantifizieren. Dies nach einer Laufzeit von knapp 2 Jahren.

Herausgekommen ist: 22,4%

# restic stats latest 
repository d989459c opened successfully, password is correct
scanning...
Stats in restore-size mode:
Snapshots processed:   1
   Total File Count:   438037
         Total Size:   23.271 GiB

# restic stats latest --mode raw-data 
repository d989459c opened successfully, password is correct
scanning...
Stats in raw-data mode:
Snapshots processed:   1
   Total Blob Count:   265960
         Total Size:   18.409 GiB

Hoffe, das richtig interpretiert zu haben.

restic.readthedocs.io/en/stabl…

Some design tests for 🟥 🟩 diff'ing files hosted on Hugging Face.

With the new storage backend (Xet), similar files share many data "chunks".

As HF provides an API to get the list of these chunks, you can now compute the diff and display a chart in the browser without downloading the files. Very fast.

Test here: https://observablehq.com/@severo/parquet-content-defined-chunking-blog-post-reprodu

Details about the three charts in the responses.

#parquet #huggingface #diff #dataviz #deduplication

Borg - Deduplicating Archiver with Compression and Encryption

https://www.borgbackup.org/

#HackerNews #Borg #Deduplication #Compression #Encryption #Backup

Testing some more concurrent operations on the new #Synology #DS925+ as part of the upcoming #review

Dual #ActiveBackupForBusiness remote #windows11 machines (testing the #deduplication in the process), along a simple file copy onto an external #USB #SSD #OWC enclosure.

(yes 3rd party external drives work just fine!)

The NAS is nice and calm with no performance issues at all.

Testing some more concurrent operations on the new #Synology #DS925+ as part of the upcoming #review

Dual #ActiveBackupForBusiness remote #windows11 machines (testing the #deduplication in the process), along a simple file copy onto an external #USB #SSD #OWC enclosure.

(yes 3rd party external drives work just fine!)

The NAS is nice and calm with no performance issues at all.

Testing some more concurrent operations on the new #Synology #DS925+ as part of the upcoming #review

Dual #ActiveBackupForBusiness remote #windows11 machines (testing the #deduplication in the process), along a simple file copy onto an external #USB #SSD #OWC enclosure.

(yes 3rd party external drives work just fine!)

The NAS is nice and calm with no performance issues at all.

Testing some more concurrent operations on the new #Synology #DS925+ as part of the upcoming #review

Dual #ActiveBackupForBusiness remote #windows11 machines (testing the #deduplication in the process), along a simple file copy onto an external #USB #SSD #OWC enclosure.

(yes 3rd party external drives work just fine!)

The NAS is nice and calm with no performance issues at all.

Testing some more concurrent operations on the new #Synology #DS925+ as part of the upcoming #review

Dual #ActiveBackupForBusiness remote #windows11 machines (testing the #deduplication in the process), along a simple file copy onto an external #USB #SSD #OWC enclosure.

(yes 3rd party external drives work just fine!)

The NAS is nice and calm with no performance issues at all.

The Problem Isn't Email, It's Microsoft Exchange -- it turns out my 2011-vintage rant still rings true, now also available trackerless: https://nxdomain.no/~peter/the_problem_isnt_email_its_microsoft_exchange.html #inefficiency #timewasted #email #archiving #microsoft #exchange #compliance #deduplication #unsolvedproblems #smtp #mail #annoyances

Testing #Synology #ActiveProtectManager and #DP320 appliance by making the ISO bare metal recovery media.

Let's see how fast this little machine can recover a 50GB setup.

The actual #backup and #deduplication are working really well.

Testing #Synology #ActiveProtectManager and #DP320 appliance by making the ISO bare metal recovery media.

Let's see how fast this little machine can recover a 50GB setup.

The actual #backup and #deduplication are working really well.

Testing #Synology #ActiveProtectManager and #DP320 appliance by making the ISO bare metal recovery media.

Let's see how fast this little machine can recover a 50GB setup.

The actual #backup and #deduplication are working really well.

Testing #Synology #ActiveProtectManager and #DP320 appliance by making the ISO bare metal recovery media.

Let's see how fast this little machine can recover a 50GB setup.

The actual #backup and #deduplication are working really well.

Testing #Synology #ActiveProtectManager and #DP320 appliance by making the ISO bare metal recovery media.

Let's see how fast this little machine can recover a 50GB setup.

The actual #backup and #deduplication are working really well.

Would I be crazy to enable deduplication on the ZFS dataset for a Postgres database? It seems like it would massively reduce the size of snapshots, which I replicate remotely using send / receive (they’re encrypted too).

The database in question is <20GB, and the server has 128GB RAM (plenty free). ZFS is on the (Proxmox) host, Postgres is in an LXC. Snapshots with Sanoid.

#zfs #postgres #postgresql #deduplication #homelab #selfhosted #database #proxmox #lxc #sanoid

[Перевод] Дедупликация в OpenZFS теперь хороша, но использовать её не стоит

Вот-вот выйдет релиз OpenZFS 2.3.0 с новой функцией Fast Dedup . Это огромный шаг вперёд по сравнению со старой дедупликацией и отличный фундамент для будущих доработок. Контрибьютор OpenZFS @gmelikov и команда VK Cloud совместно перевели статью об этом релизе, в которой новая функция сравнивается со старой дедупликацией и описывается максимально подробно с практическими примерами. В 2023–2024 коллеги из Klara много работали над этой функцией, и мы согласны с ними, что она весьма хороша! После релиза Fast dedup на многих ресурсах в обсуждениях продолжили писать, что «новый дедуп всё так же плох, он требует столько же ОЗУ и также убивает производительность». Но эта информация лишь отчасти близка к правде и повторяет всё тот же мотив, который когда-то кто-то озвучивал на форумах. Винить в этом никого не хочется. И не стоит, так как дедупликация в OpenZFS и правда была очень требовательной к правильному применению. Найти качественные гайды тоже не просто, ответ по умолчанию — «не используйте её» — был и (в целом) остаётся правильным. Но, по прошествии почти 20 лет жизни дедупа в OpenZFS, настало время вернуться к этому вопросу. Посмотрим на свежую информацию об имплементации дедупа в OpenZFS, как он работал до улучшений, в чём была его проблема, что поменяли в fast dedup, и почему же это всё ещё не дефолт.

https://habr.com/ru/companies/vk/articles/863904/

#zfs #openzfs #reflink #dedup #storage #filesystem #deduplication

[Перевод] Дедупликация в OpenZFS теперь хороша, но использовать её не стоит

Вот-вот выйдет релиз OpenZFS 2.3.0 с новой функцией Fast Dedup . Это огромный шаг вперёд по сравнению со старой дедупликацией и отличный фундамент для будущих доработок. Контрибьютор OpenZFS @gmelikov и команда VK Cloud совместно перевели статью об этом релизе, в которой новая функция сравнивается со старой дедупликацией и описывается максимально подробно с практическими примерами. В 2023–2024 коллеги из Klara много работали над этой функцией, и мы согласны с ними, что она весьма хороша! После релиза Fast dedup на многих ресурсах в обсуждениях продолжили писать, что «новый дедуп всё так же плох, он требует столько же ОЗУ и также убивает производительность». Но эта информация лишь отчасти близка к правде и повторяет всё тот же мотив, который когда-то кто-то озвучивал на форумах. Винить в этом никого не хочется. И не стоит, так как дедупликация в OpenZFS и правда была очень требовательной к правильному применению. Найти качественные гайды тоже не просто, ответ по умолчанию — «не используйте её» — был и (в целом) остаётся правильным. Но, по прошествии почти 20 лет жизни дедупа в OpenZFS, настало время вернуться к этому вопросу. Посмотрим на свежую информацию об имплементации дедупа в OpenZFS, как он работал до улучшений, в чём была его проблема, что поменяли в fast dedup, и почему же это всё ещё не дефолт.

https://habr.com/ru/companies/vk/articles/863904/

#zfs #openzfs #reflink #dedup #storage #filesystem #deduplication

[Перевод] Дедупликация в OpenZFS теперь хороша, но использовать её не стоит

Вот-вот выйдет релиз OpenZFS 2.3.0 с новой функцией Fast Dedup . Это огромный шаг вперёд по сравнению со старой дедупликацией и отличный фундамент для будущих доработок. Контрибьютор OpenZFS @gmelikov и команда VK Cloud совместно перевели статью об этом релизе, в которой новая функция сравнивается со старой дедупликацией и описывается максимально подробно с практическими примерами. В 2023–2024 коллеги из Klara много работали над этой функцией, и мы согласны с ними, что она весьма хороша! После релиза Fast dedup на многих ресурсах в обсуждениях продолжили писать, что «новый дедуп всё так же плох, он требует столько же ОЗУ и также убивает производительность». Но эта информация лишь отчасти близка к правде и повторяет всё тот же мотив, который когда-то кто-то озвучивал на форумах. Винить в этом никого не хочется. И не стоит, так как дедупликация в OpenZFS и правда была очень требовательной к правильному применению. Найти качественные гайды тоже не просто, ответ по умолчанию — «не используйте её» — был и (в целом) остаётся правильным. Но, по прошествии почти 20 лет жизни дедупа в OpenZFS, настало время вернуться к этому вопросу. Посмотрим на свежую информацию об имплементации дедупа в OpenZFS, как он работал до улучшений, в чём была его проблема, что поменяли в fast dedup, и почему же это всё ещё не дефолт.

https://habr.com/ru/companies/vk/articles/863904/

#zfs #openzfs #reflink #dedup #storage #filesystem #deduplication

[Перевод] Дедупликация в OpenZFS теперь хороша, но использовать её не стоит

Вот-вот выйдет релиз OpenZFS 2.3.0 с новой функцией Fast Dedup . Это огромный шаг вперёд по сравнению со старой дедупликацией и отличный фундамент для будущих доработок. Контрибьютор OpenZFS @gmelikov и команда VK Cloud совместно перевели статью об этом релизе, в которой новая функция сравнивается со старой дедупликацией и описывается максимально подробно с практическими примерами. В 2023–2024 коллеги из Klara много работали над этой функцией, и мы согласны с ними, что она весьма хороша! После релиза Fast dedup на многих ресурсах в обсуждениях продолжили писать, что «новый дедуп всё так же плох, он требует столько же ОЗУ и также убивает производительность». Но эта информация лишь отчасти близка к правде и повторяет всё тот же мотив, который когда-то кто-то озвучивал на форумах. Винить в этом никого не хочется. И не стоит, так как дедупликация в OpenZFS и правда была очень требовательной к правильному применению. Найти качественные гайды тоже не просто, ответ по умолчанию — «не используйте её» — был и (в целом) остаётся правильным. Но, по прошествии почти 20 лет жизни дедупа в OpenZFS, настало время вернуться к этому вопросу. Посмотрим на свежую информацию об имплементации дедупа в OpenZFS, как он работал до улучшений, в чём была его проблема, что поменяли в fast dedup, и почему же это всё ещё не дефолт.

https://habr.com/ru/companies/vk/articles/863904/

#zfs #openzfs #reflink #dedup #storage #filesystem #deduplication

#CynosurePrime has released #rlite, a lightweight alternative to #rling. Designed for fast #wordlist #sorting, #deduplication, and simple analytics.
https://forum.hashpwn.net/post/204
#hashpwn #rling #CsP #hashcracking

#CynosurePrime has released #rlite, a lightweight alternative to #rling. Designed for fast #wordlist #sorting, #deduplication, and simple analytics.
https://forum.hashpwn.net/post/204

#hashpwn #rling #CsP #hashcracking

#CynosurePrime has released #rlite, a lightweight alternative to #rling. Designed for fast #wordlist #sorting, #deduplication, and simple analytics.
https://forum.hashpwn.net/post/204
#hashpwn #rling #CsP #hashcracking

#CynosurePrime has released #rlite, a lightweight alternative to #rling. Designed for fast #wordlist #sorting, #deduplication, and simple analytics.
https://forum.hashpwn.net/post/204

#hashpwn #rling #CsP #hashcracking

#CynosurePrime has released #rlite, a lightweight alternative to #rling. Designed for fast #wordlist #sorting, #deduplication, and simple analytics.
https://forum.hashpwn.net/post/204
#hashpwn #rling #CsP #hashcracking

Introducing Unlimited Backup Repositories: https://backupscale.com/posts/introducing-unlimited-backup-repositories/ #restic #unlimited #backup #repository #backups #deduplication #flexibility #ransomware #protection #opensource #opensaas #cybersecurity #infosec

🐧 #btrfs #déduplication
Mmm... je suis dubitatif.
duperemove déduplique au niveau blocs. jdupes seulement au niveau fichiers.
Donc en théorie dupreremove est plus efficace.

J'ai donc récupéré la dernière version de duperemove et j'ai refait un test.

Place libre sur mon disque : 221,9 Go avant dédupe.
Je passe duperemove sur mon /home : 222,4 Go libres.
En théorie jdupes ne devrait rien gagner. Je le passe: 223,6 Go libres après.

C'est pas logique.
Tant pis je continue avec jdupes, du coup.

Есть ли жизнь до fit/predict?

Всем привет! Меня зовут Даниил Карпов, я старший NLP-разработчик в MTS AI. В эпоху LLM и огромных датасетов, вмещающих в себя весь интернет, кажется, что качество самих данных ушло немного на второй план: чем больше данных/параметров, тем лучше. Однако экстенсивный рост рано или поздно упирается в ограничения, когда становится уже слишком дорого/невозможно его продолжать. Роль хороших данных не стоит недооценивать, грамотный отбор может помочь значительно ускорить и удешевить обучение с одной стороны, тогда как отбраковка откровенно плохой разметки поможет улучшить качество с другой. Здесь я расскажу о некоторых из таких методов, которые использовались в процессе подготовки данных.

https://habr.com/ru/companies/mts_ai/articles/825090/

#nlp #dataset_cartography #vinformation #deduplication #d4 #semdedup #sslprototypes #data_quality #dataset_difficulty #подготовка_данных

Есть ли жизнь до fit/predict?

Всем привет! Меня зовут Даниил Карпов, я старший NLP-разработчик в MTS AI. В эпоху LLM и огромных датасетов, вмещающих в себя весь интернет, кажется, что качество самих данных ушло немного на второй план: чем больше данных/параметров, тем лучше. Однако экстенсивный рост рано или поздно упирается в ограничения, когда становится уже слишком дорого/невозможно его продолжать. Роль хороших данных не стоит недооценивать, грамотный отбор может помочь значительно ускорить и удешевить обучение с одной стороны, тогда как отбраковка откровенно плохой разметки поможет улучшить качество с другой. Здесь я расскажу о некоторых из таких методов, которые использовались в процессе подготовки данных.

https://habr.com/ru/companies/mts_ai/articles/825090/

#nlp #dataset_cartography #vinformation #deduplication #d4 #semdedup #sslprototypes #data_quality #dataset_difficulty #подготовка_данных

Есть ли жизнь до fit/predict?

Всем привет! Меня зовут Даниил Карпов, я старший NLP-разработчик в MTS AI. В эпоху LLM и огромных датасетов, вмещающих в себя весь интернет, кажется, что качество самих данных ушло немного на второй план: чем больше данных/параметров, тем лучше. Однако экстенсивный рост рано или поздно упирается в ограничения, когда становится уже слишком дорого/невозможно его продолжать. Роль хороших данных не стоит недооценивать, грамотный отбор может помочь значительно ускорить и удешевить обучение с одной стороны, тогда как отбраковка откровенно плохой разметки поможет улучшить качество с другой. Здесь я расскажу о некоторых из таких методов, которые использовались в процессе подготовки данных.

https://habr.com/ru/companies/mts_ai/articles/825090/

#nlp #dataset_cartography #vinformation #deduplication #d4 #semdedup #sslprototypes #data_quality #dataset_difficulty #подготовка_данных

Дедупликация данных в Windows 10 и Windows 11 средствами Microsoft

Сегодня я кратко расскажу вам как включить дедупликацию данных в клиентских ОС - Windows 10 и Windows 11, добавив функционал из Windows Server, причем не какие-то сторонние бинарники, а оригинальные, подписанные файлы Microsoft, которые к тому же будут обновляться через Windows Update. В этой статье не будет описания дедупликации данных, - разве что совсем кратко что это такое, и не будет сравнения решений разных вендоров. Я дам ниже ссылки на достойные, на мой взгляд, статьи других авторов и готов буду отвечать на вопросы, если их зададут ниже в виде комментария или в ПМ. Начать знакомство рекомендую с базовой теории Введение в дедупликацию данных / Хабр (habr.com) от компании Veeam, затем почитать о том, что такое дедупликация Microsoft - Обзор и настройка средств дедупликации в Windows Server 2012 / Хабр (habr.com) - статья моего бывшего коллеги по Microsoft Георгия говорит о том, как настраивается дедупликация NTFS в Windows Server 2012. В последующих изданиях Windows Server 2012R2, 2016, 2019, 2022 и 2025 функционал развивался, появилась поддержка ReFS, стало возможно (неочевидным способом) дедуплицировать системный том, расширились компоненты управления, - но для конечного пользователя все остается там же. Установили одним кликом, включили для диска, забыли. В заключение подготовительной информации - тем кого действительно интересует кроссплатформенные решения и их сравнения, предложу ознакомиться со статьей Илии Карина - Dedup Windows vs Linux, MS снова “удивит”? / Хабр (habr.com) - его не должны заподозрить в рекламе Microsoft, его сравнение подходов, и результат меня самого удивил. У меня на такую большую исследовательскую работу сил и возможностей нет, - почитайте. И имейте в виду, что если вы используете последний Windows 11, то и компоненты дедупликации в нем будут последние, от Windows Server 2025, то есть с еще более впечатляющим результатом.

https://habr.com/ru/articles/822117/

#дедупликация #deduplication #dedup #tweak

#Business #Explainers
Google explains how it chooses canonical webpages · Why duplicate pages can be important for SEO https://ilo.im/15yhco

_____
#SEO #Google #SearchEngine #Website #Webpage #Content #Deduplication #Canonicalization #Design #WebDesign

#Business #Explainers
Google explains how it chooses canonical webpages · Why duplicate pages can be important for SEO https://ilo.im/15yhco

_____
#SEO #Google #SearchEngine #Website #Webpage #Content #Deduplication #Canonicalization #Design #WebDesign

#Business #Explainers
Google explains how it chooses canonical webpages · Why duplicate pages can be important for SEO https://ilo.im/15yhco

_____
#SEO #Google #SearchEngine #Website #Webpage #Content #Deduplication #Canonicalization #Design #WebDesign

#Business #Explainers
Google explains how it chooses canonical webpages · Why duplicate pages can be important for SEO https://ilo.im/15yhco

_____
#SEO #Google #SearchEngine #Website #Webpage #Content #Deduplication #Canonicalization #Design #WebDesign

Making a magic deduplicating tar using the FICLONE ioctl https://media.ccc.de/v/all-systems-go-2023-225-making-a-magic-deduplicating-tar-using-the-ficlone-ioctl block aligning payloads in a tar file allows filesystems (e.g. btrfs, zfs) to deduplicate that data on disk. The tool is https://git.sr.ht/~nullenenenen/deduptar
#tar #deduptar #deduplication

Making a magic deduplicating tar using the FICLONE ioctl https://media.ccc.de/v/all-systems-go-2023-225-making-a-magic-deduplicating-tar-using-the-ficlone-ioctl block aligning payloads in a tar file allows filesystems (e.g. btrfs, zfs) to deduplicate that data on disk. The tool is https://git.sr.ht/~nullenenenen/deduptar
#tar #deduptar #deduplication

Making a magic deduplicating tar using the FICLONE ioctl https://media.ccc.de/v/all-systems-go-2023-225-making-a-magic-deduplicating-tar-using-the-ficlone-ioctl block aligning payloads in a tar file allows filesystems (e.g. btrfs, zfs) to deduplicate that data on disk. The tool is https://git.sr.ht/~nullenenenen/deduptar
#tar #deduptar #deduplication

Making a magic deduplicating tar using the FICLONE ioctl https://media.ccc.de/v/all-systems-go-2023-225-making-a-magic-deduplicating-tar-using-the-ficlone-ioctl block aligning payloads in a tar file allows filesystems (e.g. btrfs, zfs) to deduplicate that data on disk. The tool is https://git.sr.ht/~nullenenenen/deduptar
#tar #deduptar #deduplication

anyone know anything about #data #deduplication. i have 1 hard drive where I've gathered everything all my #backups, music, docs, emails etc etc etc. but i have a few copies of everything. want a program that simply scans the #drive, deletes all #duplicates, and keeps a copy of only 1 of everything. does the damn thing exist as i cant find anything simple enough? #techHelp #ComputerHelp #software #tech #techie

anyone know anything about #data #deduplication. i have 1 hard drive where I've gathered everything all my #backups, music, docs, emails etc etc etc. but i have a few copies of everything. want a program that simply scans the #drive, deletes all #duplicates, and keeps a copy of only 1 of everything. does the damn thing exist as i cant find anything simple enough? #techHelp #ComputerHelp #software #tech #techie

anyone know anything about #data #deduplication. i have 1 hard drive where I've gathered everything all my #backups, music, docs, emails etc etc etc. but i have a few copies of everything. want a program that simply scans the #drive, deletes all #duplicates, and keeps a copy of only 1 of everything. does the damn thing exist as i cant find anything simple enough? #techHelp #ComputerHelp #software #tech #techie

anyone know anything about #data #deduplication. i have 1 hard drive where I've gathered everything all my #backups, music, docs, emails etc etc etc. but i have a few copies of everything. want a program that simply scans the #drive, deletes all #duplicates, and keeps a copy of only 1 of everything. does the damn thing exist as i cant find anything simple enough? #techHelp #ComputerHelp #software #tech #techie