#deduplication — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #deduplication, aggregated by home.social.
-
RE: https://vivoweb.org/2026/03/03/request-for-comments-disambiguation-deduplication-spec/
A #disambiguation and #deduplication engine for #VIVO will be developed. The proposed specs are published now, they are open for comments until March 17.
-
Databricks just showed that clean, deduped data beats fancy model tweaks for faster LLMs. Their paper reveals a simple data pipeline—language filtering, deduplication, and high‑quality datasets—outperforms architecture tweaks on GPU training. Curious how to boost speed without extra compute? Dive in. #LLMTraining #DataQuality #Databricks #Deduplication
🔗 https://aidailypost.com/news/databricks-paper-finds-data-quality-outweighs-model-architecture-llm
-
Wer ein #snapshot artiges Backup für #Linux sucht, könnte sich #kopia ansehen.
Über Regeln sehr fein granuliert einstellbar.
Es hat mich allerdings jetzt fast eine Woche gekostet, es so zum laufen zu bringen, wie ich es mir gewünscht habe. Aber mit viel #script’en hat alles geklappt.
#deduplication und #kompression, schnell und easy.
Sehr zu empfehlen. -
Sick: Indexed deduplicated binary storage for JSON-like data structures
#HackerNews #Sick #Indexed #Binary #Storage #JSON #Deduplication #DataStructures
-
Testing some more concurrent operations on the new #Synology #DS925+ as part of the upcoming #review
Dual #ActiveBackupForBusiness remote #windows11 machines (testing the #deduplication in the process), along a simple file copy onto an external #USB #SSD #OWC enclosure.
(yes 3rd party external drives work just fine!)
The NAS is nice and calm with no performance issues at all.
-
#CynosurePrime has released #rlite, a lightweight alternative to #rling. Designed for fast #wordlist #sorting, #deduplication, and simple analytics.
https://forum.hashpwn.net/post/204
#hashpwn #rling #CsP #hashcracking -
Дедупликация данных в Windows 10 и Windows 11 средствами Microsoft
Сегодня я кратко расскажу вам как включить дедупликацию данных в клиентских ОС - Windows 10 и Windows 11, добавив функционал из Windows Server, причем не какие-то сторонние бинарники, а оригинальные, подписанные файлы Microsoft, которые к тому же будут обновляться через Windows Update. В этой статье не будет описания дедупликации данных, - разве что совсем кратко что это такое, и не будет сравнения решений разных вендоров. Я дам ниже ссылки на достойные, на мой взгляд, статьи других авторов и готов буду отвечать на вопросы, если их зададут ниже в виде комментария или в ПМ. Начать знакомство рекомендую с базовой теории Введение в дедупликацию данных / Хабр (habr.com) от компании Veeam, затем почитать о том, что такое дедупликация Microsoft - Обзор и настройка средств дедупликации в Windows Server 2012 / Хабр (habr.com) - статья моего бывшего коллеги по Microsoft Георгия говорит о том, как настраивается дедупликация NTFS в Windows Server 2012. В последующих изданиях Windows Server 2012R2, 2016, 2019, 2022 и 2025 функционал развивался, появилась поддержка ReFS, стало возможно (неочевидным способом) дедуплицировать системный том, расширились компоненты управления, - но для конечного пользователя все остается там же. Установили одним кликом, включили для диска, забыли. В заключение подготовительной информации - тем кого действительно интересует кроссплатформенные решения и их сравнения, предложу ознакомиться со статьей Илии Карина - Dedup Windows vs Linux, MS снова “удивит”? / Хабр (habr.com) - его не должны заподозрить в рекламе Microsoft, его сравнение подходов, и результат меня самого удивил. У меня на такую большую исследовательскую работу сил и возможностей нет, - почитайте. И имейте в виду, что если вы используете последний Windows 11, то и компоненты дедупликации в нем будут последние, от Windows Server 2025, то есть с еще более впечатляющим результатом.
-
anyone know anything about #data #deduplication. i have 1 hard drive where I've gathered everything all my #backups, music, docs, emails etc etc etc. but i have a few copies of everything. want a program that simply scans the #drive, deletes all #duplicates, and keeps a copy of only 1 of everything. does the damn thing exist as i cant find anything simple enough? #techHelp #ComputerHelp #software #tech #techie
-
Outils pour un nommage de fichiers retrouvables – Cipher Bliss https://www.cipherbliss.com/outils-pour-un-nommage-de-fichiers-retrouvables
#pim #archives #backup #deduplication #bazar #guessfilename #filetags #TagTrees #move2archive #docfetcher #nextcloud #projets #wiki
-
Outils pour un nommage de fichiers retrouvables – Cipher Bliss https://www.cipherbliss.com/outils-pour-un-nommage-de-fichiers-retrouvables
#pim #archives #backup #deduplication #bazar #guessfilename #filetags #TagTrees #move2archive #docfetcher #nextcloud #projets #wiki
-
Just checked my #Proxmox #BackupServer.
After some months of usage I now have a #deduplication factor of 22.I think this is quiet good.
🏷️ #HomeLab
-
Hard to believe the gymnastics required to “move” 1,000 files from one folder to another in an #Azure Cold Storage container.
Hoping to tackle 500gb+ of duplicate images in storage but even this tiny attempt to clean up a bit is making me think I’m using the wrong tools.