#дедупликация — Public Fediverse posts

Одна франшиза — три адреса и два написания: дедупликация каталога франшиз по открытым данным

Человек, который вводит в поиск запрос вроде «франшиза каталог для малого», получает несколько каталогов, и в каждом тысячи карточек. Кажется, что из них легко собрать одну таблицу рынка: обойти, склеить, посчитать. Я так и думал, пока не попробовал склеить два каталога и один каталог сам с собой. Ниже - что я взял за ключ записи, сколько раз каждый ключ подвёл и что в итоге работает. Код на Python, данные сняты 6 и 16 октября 2026 года.

https://habr.com/ru/articles/1096154/

#python #парсинг #транслитерация #франчайзинг #открытые_данные #дедупликация #качество_данных #маркировка_рекламы #сопоставление_записей

Локальный ассистент для зумов, часть 10: NLI — три места, куда я его примерял, и два, откуда ушёл

Бюджет на квартал согласован и бюджет на квартал не согласован. Для эмбеддингов это почти одна фраза: слова те же, частица не в векторе весит мало. Для встречи это значит, что решили обратное. Вот из-за таких пар в Чароите живёт NLI-модель. Ниже — где она работает третий месяц, где я её снял и почему, и во что это обошлось.

https://habr.com/ru/articles/1092752/

#open_source #дедупликация #эмбеддинги #nli #onnxruntime #qwen #локальные_модели #bgem3 #mdeberta #граф_встреч

5 технических граблей на пути к AI‑агрегатору Telegram‑каналов

Делаю в одиночку приложение, которое собирает публикации из подобранных Telegram-каналов по темам, убирает дубли и шум с помощью AI-классификации и превращает результат в короткий аудио-дайджест. Ниже — не обзор архитектуры целиком, а разбор конкретных мест, где план и реальность разошлись, и что пришлось чинить.

https://habr.com/ru/articles/1085448/

#n8n #rss #дедупликация #telegram

29 копий одного документа на проде — как удалить лишние и не потерять нужную

Обычный день, любимый сервис и рандомная проверка: делюсь своим рабочим кейсом. Как из обычной проверки сервиса, который работал без замечаний, выросла целая задача на дедупликацию данных. Расскажу, в чём была разница между одинаковыми записями, как я искала «ту самую» среди десятков похожих и почему не стоило выбирать поваром Рафаэля только за то, что он последним заходил на кухню.

https://habr.com/ru/companies/svoi_ru/articles/1085036/

#системный_анализ #бизнесанализ #sql #базы_данных #дедупликация #очистка_данных #пограничные_сценарии #резервное_копирование

Скопируй и спаси: как устроена репликация в TATLIN.BACKUP

Серьезное хранилище резервных копий не просто дедуплицирует данные и не теряет все при вылете одного диска — оно как минимум состоит из двух нод на случай, если одна сломается. Серьезное хранилище умеет делать снапшоты, чтобы злоумышленник не испортил всё, получив доступ к файловым шарам. У такого хранилища есть дедупликация на клиенте. А еще действительно серьезное хранилище умеет реплицировать данные на другую систему. Без всех этих опций индустрия просто не рассмотрит такое Purpose Built Backup Appliance как достойного кандидата занять вакантное место в стойке. Под катом я расскажу о репликации в TATLIN.BACKUP: зачем нужно, как работает, какие особенности есть.

https://habr.com/ru/companies/yadro/articles/1082128/

#дедупликация #репликация #tatlinbackup #tboost

Self-hosted вместо подписок: асинхронная очередь для ИИ-агента на n8n и Redis

В прошлой статье ( https://habr.com/ru/articles/1071580/ ) я показал, как простой дебаунс на Redis спасает бюджет от дробных сообщений: клиент строчит "привет" - "сколько стоит" - "а есть другой размер" пятью сообщениями подряд, а LLM получает один склеенный промпт.

https://habr.com/ru/articles/1074734/

#n8n #amoCRM #Redis #дедупликация #дебаунс #автоматизация_процессов #чатботы #вебхуки #API #говнокод

Как поддерживать большую базу знаний для RAG и обновлять ее в полуавтоматическом режиме

У большой базы знаний есть неприятное свойство. Она хорошо отвечает на вопросы, которые в нее уже положили, и никак не сообщает о вопросах, которых в ней не хватает Пользователь задает вопрос AI-агенту, RAG не находит подходящего материала, и диалог уходит специалисту. Оператор разбирается и пишет правильный ответ. Через несколько дней приходит другой пользователь с той же проблемой, но для Agent ничего не изменилось. Ответ уже существует внутри компании, просто он остался в истории поддержки Чем больше обращений, тем хуже работает ручной контур. Продакт видит общую долю передач оператору, редактор получает отдельные просьбы обновить базу, а повторяющиеся вопросы растворяются среди тысяч диалогов. В итоге RAG пополняют по ощущениям, громким жалобам и случайно замеченным кейсам Мы решили построить сервис, который находит такие пробелы автоматически. Он читает обращения, выделяет полезные ответы операторов, объединяет повторы, сравнивает результат с текущей базой знаний и готовит редактору рекомендации

https://habr.com/ru/articles/1074624/

#RAG #база_знаний #LLM #AIагенты #семантический_поиск #дедупликация #humanintheloop #поддержка_пользователей #управление_знаниями #RetrievalAugmented_Generation

Дедупликации нет: два приказа по одному человеку поднимают два запуска. Ключ придётся держать в 1С

В документации Яндекс 360 API на 20 августа 2026 года нет раздела о webhooks, а событие создания пользователя доступно только опросом аудит-лога постфактум. Разбираю, что это значит для запуска провижининга от приказа 1С, почему успешный ответ входящего вебхука нельзя записывать в кадровую систему как выполненную операцию и где после этого живёт ключ дедупликации. Что проверить до согласования схемы

https://habr.com/ru/articles/1072570/

#входящий_вебхук #дедупликация #идемпотентность #провижининг #интеграция_с_1С #учётные_записи #Яндекс_360_API #аудитлог

Нужную книгу больше не обязательно искать: как ИИ меняет сам принцип работы с информацией

Что, если нужную книгу больше не нужно искать — её можно собрать под собственный вопрос? Я проверил эту идею на реальном корпусе: 206 длинных видео, 160 часов 56 минут и 2,15 млн слов транскриптов . Вместо сотен summary я построил конвейер, который выделяет сущности, схлопывает дубли, отслеживает происхождение выводов, проверяет важные утверждения и понимает, когда оставшиеся источники уже не нужно читать подряд. По ходу выяснилось, почему 9 URL могут оказаться одним источником , почему векторная кластеризация не решила задачу смысловых дублей, чем такой подход отличается от RAG и почему длинная работа ИИ-агента неожиданно начинает напоминать разработку обычной программной системы. Но главный вывод оказался шире самого проекта: единицей работы с информацией может становиться не источник, а наш вопрос.

https://habr.com/ru/companies/ods/articles/1070832/

#искусственный_интеллект #AIагенты #LLM #RAG #provenance #база_знаний #дедупликация #обработка_информации #управление_знаниями #fact_checking

Как создать архитектуру B2B-пайплайна, в которой не проверяется лишнее и не теряется нужное

На входе у нас вакансия, на выходе — проверенный контакт в одной из трёх кампаний. Между ними: дубли, таймауты, catch-all, неоднозначные SMTP-ответы и окно, в котором процесс может упасть после передачи контакта, но до сохранения статуса. Показываю, как мы расставили дешёвые и дорогие проверки и почему выбрали at-least-once.

https://habr.com/ru/articles/1070562/

#B2Bпайплайн #atleastonce #дедупликация #DNS #SMTP #crawler #email_validation #emailаутрич

Как я склеиваю 23 тысячи событий из пяти афиш — и почему дедуп нельзя делать необратимым

Зашёл тут на карту и вижу странную картину. На Чистых прудах висят три пина ровно друг на друге. Тыкаю, а там один и тот же «Вишнёвый сад» в Ленкоме. Совпадает всё, вплоть до времени и зала. Просто данные прилетели из трёх разных мест. Где-то площадка записана просто как Ленком, где-то полностью с именем Марка Захарова, а в третьем случае вообще пусто. Для пользователя это три разных события на карте, хотя спектакль на самом деле один. У меня сейчас Окрест тянет афиши по шестнадцати городам из Яндекс Афиши, Afisha.ru, Timepad, KudaGo и телеграм-каналов самих площадок. Сейчас в базе 23 097 активных событий, и пересечений между источниками много. 8260 событий приходят из двух источников, 533 из трёх, десять встречаются сразу в четырёх. На карте всё это должно превращаться в одну точку, а не в гирлянду пинов.

https://habr.com/ru/articles/1061956/

#дедупликация #fuzzy_matching #PostgreSQL #Python #транслитерация #нечёткое_сравнение #ON_CONFLICT #обработка_данных

Вчера в отчёте было 12 480, сегодня 12 517: пять причин, по которым цифры за прошлый месяц продолжают меняться

Цифры за закрытый месяц внезапно меняются, а поиск причины превращается в разбор всего пайплайна — от загрузки событий до логики витрин. В статье разбираем пять типовых сценариев, из‑за которых прошлое в отчётах продолжает «двигаться», и показываем, как сделать пересчёт данных предсказуемым.

https://habr.com/ru/companies/otus/articles/1058824/

#инкрементальная_загрузка #витрины_данных #опоздавшие_события #идемпотентность #дедупликация #event_time #ingested_at #SCD #часовые_пояса #пересчёт_данных

Кейс с артистами: дедупликация пользователей в базе данных и сохранение связанных с ними записей

Пользователи допускают опечатки при регистрации, и база данных постепенно превращается в хаос. Мы столкнулись с этим в одном из наших проектов в компании, где система поддерживала артистов и помогала координировать выступления. Меня зовут Илья Новиков , я технический директор компании «Исходный код». Ранее карточки артистов создавались автоматически на основе заявок на выступления. Поначалу это казалось вполне приемлемым: артист подает заявку, система создает карточку, администраторы могут с ней работать. На практике мы получили кучу дубликатов. В некоторых записях был один и тот же адрес электронной почты. В некоторых — один и тот же номер телефона. Некоторые были связаны и тем, и другим, но не всегда напрямую. Для команды, которой приходилось администрировать эту базу данных и координировать выступления, это стало настоящей проблемой. Стало непонятно, какая карточка артиста является подлинной, где хранится история бронирований и какую запись следует использовать для дальнейшей работы. Правильное решение — предотвращать появление дубликатов до того, как они попадут в систему. Я с этим согласен. Регистрация должна проверять данные, нормализовать контакты и проверять, существует ли человек уже в системе. Нам этого было недостаточно. У нас уже были производственные данные, производственные пользователи и производственный беспорядок. Нам нужно было перестраивать систему в процессе работы.

https://habr.com/ru/articles/1058264/

#дедупликация #очистка_данных #базы_данных #sql_запросы #рекурсивные_запросы #теория_графов #оптимизация_бд #архитектура_бд #data_cleaning

Дедупликация пользователей в базе данных: сохраняем связанные записи

Знакомая боль: пользователи опечатываются при регистрации, а база данных медленно, но верно превращается в хаос. На одном из проектов в поддержку артистов мы столкнулись с этим лицом к лицу. Раньше карточки артистов создавались автоматически прямо из заявок на выступления. В итоге мы получали гору дубликатов с одинаковыми почтами и телефонами. Администрировать такую базу и координировать выступления стало безумно сложно. Конечно, правильнее всего - пресекать появление дублей еще на входе, но нам нужно было оперативно перебирать систему на ходу и работать с тем, что уже накопилось в проде. Что мы придумали: Решили провести «склейку» профилей. Но просто удалить лишнее было нельзя - за каждым дублем тянулся шлейф из бронирований площадок и блокировок. Наша задача была перенести всю эту историю на одного, «главного» артиста в группе. Правило склейки сделали простым, но учли важную деталь - связи могут тянуться цепочкой. Например, если у первого и второго артиста совпал телефон, а у второго и третьего - почта, то вся троица объединяется в одну группу. Дальше мы определяем одного "главного" и аккуратно переносим все бронирования на него

https://habr.com/ru/articles/1049162/

#sql #postgresql #дедупликация #рекурсивные_запросы #cte #оптимизация_бд #базы_данных #графы #дубликаты #кейс

Как за один вечер разгрести 36 000 фотографий и почту с 2005 года, руками AI-агента и локальных моделей

Есть задачи, которые не делаются никогда. Не потому что сложные, а потому что объём убивает любое намерение на втором часу. У меня такой задачей был фотоархив: около 36 000 фото и видео, 222 ГБ, копившиеся 20 лет и размазанные вообще везде. Время пришло :)

https://habr.com/ru/articles/1047274/

#AIагент #локальные_модели #дедупликация #распознавание_лиц #диаризация #CLIP #Qwen25VL #MLX #InsightFace #czkawka

Разработка под Kubernetes: локально всё работает, в проде — нет. Кейс с Tetragon и eBPF

Локально всё работает идеально: политики ловят нарушения, логи пишутся, система стабильна. В проде Kubernetes-кластера — теряются события, появляются дубли, а дедупликация ломается от одного скрипта. Разбираю реальные проблемы, с которыми мы столкнулись при интеграции Tetragon и eBPF в реальный ИБ продукт, и почему Kubernetes ломает наивные предположения.

https://habr.com/ru/companies/ctsg/articles/1016326/

#tetragon #k8s #kubernetes #eBPF #дедупликация #безопасность_контейнеров

maxpack: межфайловая дедупликация на версионных данных

Разбор межфайловой дедупликации на версионных данных: почему обычная упаковка упирается в потолок и что меняется на CPython, Go и Node.js.

https://habr.com/ru/articles/1019718/

#сжатие_данных #дедупликация #архивация #versioned_data #tar #zstd #7z #snapshots

Почему без брокера пакетов NTA/NDR не видит все угрозы в сети

Последние громкие кибератаки показали: для безопасности корпоративной инфраструктуры требуется комплексный подход. Всё большую роль играют системы поведенческого анализа трафика, такие как NTA/NDR, которые позволяют выявлять обход средств защиты периметра и угрозы в сети на ранних стадиях. В статье разбираем, почему эффективность NTA/NDR напрямую зависит от качества данных на входе и почему брокер сетевых пакетов с нужным функционалом становится ключевым фактором успешного внедрения.

https://habr.com/ru/companies/dsol/articles/972516/

#брокер_сетевых_пакетов #pt_nad #nta #сетевая_безопасность #оптимизация_сетевого_трафика #агрегация #дедупликация #буферизация #защита_от_всплесков_трафика

Как насчет улучшить хранение резервных копий, BRO?

Привет, Хабр! Я Михаил Косцов, руковожу практикой вычислительной инфраструктуры и систем резервного копирования в К2Тех. Сегодня сделаю обзор и поделюсь с вами результатами теста еще одного интересного российского решения. Это программная система хранения резервных копий BRO с мощной дедупликацией для быстрого бэкапа и восстановления из него. Мы давно знали о разработке этой платформы, и уговорили вендора предоставить нам возможность «погонять» ее на реальном железе еще до официального релиза. Под катом — проверка производительности в реальных условиях, анализ уже реализованных и перспективных фичей, история с устранением багов, а также разбор аспектов настройки новинки для работы с популярными средствами РК.

https://habr.com/ru/companies/k2tech/articles/950894/

#хранение_данных #резервное_копирование #хранение_резервных_копий #BRO #дедупликация #бэкап #Backup_Recovery_OnTime #тестирование_по

Реализация Outbox паттерна в разных языках программирования

Привет, Хабр! Сегодня мы рассмотрим реализацию Outbox паттерна в разных ЯП. Цель простая: одним атомарным действием обновлять бизнес-данные и фиксировать факт события, а затем надежно доставлять его в брокер. Разберем общую схему, конкуренцию воркеров, ретраи, дедупликацию, метрики и покажу, как это собрать на C#, Java, Go, Python и Node.js.

https://habr.com/ru/companies/otus/articles/942122/

#Outboox #дедупликация #идемпотентность #атомарная_транзакция #ретраи #kafka #распределенные_системы

Реальная безопасность корпоративной сети — роль брокеров сетевых пакетов в анализе угроз

Последние громкие кибератаки показали: привычные средства защиты больше не гарантируют безопасность корпоративных сетей. Сегодня критично важно иметь полную видимость происходящего внутри инфраструктуры, пока действия злоумышленников не привели к серьёзному ущербу для бизнеса. Брокеры сетевых пакетов помогают решить эту задачу: они собирают трафик со всех сегментов сети, очищают его от лишнего и направляют в системы анализа. В статье разбираем, как они работают и почему без них современные средства сетевой аналитики рискуют оставаться слепыми и перегруженными данными.

https://habr.com/ru/companies/dsol/articles/935072/

#брокер_сетевых_пакетов #сетевой_мониторинг #Оптимизация_сетевого_трафика #Дедупликация #TAP_ответвитель #span #зеркалирование #NTA #PT_NAD #Kaspersky_KATA

ClickHouse не тормозит, но теряет данные. Часть 1 — дедупликация

ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных

https://habr.com/ru/articles/932502/

#clickhouse #субд #дедупликация #потеря_данных #аналитика #дубли #база_данных

Более 4 000 ГБ за 11 минут: тестируем три сценария резервного копирования с Кибер Бэкап и TATLIN.BACKUP

В формуле идеального решения для резервного копирования данных enterprise-класса много переменных. Одна из ключевых — производительность решения, включая скорость копирования, нагрузку на сеть и потребление вычислительных ресурсов хранилища и источника данных. Инженеры компаний YADRO и Киберпротект протестировали совместную работу системы резервного копирования Кибер Бэкап и системы хранения данных TATLIN.BACKUP в трех сценариях сохранения резервных копий виртуальных машин: с inline-дедупликацией, по протоколу NFS и агентом Tboost на узле хранения. Поделимся результатами тестирования совместимого решения, а заодно предметно поговорим об организации правильной архитектуры с учетом особенностей конкретной инфраструктуры.

https://habr.com/ru/companies/yadro/articles/899074/

#схд #дедупликация #тестирование #срк #резервное_копирование #виртуальные_машины #vmware

Как создать дедуплицирующую файловую систему с нуля? Опыт TATLIN.BACKUP

Как сделать высоконагруженную систему хранения данных в сжатые сроки? Чтобы она не падала через день, не теряла данные и не поглощала ресурсы, как Гулливер провизию в амбаре лилипутов. А еще нужно реализовать дедупликацию и заложить будущий функционал на этапе создания архитектуры. Неплохо бы и стоимость хранения гигабайта снизить до минимума, а скорость передачи данных наоборот, увеличить до второй космической. Меня зовут Ростислав, я эксперт по разработке ПО отдела систем обработки данных в YADRO. Расскажу о вкладе нашей команды в разработку TATLIN.BACKUP: как мы с нуля создали дедуплицирующую файловую систему, а также какие вызовы преодолели за два года разработки и 200 тысяч строк кода.

https://habr.com/ru/companies/yadro/articles/895058/

#дедупликация #rust #СХД #FUSE #nfs #smb #срк

От дедупликации до air gap: как повысить производительность и безопасность бэкапов

В этой статье я поделюсь практическим опытом оптимизации производительности и защищенности систем резервного копирования (СРК). Многие наши клиенты задумываются о том, как построить архитектуру корпоративных бэкапов и при этом оптимизировать затраты. Мы рассмотрим архитектурные особенности системы, поговорим о тонкостях настройки дедупликации, обсудим безопасность резервных копий и проанализируем актуальные решения на российском рынке. Материал основан на реальном опыте внедрений и будет полезен как техническим специалистам, так и руководителям ИТ-подразделений. Особое внимание уделим балансу между производительностью, надежностью и стоимостью владения — трем китам, на которых держится эффективная система резервного копирования. Разберем типичные ошибки, с которыми мы сталкиваемся при проектировании систем, и покажем, как их избежать.

https://habr.com/ru/companies/k2tech/articles/888480/

#бэкапы #резервное_копирование #архитектура_бэкапа #харденинг #дедупликация #кибербэкап #безопасность #защита_итинфраструктуры #хранение_данных

Дедупликация данных в Windows 10 и Windows 11 средствами Microsoft

Сегодня я кратко расскажу вам как включить дедупликацию данных в клиентских ОС - Windows 10 и Windows 11, добавив функционал из Windows Server, причем не какие-то сторонние бинарники, а оригинальные, подписанные файлы Microsoft, которые к тому же будут обновляться через Windows Update. В этой статье не будет описания дедупликации данных, - разве что совсем кратко что это такое, и не будет сравнения решений разных вендоров. Я дам ниже ссылки на достойные, на мой взгляд, статьи других авторов и готов буду отвечать на вопросы, если их зададут ниже в виде комментария или в ПМ. Начать знакомство рекомендую с базовой теории Введение в дедупликацию данных / Хабр (habr.com) от компании Veeam, затем почитать о том, что такое дедупликация Microsoft - Обзор и настройка средств дедупликации в Windows Server 2012 / Хабр (habr.com) - статья моего бывшего коллеги по Microsoft Георгия говорит о том, как настраивается дедупликация NTFS в Windows Server 2012. В последующих изданиях Windows Server 2012R2, 2016, 2019, 2022 и 2025 функционал развивался, появилась поддержка ReFS, стало возможно (неочевидным способом) дедуплицировать системный том, расширились компоненты управления, - но для конечного пользователя все остается там же. Установили одним кликом, включили для диска, забыли. В заключение подготовительной информации - тем кого действительно интересует кроссплатформенные решения и их сравнения, предложу ознакомиться со статьей Илии Карина - Dedup Windows vs Linux, MS снова “удивит”? / Хабр (habr.com) - его не должны заподозрить в рекламе Microsoft, его сравнение подходов, и результат меня самого удивил. У меня на такую большую исследовательскую работу сил и возможностей нет, - почитайте. И имейте в виду, что если вы используете последний Windows 11, то и компоненты дедупликации в нем будут последние, от Windows Server 2025, то есть с еще более впечатляющим результатом.

https://habr.com/ru/articles/822117/

#дедупликация #deduplication #dedup #tweak

Как провести unit-тестирование Flink-операторов: TestHarness

Привет всем, на связи снова Александр Бобряков, техлид в команде МТС Аналитики. Продолжаем цикл статей про фреймворк Apache Flink. Напомню, в предыдущих частях я рассказывал про построение пайплайна Kafka-to-Kafka с промежуточным разделением потока и дедупликацией событий. Также в предыдущей статье я рассказал, как можно динамически определить выходной Kafka-топик для каждого отправляемого события. Начиная с этой статьи начнём разбирать, как тестировать всё наше приложение Flink + Spring. Многие описанные подходы вполне применимы и в любом другом обычном Spring-приложении, поэтому, надеюсь, вы найдёте для себя что-то новое. В данной статье мы рассмотрим, как протестировать stateless- и stateful-операторы Flink с помощью абстракций TestHarness.

https://habr.com/ru/companies/ru_mts/articles/801693/

#java #big_data #data_engineering #распределенные_системы #дедупликация #apache_flink

Как работает дедупликация данных в потоке Kafka-to-Kafka?

Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей. В предыдущей части «Как использовать Spring в качестве фреймворка для Flink-приложений» я рассказывал, как реализовать минимальное Flink-приложение с использованием фреймворка Spring. Мы запустили первую Flink-задачу в поднятом в docker-compose кластере, а также проверили корректность результата по соответствующим логам. В этой статье решим реальную бизнес-задачу дедупликации данных в пайплайне Kafka-to-Kafka.

https://habr.com/ru/companies/ru_mts/articles/786012/

#java #bigdata #распределенные_системы #data_engineering #дедупликация