#метаданные — Public Fediverse posts

Как мы строили MVP data lineage системы в ЮMoney

Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

https://habr.com/ru/companies/yoomoney/articles/1027068/

#data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

Как мы строили MVP data lineage системы в ЮMoney

Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

https://habr.com/ru/companies/yoomoney/articles/1027068/

#data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

Как мы строили MVP data lineage системы в ЮMoney

Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

https://habr.com/ru/companies/yoomoney/articles/1027068/

#data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

Как мы строили MVP data lineage системы в ЮMoney

Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

https://habr.com/ru/companies/yoomoney/articles/1027068/

#data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

Описание данных: от Rare до Well-Done с помощью ИИ

Привет! Я — Игорь Дмитриев, Data Business Partner в Wildberries & Russ. В своей статье на Хабре я рассказываю о том, как мы в компании автоматизируем сопровождение данных, чтобы не делать работу руками. Если вы хотите, чтобы модные ИИ-агенты и LLM выдавали бизнесу реальные инсайты, а не «красивую чушь», данные нужно правильно описать = «прожарить». В этой статье я покажу, на каком уровне зрелости («прожарки») описания данных можно уже подключать LLM, и ИИ-агенты будут меньше галлюцинировать, какой уровень целевой и какой уровень точности между ними. Просим под кат за деталями.

https://habr.com/ru/companies/wildberries/articles/1019004/

#управление_данными #искусственный_интеллект #автоматизация_процессов #метаданные #бизнесглоссарий #семантический_слой #датакаталог

Невидимый след: автоматическая очистка метаданных из буфера обмена на Python

Существуют десятки утилит для очистки метаданных (от ExifTool до встроенных средств ОС), но у всех них есть общий минус — они требуют ручного действия. В результате родился MetaPure — фоновый демон для Windows, который перехватывает файлы в буфере обмена в момент копирования и бесшовно выжигает из них метаданные, прежде чем вы нажмете Ctrl+V . Windows хранит скопированные файлы, почему парсить XML напрямую иногда лучше, чем использовать готовые библиотеки, и какие грабли поджидают при работе с win32clipboard .

https://habr.com/ru/articles/1019184/

#python #windows #буфер_обмена #pywin32 #win32api #метаданные #приватность #exif

Data catalog есть, а пользы нет: Частые ошибки внедрения

Data governance, data mesh, modern data stack, data lineage – столько разных data, столько разных популярных подходов и инструментов. Лидером по популярности (на мой скромный взгляд) среди всех них является data catalog. Многие говорят о нем, многие хотят его, многие уже внедрили. Но внедрить это одно дело, а вот получить от него пользу – дело совсем другое. Мы сформировали список самых частых проблем, основанные не только на нашем опыте, но и на опыте наших коллег, проанализировав множество статей и материалов на эту тему.

https://habr.com/ru/articles/1003158/

#data_catalog #data_governance #openmetadata #datahub #ai #metadata #метаданные #каталог_данных #управление_данными #data_quality

Как мы сократили Lead Time с полутора недель до четырёх часов

Привет! Меня зовут Антон, я ведущий программист департамента аналитических решений ЮMoney. Хочу поделиться историей о том, как наша команда ускорила один из самых рутинных процессов в работе дата-инженера — загрузку информации из нового источника данных в хранилище. Мы не просто оптимизировали процесс, а практически свели к нулю многодневную рутину и тем самым высвободили время для решения более интересных задач. Наше технологичное решение помогает превратить сложный и долгий процесс в понятный и быстрый. Если вы строите хранилище данных, развиваете data-платформу или просто устали от однотипных ETL-задач, отнимающих недели, — этот разбор будет вам полезен. Покажу, какие архитектурные решения мы рассматривали и что в итоге сработало.

https://habr.com/ru/companies/yoomoney/articles/995720/

#dwh #etl #lead_time #кодогенерация #метаданные #платформенный_подход

Как мы сократили Lead Time с полутора недель до четырёх часов

Привет! Меня зовут Антон, я ведущий программист департамента аналитических решений ЮMoney. Хочу поделиться историей о том, как наша команда ускорила один из самых рутинных процессов в работе дата-инженера — загрузку информации из нового источника данных в хранилище. Мы не просто оптимизировали процесс, а практически свели к нулю многодневную рутину и тем самым высвободили время для решения более интересных задач. Наше технологичное решение помогает превратить сложный и долгий процесс в понятный и быстрый. Если вы строите хранилище данных, развиваете data-платформу или просто устали от однотипных ETL-задач, отнимающих недели, — этот разбор будет вам полезен. Покажу, какие архитектурные решения мы рассматривали и что в итоге сработало.

https://habr.com/ru/companies/yoomoney/articles/995720/

#dwh #etl #lead_time #кодогенерация #метаданные #платформенный_подход

Как мы сократили Lead Time с полутора недель до четырёх часов

Привет! Меня зовут Антон, я ведущий программист департамента аналитических решений ЮMoney. Хочу поделиться историей о том, как наша команда ускорила один из самых рутинных процессов в работе дата-инженера — загрузку информации из нового источника данных в хранилище. Мы не просто оптимизировали процесс, а практически свели к нулю многодневную рутину и тем самым высвободили время для решения более интересных задач. Наше технологичное решение помогает превратить сложный и долгий процесс в понятный и быстрый. Если вы строите хранилище данных, развиваете data-платформу или просто устали от однотипных ETL-задач, отнимающих недели, — этот разбор будет вам полезен. Покажу, какие архитектурные решения мы рассматривали и что в итоге сработало.

https://habr.com/ru/companies/yoomoney/articles/995720/

#dwh #etl #lead_time #кодогенерация #метаданные #платформенный_подход

Как мы сократили Lead Time с полутора недель до четырёх часов

Привет! Меня зовут Антон, я ведущий программист департамента аналитических решений ЮMoney. Хочу поделиться историей о том, как наша команда ускорила один из самых рутинных процессов в работе дата-инженера — загрузку информации из нового источника данных в хранилище. Мы не просто оптимизировали процесс, а практически свели к нулю многодневную рутину и тем самым высвободили время для решения более интересных задач. Наше технологичное решение помогает превратить сложный и долгий процесс в понятный и быстрый. Если вы строите хранилище данных, развиваете data-платформу или просто устали от однотипных ETL-задач, отнимающих недели, — этот разбор будет вам полезен. Покажу, какие архитектурные решения мы рассматривали и что в итоге сработало.

https://habr.com/ru/companies/yoomoney/articles/995720/

#dwh #etl #lead_time #кодогенерация #метаданные #платформенный_подход

Удалил сервер из мессенджера. Как общаться по P2P в 2026 году без метаданных и Google Services. Личный опыт и KMP

Помните обещания об «абсолютной приватности»? Марк клялся, Павел обещал, но в 2025-м новости о мессенджерах всё больше напоминали сводки с фронта: утечки сотен гигабайт переписки, найденные бэкдоры и данные, внезапно ставшие доступными «третьим лицам». Пока большинство проектов пытается защитить серверную часть или внедрить еще более сложные протоколы шифрования, я решил пойти другим путем: просто убрать сервер из этой цепочки. В чем реальная уязвимость сигнальных серверов Многие мессенджеры гордятся стойкостью шифрования - AES-ключи, обфускация трафика и борьба с DPI выглядят солидно. Но остается один критический нюанс: у них всё равно есть сервер. Даже если его называют «сигнальным» и говорят, что он нужен только для установления связи, это всё равно точка сбора данных. Если данные где-то собираются, за ними рано или поздно придут. Будь то хакерская атака или официальный запрос - метаданные (кто, когда и с кем общался) могут рассказать о вас больше, чем само содержание сообщений. Ну и наконец в серверную могут просто прийти уполномоченные люди которые потребуют предоставить доступ ко всему ).

https://habr.com/ru/articles/986700/

#WebRTC #Kotlin_Multiplatform #P2P #Информационная_безопасность #Приватность #Сетевые_технологии #Android_разработка #Бессерверная_архитектура #Метаданные #Разработка_мессенджеров

Удалил сервер из мессенджера. Как общаться по P2P в 2026 году без метаданных и Google Services. Личный опыт и KMP

Помните обещания об «абсолютной приватности»? Марк клялся, Павел обещал, но в 2025-м новости о мессенджерах всё больше напоминали сводки с фронта: утечки сотен гигабайт переписки, найденные бэкдоры и данные, внезапно ставшие доступными «третьим лицам». Пока большинство проектов пытается защитить серверную часть или внедрить еще более сложные протоколы шифрования, я решил пойти другим путем: просто убрать сервер из этой цепочки. В чем реальная уязвимость сигнальных серверов Многие мессенджеры гордятся стойкостью шифрования - AES-ключи, обфускация трафика и борьба с DPI выглядят солидно. Но остается один критический нюанс: у них всё равно есть сервер. Даже если его называют «сигнальным» и говорят, что он нужен только для установления связи, это всё равно точка сбора данных. Если данные где-то собираются, за ними рано или поздно придут. Будь то хакерская атака или официальный запрос - метаданные (кто, когда и с кем общался) могут рассказать о вас больше, чем само содержание сообщений. Ну и наконец в серверную могут просто прийти уполномоченные люди которые потребуют предоставить доступ ко всему ).

https://habr.com/ru/articles/986700/

#WebRTC #Kotlin_Multiplatform #P2P #Информационная_безопасность #Приватность #Сетевые_технологии #Android_разработка #Бессерверная_архитектура #Метаданные #Разработка_мессенджеров

Удалил сервер из мессенджера. Как общаться по P2P в 2026 году без метаданных и Google Services. Личный опыт и KMP

Помните обещания об «абсолютной приватности»? Марк клялся, Павел обещал, но в 2025-м новости о мессенджерах всё больше напоминали сводки с фронта: утечки сотен гигабайт переписки, найденные бэкдоры и данные, внезапно ставшие доступными «третьим лицам». Пока большинство проектов пытается защитить серверную часть или внедрить еще более сложные протоколы шифрования, я решил пойти другим путем: просто убрать сервер из этой цепочки. В чем реальная уязвимость сигнальных серверов Многие мессенджеры гордятся стойкостью шифрования - AES-ключи, обфускация трафика и борьба с DPI выглядят солидно. Но остается один критический нюанс: у них всё равно есть сервер. Даже если его называют «сигнальным» и говорят, что он нужен только для установления связи, это всё равно точка сбора данных. Если данные где-то собираются, за ними рано или поздно придут. Будь то хакерская атака или официальный запрос - метаданные (кто, когда и с кем общался) могут рассказать о вас больше, чем само содержание сообщений. Ну и наконец в серверную могут просто прийти уполномоченные люди которые потребуют предоставить доступ ко всему ).

https://habr.com/ru/articles/986700/

#WebRTC #Kotlin_Multiplatform #P2P #Информационная_безопасность #Приватность #Сетевые_технологии #Android_разработка #Бессерверная_архитектура #Метаданные #Разработка_мессенджеров

Удалил сервер из мессенджера. Как общаться по P2P в 2026 году без метаданных и Google Services. Личный опыт и KMP

Помните обещания об «абсолютной приватности»? Марк клялся, Павел обещал, но в 2025-м новости о мессенджерах всё больше напоминали сводки с фронта: утечки сотен гигабайт переписки, найденные бэкдоры и данные, внезапно ставшие доступными «третьим лицам». Пока большинство проектов пытается защитить серверную часть или внедрить еще более сложные протоколы шифрования, я решил пойти другим путем: просто убрать сервер из этой цепочки. В чем реальная уязвимость сигнальных серверов Многие мессенджеры гордятся стойкостью шифрования - AES-ключи, обфускация трафика и борьба с DPI выглядят солидно. Но остается один критический нюанс: у них всё равно есть сервер. Даже если его называют «сигнальным» и говорят, что он нужен только для установления связи, это всё равно точка сбора данных. Если данные где-то собираются, за ними рано или поздно придут. Будь то хакерская атака или официальный запрос - метаданные (кто, когда и с кем общался) могут рассказать о вас больше, чем само содержание сообщений. Ну и наконец в серверную могут просто прийти уполномоченные люди которые потребуют предоставить доступ ко всему ).

https://habr.com/ru/articles/986700/

#WebRTC #Kotlin_Multiplatform #P2P #Информационная_безопасность #Приватность #Сетевые_технологии #Android_разработка #Бессерверная_архитектура #Метаданные #Разработка_мессенджеров

Сколько афобазола выпьют 106 айтишников после отправки сообщения не в тот чат

Опрос: бытовые взаимоотношения айтишников с безопасностью. Если вы заполняли праздничную неформальную анкету от InfoWatch и Труконф, заходите посмотреть ответы. Если не заполняли, тоже заходите.

https://habr.com/ru/articles/985778/

#InfoWatch #биометрия #пароли_пользователей #искусственный_интеллект #метаданные #безопасность_в_сети #отслеживание_пользователей #кибербезопасность #социальная_инженерия #труконф

DataHub + MCP: подключаем ИИ к управлению метаданными

Чем больше данных в компании, тем критичнее становится понимание того, где именно они хранятся и как изменяются при обновлениях. В «Островке» мы пользуемся дата-каталогами, но в какой-то момент решили пойти чуть дальше: объединили DataHub с генеративным ИИ через Model Context Protocol, чтобы сделать работу с метаданными более интерактивной и быстрой. Теперь сотрудники могут получать развернутые ответы на сложные вопросы о таблицах, lineage и зависимостях данных, не тратя часы на ручной поиск и согласования. Получилась не просто автоматизация рутинных задач, а, по сути, инструмент self-service аналитики. Под катом делимся опытом внедрения связки DataHub + MCP, рассказываем об архитектуре решения и показываем реальные примеры, как ИИ становится практическим помощником в управлении метаданными.

https://habr.com/ru/companies/ostrovok/articles/980210/

#data #datahub #ai #mcp #аналитика #большие_данные #датакаталог #метаданные #llm

Создание и обновление материализованных представлений (MV) в StarRocks: пошаговый разбор

В статье — пошаговый разбор создания и обновления материализованных представлений (MV) в StarRocks: от парсинга SQL (ANTLR) и инициализации свойств до сериализации метаданных (edit log, checkpoint, image) и планирования refresh. Разбираем синхронизацию партиций (range‑партиционирование), параметр partition_refresh_number и оптимизацию обновлений. Отдельный блок — поддержка нескольких выражений в UNION ALL и механизм VirtualPartitions из PR #60035, позволяющий корректно обновлять сдвинутые временными функциями (date_add/date_sub) диапазоны без пропусков. Материал будет полезен инженерам данных и тем, кто проектирует OLAP‑модели и MV под высокую нагрузку.

https://habr.com/ru/articles/980368/

#StarRocks #материализованные_представления #MV #Big_Data #OLAP #партиционирование #refresh #UNION_ALL #virtual_partitions #метаданные

Создание и обновление материализованных представлений (MV) в StarRocks: пошаговый разбор

В статье — пошаговый разбор создания и обновления материализованных представлений (MV) в StarRocks: от парсинга SQL (ANTLR) и инициализации свойств до сериализации метаданных (edit log, checkpoint, image) и планирования refresh. Разбираем синхронизацию партиций (range‑партиционирование), параметр partition_refresh_number и оптимизацию обновлений. Отдельный блок — поддержка нескольких выражений в UNION ALL и механизм VirtualPartitions из PR #60035, позволяющий корректно обновлять сдвинутые временными функциями (date_add/date_sub) диапазоны без пропусков. Материал будет полезен инженерам данных и тем, кто проектирует OLAP‑модели и MV под высокую нагрузку.

https://habr.com/ru/articles/980368/

#StarRocks #материализованные_представления #MV #Big_Data #OLAP #партиционирование #refresh #UNION_ALL #virtual_partitions #метаданные

Создание и обновление материализованных представлений (MV) в StarRocks: пошаговый разбор

В статье — пошаговый разбор создания и обновления материализованных представлений (MV) в StarRocks: от парсинга SQL (ANTLR) и инициализации свойств до сериализации метаданных (edit log, checkpoint, image) и планирования refresh. Разбираем синхронизацию партиций (range‑партиционирование), параметр partition_refresh_number и оптимизацию обновлений. Отдельный блок — поддержка нескольких выражений в UNION ALL и механизм VirtualPartitions из PR #60035, позволяющий корректно обновлять сдвинутые временными функциями (date_add/date_sub) диапазоны без пропусков. Материал будет полезен инженерам данных и тем, кто проектирует OLAP‑модели и MV под высокую нагрузку.

https://habr.com/ru/articles/980368/

#StarRocks #материализованные_представления #MV #Big_Data #OLAP #партиционирование #refresh #UNION_ALL #virtual_partitions #метаданные

Создание и обновление материализованных представлений (MV) в StarRocks: пошаговый разбор

В статье — пошаговый разбор создания и обновления материализованных представлений (MV) в StarRocks: от парсинга SQL (ANTLR) и инициализации свойств до сериализации метаданных (edit log, checkpoint, image) и планирования refresh. Разбираем синхронизацию партиций (range‑партиционирование), параметр partition_refresh_number и оптимизацию обновлений. Отдельный блок — поддержка нескольких выражений в UNION ALL и механизм VirtualPartitions из PR #60035, позволяющий корректно обновлять сдвинутые временными функциями (date_add/date_sub) диапазоны без пропусков. Материал будет полезен инженерам данных и тем, кто проектирует OLAP‑модели и MV под высокую нагрузку.

https://habr.com/ru/articles/980368/

#StarRocks #материализованные_представления #MV #Big_Data #OLAP #партиционирование #refresh #UNION_ALL #virtual_partitions #метаданные

Скрываем данные от стандартного режима exiftool прямо в чанках PNG

В настоящий момент, exiftool является мощным инструментом для анализа и изменения различной информации о файлах. Недавно, экспериментируя с файлами формата PNG и exiftool, я обнаружил одну занятную вещь, связанную с тем, что exiftool в стандартном режиме не считывает кастомные чанки PNG. В данной статье рассмотрим структуру файлов PNG и способ как вписывать невидимые для стандартного режима exiftool чанки в PNG.

https://habr.com/ru/articles/970328/

#файлы #png #стеганография #разработка #rust #метаданные #exiftool #структура

Внедрение DAM-системы: как навести порядок в цифровом хаосе и ускорить бизнес

«Где финал баннера?», «Почему опять старый логотип?» — если эти вопросы звучат чаще обычного, значит, в компании уже начался контентный хаос. Файлы лежат в облаках, мессенджерах и на личных ноутбуках. Версии путаются, подрядчики получают не то, дедлайны сдвигаются. В какой-то момент бизнес понимает: просто «общего диска» уже мало. В статье разбираемся: – чем DAM отличается от облачных хранилищ; – как он помогает маркетингу, бренду, продажам и ИТ; – как AI сокращает ошибки и ускоряет работу; – что важно при выборе системы и почему внедрение начинается не с софта, а с процессов; – типичные провалы и как их избежать.

https://habr.com/ru/companies/compo/articles/967534/

#цифровизация #медиа #контент #интеграции #хранилище_файлов #dam_система #java #автоматизация #метаданные #импортозамещение

DataHub не заменил наш самописный дата-каталог — и это нормально. Оптимизируем работу с метаданными

В Островке мы строим экосистему вокруг данных — от хранилищ и пайплайнов до систем мониторинга и каталогов. Но когда всё только начиналось, под часть наших процессов просто не существовало готовых решений. Так появился наш собственный дата-каталог DataPortal — лёгкий, быстрый и идеально подходящий для небольшой компании. Со временем всё изменилось: объём данных вырос в десятки раз, появились новые команды, и вместе с этим начали звучать вопросы вроде «где лежат данные для этого дашборда?», «кому писать, если он упал?» и «можно ли этим данным доверять?». Так мы поняли, что пора взрослеть — и искать инструмент, который поможет масштабировать не только инфраструктуру, но и дата-культуру . Мы выбрали DataHub — open-source каталог, обещавший прозрачность, автоматизацию и гибкость. Развернули, подключили источники, построили lineage, и даже порадовались, что всё заработало с первого раза. А потом стало ясно: DataHub не заменил наш DataPortal. Более того, оба инструмента отлично дополнили друг друга — инженерное ядро и удобное окно в данные для бизнеса. Почему два дата-каталога оказались лучше одного, как это повлияло на культуру работы с данными и что нам дал DataHub помимо красивых графов lineage — рассказываем под катом.

https://habr.com/ru/companies/ostrovok/articles/961196/

#датакаталог #datahub #управление_данными #data_quality #метаданные

Как музыканты издеваются над программистами

Музыканты - ребята творческие. И называют они себя и свои произведения тоже творчески. Иногда так заковыристо, что программистам стримингов и музыкальных сервисов остается только посочувствовать. Вот, казалось бы, что может быть проще: создать базу треков и исполнителей. Пишем имя артиста/группы, название альбома, список треков и даем возможность по ним искать. Но потом натыкаемся на исполнителя Prince, который изменил своё имя на знак, который не существует и начинаем печалиться, потому что непонятно, как его искать после переименования. Фанаты вроде как нашли выход и предложили использовать 4 спец.символа юникода Ƭ̵̬̊, что тоже похоже на костыль, а задавать старое имя как псевдоним, вроде как концептуально неправильно. Ну или попадаются металлюги Brouillard, у которых каждый альбом называется так же - Brouillard. А каждый трек внутри альбома имеет такое же название. Но это еще цветочки, потому дальше тесты целостности библиотеки начинают падать, так как в ней попадаются треки длиной либо одну секунду, либо 639 часов. Ну или встречаются треки с нулевым номером, потому что это так называе "секретные" композиции, которые можно было найти включением первого трека и переключением плеера назад. Как вы понимаете, сегодня мы поговорим о музыкальных edge-случаях. Заходите, будет интересно.

https://habr.com/ru/companies/beget/articles/960648/

#музыкальные_метаданные #базы_данных #юникод #edge_cases #музыкальные_сервисы #разработка #костыли_в_коде #музыка #стриминг #метаданные

Невидимая сторона чата: борьба MAX с метаданными и трекингом пользователей

Сегодня уже никого не удивить словами end-to-end шифрование . Почти каждый мессенджер заявляет о «полной безопасности переписки». Но мало кто говорит о том, что остаётся невидимым слоем данных — метаданные.

https://habr.com/ru/articles/949480/

#метаданные #приватность #анонимность #mixnet #device_fingerprinting #MAX #шифрование #конфиденциальность #безопасный_мессенджер #цифровой_след

Невидимая сторона чата: борьба MAX с метаданными и трекингом пользователей

Сегодня уже никого не удивить словами end-to-end шифрование . Почти каждый мессенджер заявляет о «полной безопасности переписки». Но мало кто говорит о том, что остаётся невидимым слоем данных — метаданные.

https://habr.com/ru/articles/949480/

#метаданные #приватность #анонимность #mixnet #device_fingerprinting #MAX #шифрование #конфиденциальность #безопасный_мессенджер #цифровой_след

Невидимая сторона чата: борьба MAX с метаданными и трекингом пользователей

Сегодня уже никого не удивить словами end-to-end шифрование . Почти каждый мессенджер заявляет о «полной безопасности переписки». Но мало кто говорит о том, что остаётся невидимым слоем данных — метаданные.

https://habr.com/ru/articles/949480/

#метаданные #приватность #анонимность #mixnet #device_fingerprinting #MAX #шифрование #конфиденциальность #безопасный_мессенджер #цифровой_след

Невидимая сторона чата: борьба MAX с метаданными и трекингом пользователей

Сегодня уже никого не удивить словами end-to-end шифрование . Почти каждый мессенджер заявляет о «полной безопасности переписки». Но мало кто говорит о том, что остаётся невидимым слоем данных — метаданные.

https://habr.com/ru/articles/949480/

#метаданные #приватность #анонимность #mixnet #device_fingerprinting #MAX #шифрование #конфиденциальность #безопасный_мессенджер #цифровой_след

Мета-ориентирование, баланс между классическим документированием и автодокументированием

Добрый день! Меня зовут Воронин Николай, я занимаюсь автоматизацией систем отчётности и анализа в ПГКДиджитал. Моя статья является структурированием личного опыта, полученного в конкретных условиях, он не претендует на статус best-practice, допускает ситуации, в которых могут существовать более эффективные решения или проблема не стоит в целом. Мета-ориентирование – это общее название, в рамках статьи, для совокупности навыков и подходов, облегчающих понимание частных алгоритмов и потоков данных в большой системе со сложными связями между множеством объектов. В моём случае речь пойдёт о комплексе нескольких BI систем, существующих параллельно, но сложности вполне могут возникать и в рамках одной, достаточно массивной системы отчётности.

https://habr.com/ru/companies/pgk/articles/919566/

#документирование_кода #навигация #метаданные #автодокументация #навыки #анализ

AI-диалоги под контролем: как структурный подход улучшает архитектуру, аналитику и разработку

Как структурировать диалоги с LLM: шаблоны, интенты, статусы и архитектура ai-dialog-system , превращающая хаос в управляемую систему. Подход подходит для аналитики, CI и командной разработки.

https://habr.com/ru/articles/922900/

#llm #диалоговые_системы #архитектура #шаблоны #open_source #метаданные #интенты #анализ_и_проектирование_систем #структурирование #rag

Obsidian для профессионалов: рабочая система заметок на стыке подходов

Как совместить порядок классической иерархии и гибкость Zettelkasten в одной базе знаний? Делюсь своим опытом построения эффективной системы заметок в Obsidian для инженеров и IT-специалистов: структура, шаблоны, метаданные, соответствие ITIL и ISO. Если вы хотите, чтобы ваши заметки работали на вас, а не против - эта статья поможет навести порядок и ускорить работу с документацией.

https://habr.com/ru/articles/911094/

#obsidian #zettelkasten #документация #организация_знаний #itil #iso_20000 #iso_27001 #метаданные #шаблоны #эффективность

Что такое метаданные в BI и как ими управлять? Обзор инструмента OpenMetadata

Метаданные или метаинформация – это данные, которые предоставляют информацию о других данных. Подробнее о том, с какими метаданными сталкиваются в BI, чем полезны системы управления метаданными и с какими важными функциями инструмента OpenMetadata знакома на практике, рассказываю в этой статье.

https://habr.com/ru/articles/868336/

#метаданные #bi #business_intelligence #управление_данными #каталог_данных #качество_данных #управление_качеством_данных #metadata #аналитика_данных

Документация, которая точно не навредит аналитике в Вашем проекте

Привет! Я работаю Chief Data Officer в средней российской компании и, думаю, попробовал «всякое» в плане работы с документацией для команды, которая работает с данными. Хочу поделиться своим опытом того, что «маст хев» в документации в Вашем проекте, когда есть планы вроде «make analysis great [again]». Нука-нука!

https://habr.com/ru/articles/864512/

#документация_это_легко #аналитика_данных #data_analysis #data_engineering #метаданные

Кто ещё здесь не разрабатывал русский BI?

Год назад я планировал выпустить серию статей по мотивам бесед с моими коллегами, но дальше одной статьи не пошло, хотя материала накопилось достаточно. Большинство моих товарищей остались на прошлых местах работ и считаю необходимым в знак уважения перед этими неординарными и талантливыми личностями продолжить свои рассказы охотника до талантов. Сегодня - это руководитель и senior fullstack Марк Локшин. В этой беседе мы обсуждаем о заходе в тему разработки собственного инструмента Business Intelligence. Тема недвусмысленно намекает на то, что данная тема уже не раз была описана на соответствующих ресурсах, а российский рынок даже после ухода с него западных вендоров обладает собственным набором вполне зрелых и рабочих решений. Собственно, откуда у нас появилась такая задача? Конечно же от заказчиков. А заказчики у нас чаще специфические: государственные и около организации, администрации субъектов регионов. У этих «ребят» чаще всего основная задача показать большому начальнику на совещании красивый график и отчитаться, как же все классно поработали, у особенных из этих заказчиков предъявлены жесткие требования к инструментам разработки. Поехали

https://habr.com/ru/articles/814731/

#BI #Реиспользование #модульность #метаданные #etl #визуализация #интеграция