#datahub — Public Fediverse posts

Объясняю на пальцах — зачем твоему бизнесу каталог данных

Статья носит исключительно образовательный/ознакомительный характер. Она не служит цели, рекламировать какой-либо инструмент или ПО. Все наименования программного обеспечения, упомянутые в статье приведены из личного опыта. Ну-ка что там

https://habr.com/ru/articles/1020142/

#openmetadata #каталог_данных #датакаталог #datacatalog #data_governance #управление_данными #big_data #datahub #data #datadriven

Объясняю на пальцах — зачем твоему бизнесу каталог данных

Статья носит исключительно образовательный/ознакомительный характер. Она не служит цели, рекламировать какой-либо инструмент или ПО. Все наименования программного обеспечения, упомянутые в статье приведены из личного опыта. Ну-ка что там

https://habr.com/ru/articles/1020142/

#openmetadata #каталог_данных #датакаталог #datacatalog #data_governance #управление_данными #big_data #datahub #data #datadriven

Объясняю на пальцах — зачем твоему бизнесу каталог данных

Статья носит исключительно образовательный/ознакомительный характер. Она не служит цели, рекламировать какой-либо инструмент или ПО. Все наименования программного обеспечения, упомянутые в статье приведены из личного опыта. Ну-ка что там

https://habr.com/ru/articles/1020142/

#openmetadata #каталог_данных #датакаталог #datacatalog #data_governance #управление_данными #big_data #datahub #data #datadriven

Объясняю на пальцах — зачем твоему бизнесу каталог данных

Статья носит исключительно образовательный/ознакомительный характер. Она не служит цели, рекламировать какой-либо инструмент или ПО. Все наименования программного обеспечения, упомянутые в статье приведены из личного опыта. Ну-ка что там

https://habr.com/ru/articles/1020142/

#openmetadata #каталог_данных #датакаталог #datacatalog #data_governance #управление_данными #big_data #datahub #data #datadriven

Data catalog есть, а пользы нет: Частые ошибки внедрения

Data governance, data mesh, modern data stack, data lineage – столько разных data, столько разных популярных подходов и инструментов. Лидером по популярности (на мой скромный взгляд) среди всех них является data catalog. Многие говорят о нем, многие хотят его, многие уже внедрили. Но внедрить это одно дело, а вот получить от него пользу – дело совсем другое. Мы сформировали список самых частых проблем, основанные не только на нашем опыте, но и на опыте наших коллег, проанализировав множество статей и материалов на эту тему.

https://habr.com/ru/articles/1003158/

#data_catalog #data_governance #openmetadata #datahub #ai #metadata #метаданные #каталог_данных #управление_данными #data_quality

Data catalog есть, а пользы нет: Частые ошибки внедрения

Data governance, data mesh, modern data stack, data lineage – столько разных data, столько разных популярных подходов и инструментов. Лидером по популярности (на мой скромный взгляд) среди всех них является data catalog. Многие говорят о нем, многие хотят его, многие уже внедрили. Но внедрить это одно дело, а вот получить от него пользу – дело совсем другое. Мы сформировали список самых частых проблем, основанные не только на нашем опыте, но и на опыте наших коллег, проанализировав множество статей и материалов на эту тему.

https://habr.com/ru/articles/1003158/

#data_catalog #data_governance #openmetadata #datahub #ai #metadata #метаданные #каталог_данных #управление_данными #data_quality

Data catalog есть, а пользы нет: Частые ошибки внедрения

Data governance, data mesh, modern data stack, data lineage – столько разных data, столько разных популярных подходов и инструментов. Лидером по популярности (на мой скромный взгляд) среди всех них является data catalog. Многие говорят о нем, многие хотят его, многие уже внедрили. Но внедрить это одно дело, а вот получить от него пользу – дело совсем другое. Мы сформировали список самых частых проблем, основанные не только на нашем опыте, но и на опыте наших коллег, проанализировав множество статей и материалов на эту тему.

https://habr.com/ru/articles/1003158/

#data_catalog #data_governance #openmetadata #datahub #ai #metadata #метаданные #каталог_данных #управление_данными #data_quality

Data catalog есть, а пользы нет: Частые ошибки внедрения

Data governance, data mesh, modern data stack, data lineage – столько разных data, столько разных популярных подходов и инструментов. Лидером по популярности (на мой скромный взгляд) среди всех них является data catalog. Многие говорят о нем, многие хотят его, многие уже внедрили. Но внедрить это одно дело, а вот получить от него пользу – дело совсем другое. Мы сформировали список самых частых проблем, основанные не только на нашем опыте, но и на опыте наших коллег, проанализировав множество статей и материалов на эту тему.

https://habr.com/ru/articles/1003158/

#data_catalog #data_governance #openmetadata #datahub #ai #metadata #метаданные #каталог_данных #управление_данными #data_quality

Хороший, плохой, злой: База данных, data catalog и AI

Всех приветствую! Меня зовут Павел, работаю в компании Lasmart. Одно из направлений деятельности всегда было внедрение и развитие DWH. В какой-то момент задумались о том, чтобы оптимизировать прежде всего свою работу в некоторых аспектах. И первым инструментом сделали генерацию бизнес-описания на основе AI. Назвали Datadesc (data + description). Об этом опыте и пойдет речь в этой статье.

https://habr.com/ru/articles/996288/

#dwh #sql #data_catalog #openmetadata #datahub #data_engineering #data_analyst #semantic #arenadata_catalog #ai

Хороший, плохой, злой: База данных, data catalog и AI

Всех приветствую! Меня зовут Павел, работаю в компании Lasmart. Одно из направлений деятельности всегда было внедрение и развитие DWH. В какой-то момент задумались о том, чтобы оптимизировать прежде всего свою работу в некоторых аспектах. И первым инструментом сделали генерацию бизнес-описания на основе AI. Назвали Datadesc (data + description). Об этом опыте и пойдет речь в этой статье.

https://habr.com/ru/articles/996288/

#dwh #sql #data_catalog #openmetadata #datahub #data_engineering #data_analyst #semantic #arenadata_catalog #ai

Хороший, плохой, злой: База данных, data catalog и AI

Всех приветствую! Меня зовут Павел, работаю в компании Lasmart. Одно из направлений деятельности всегда было внедрение и развитие DWH. В какой-то момент задумались о том, чтобы оптимизировать прежде всего свою работу в некоторых аспектах. И первым инструментом сделали генерацию бизнес-описания на основе AI. Назвали Datadesc (data + description). Об этом опыте и пойдет речь в этой статье.

https://habr.com/ru/articles/996288/

#dwh #sql #data_catalog #openmetadata #datahub #data_engineering #data_analyst #semantic #arenadata_catalog #ai

Хороший, плохой, злой: База данных, data catalog и AI

Всех приветствую! Меня зовут Павел, работаю в компании Lasmart. Одно из направлений деятельности всегда было внедрение и развитие DWH. В какой-то момент задумались о том, чтобы оптимизировать прежде всего свою работу в некоторых аспектах. И первым инструментом сделали генерацию бизнес-описания на основе AI. Назвали Datadesc (data + description). Об этом опыте и пойдет речь в этой статье.

https://habr.com/ru/articles/996288/

#dwh #sql #data_catalog #openmetadata #datahub #data_engineering #data_analyst #semantic #arenadata_catalog #ai

1 Jahr #DataHub #Berlin: Fünf zentrale Erkenntnisse
zeigen, wie Berlin Datenarbeit in der Verwaltung
stärker etablieren will - mit 🛠️Tools, Zusammenarbeit 🤝& offenen Komponenten ⚙️für Visualisierung & Nutzung von Daten.
Mehr Infos:👇
https://www.technologiestiftung-berlin.de/profil/blog/1-jahr-data-hub-berlin-wie-wird-berlin-souveraener-in-der-datenarbeit-5-take-aways

DataHub + MCP: подключаем ИИ к управлению метаданными

Чем больше данных в компании, тем критичнее становится понимание того, где именно они хранятся и как изменяются при обновлениях. В «Островке» мы пользуемся дата-каталогами, но в какой-то момент решили пойти чуть дальше: объединили DataHub с генеративным ИИ через Model Context Protocol, чтобы сделать работу с метаданными более интерактивной и быстрой. Теперь сотрудники могут получать развернутые ответы на сложные вопросы о таблицах, lineage и зависимостях данных, не тратя часы на ручной поиск и согласования. Получилась не просто автоматизация рутинных задач, а, по сути, инструмент self-service аналитики. Под катом делимся опытом внедрения связки DataHub + MCP, рассказываем об архитектуре решения и показываем реальные примеры, как ИИ становится практическим помощником в управлении метаданными.

https://habr.com/ru/companies/ostrovok/articles/980210/

#data #datahub #ai #mcp #аналитика #большие_данные #датакаталог #метаданные #llm

Endlich. Nach jahrelangem Stillstand gibt es endlich einen #DataHub in #Berlin. Grundlage für viele Projekte und #OpenData. Ersten Projekte sind: „Akteure im Sozialraum sichtbar machen“, Dashboard der Stadtbibliothek #Pankow, Digitale Bezirksregionenprofile und bei der Landesgleichstellung. https://www.egovernment.de/data-hub-berlin-prototyp-veroeffentlicht-a-6228caa21feea8c0ba70519582db6679/

the development of a robust and interoperable data ecosystem.
https://nfdi4plants.org/news/2025-11-28-dataplant-participating-and-presenting-at-1st-oa-workshop-in-g%C3%B6ttingen/

#UseGalaxy #GalaxyProject #EOSC #UniFreiburg #NFDI #DataPlant #Workshop #architecture #DataHub #SoftwareAsAService #ro-crates #rocractes #arc #interoperable (2/2)

Der Prototyp des #DataHub #Berlin ist online:💡
Eine modulare #Datenplattform auf Open-Source Basis
ermöglicht Verwaltungen in Berlin, #Daten effektiver
zu bündeln und auszuwerten. ⚙️
Mehr Infos dazu hier:👇
https://www.kommune21.de/k21-meldungen/prototyp-des-data-hub-freigeschaltet/

Der Prototyp des #DataHub #Berlin ist online:💡
Eine modulare #Datenplattform auf Open-Source Basis
ermöglicht Verwaltungen in Berlin, #Daten effektiver
zu bündeln und auszuwerten. ⚙️
Mehr Infos dazu hier:👇
https://www.kommune21.de/k21-meldungen/prototyp-des-data-hub-freigeschaltet/

Der Prototyp des #DataHub #Berlin ist online:💡
Eine modulare #Datenplattform auf Open-Source Basis
ermöglicht Verwaltungen in Berlin, #Daten effektiver
zu bündeln und auszuwerten. ⚙️
Mehr Infos dazu hier:👇
https://www.kommune21.de/k21-meldungen/prototyp-des-data-hub-freigeschaltet/

Der Prototyp des #DataHub #Berlin ist online:💡
Eine modulare #Datenplattform auf Open-Source Basis
ermöglicht Verwaltungen in Berlin, #Daten effektiver
zu bündeln und auszuwerten. ⚙️
Mehr Infos dazu hier:👇
https://www.kommune21.de/k21-meldungen/prototyp-des-data-hub-freigeschaltet/

Der Prototyp des #DataHub #Berlin ist online:💡
Eine modulare #Datenplattform auf Open-Source Basis
ermöglicht Verwaltungen in Berlin, #Daten effektiver
zu bündeln und auszuwerten. ⚙️
Mehr Infos dazu hier:👇
https://www.kommune21.de/k21-meldungen/prototyp-des-data-hub-freigeschaltet/

DataHub не заменил наш самописный дата-каталог — и это нормально. Оптимизируем работу с метаданными

В Островке мы строим экосистему вокруг данных — от хранилищ и пайплайнов до систем мониторинга и каталогов. Но когда всё только начиналось, под часть наших процессов просто не существовало готовых решений. Так появился наш собственный дата-каталог DataPortal — лёгкий, быстрый и идеально подходящий для небольшой компании. Со временем всё изменилось: объём данных вырос в десятки раз, появились новые команды, и вместе с этим начали звучать вопросы вроде «где лежат данные для этого дашборда?», «кому писать, если он упал?» и «можно ли этим данным доверять?». Так мы поняли, что пора взрослеть — и искать инструмент, который поможет масштабировать не только инфраструктуру, но и дата-культуру . Мы выбрали DataHub — open-source каталог, обещавший прозрачность, автоматизацию и гибкость. Развернули, подключили источники, построили lineage, и даже порадовались, что всё заработало с первого раза. А потом стало ясно: DataHub не заменил наш DataPortal. Более того, оба инструмента отлично дополнили друг друга — инженерное ядро и удобное окно в данные для бизнеса. Почему два дата-каталога оказались лучше одного, как это повлияло на культуру работы с данными и что нам дал DataHub помимо красивых графов lineage — рассказываем под катом.

https://habr.com/ru/companies/ostrovok/articles/961196/

#датакаталог #datahub #управление_данными #data_quality #метаданные

DataHub не заменил наш самописный дата-каталог — и это нормально. Оптимизируем работу с метаданными

В Островке мы строим экосистему вокруг данных — от хранилищ и пайплайнов до систем мониторинга и каталогов. Но когда всё только начиналось, под часть наших процессов просто не существовало готовых решений. Так появился наш собственный дата-каталог DataPortal — лёгкий, быстрый и идеально подходящий для небольшой компании. Со временем всё изменилось: объём данных вырос в десятки раз, появились новые команды, и вместе с этим начали звучать вопросы вроде «где лежат данные для этого дашборда?», «кому писать, если он упал?» и «можно ли этим данным доверять?». Так мы поняли, что пора взрослеть — и искать инструмент, который поможет масштабировать не только инфраструктуру, но и дата-культуру . Мы выбрали DataHub — open-source каталог, обещавший прозрачность, автоматизацию и гибкость. Развернули, подключили источники, построили lineage, и даже порадовались, что всё заработало с первого раза. А потом стало ясно: DataHub не заменил наш DataPortal. Более того, оба инструмента отлично дополнили друг друга — инженерное ядро и удобное окно в данные для бизнеса. Почему два дата-каталога оказались лучше одного, как это повлияло на культуру работы с данными и что нам дал DataHub помимо красивых графов lineage — рассказываем под катом.

https://habr.com/ru/companies/ostrovok/articles/961196/

#датакаталог #datahub #управление_данными #data_quality #метаданные

DataHub не заменил наш самописный дата-каталог — и это нормально. Оптимизируем работу с метаданными

В Островке мы строим экосистему вокруг данных — от хранилищ и пайплайнов до систем мониторинга и каталогов. Но когда всё только начиналось, под часть наших процессов просто не существовало готовых решений. Так появился наш собственный дата-каталог DataPortal — лёгкий, быстрый и идеально подходящий для небольшой компании. Со временем всё изменилось: объём данных вырос в десятки раз, появились новые команды, и вместе с этим начали звучать вопросы вроде «где лежат данные для этого дашборда?», «кому писать, если он упал?» и «можно ли этим данным доверять?». Так мы поняли, что пора взрослеть — и искать инструмент, который поможет масштабировать не только инфраструктуру, но и дата-культуру . Мы выбрали DataHub — open-source каталог, обещавший прозрачность, автоматизацию и гибкость. Развернули, подключили источники, построили lineage, и даже порадовались, что всё заработало с первого раза. А потом стало ясно: DataHub не заменил наш DataPortal. Более того, оба инструмента отлично дополнили друг друга — инженерное ядро и удобное окно в данные для бизнеса. Почему два дата-каталога оказались лучше одного, как это повлияло на культуру работы с данными и что нам дал DataHub помимо красивых графов lineage — рассказываем под катом.

https://habr.com/ru/companies/ostrovok/articles/961196/

#датакаталог #datahub #управление_данными #data_quality #метаданные

DataHub не заменил наш самописный дата-каталог — и это нормально. Оптимизируем работу с метаданными

В Островке мы строим экосистему вокруг данных — от хранилищ и пайплайнов до систем мониторинга и каталогов. Но когда всё только начиналось, под часть наших процессов просто не существовало готовых решений. Так появился наш собственный дата-каталог DataPortal — лёгкий, быстрый и идеально подходящий для небольшой компании. Со временем всё изменилось: объём данных вырос в десятки раз, появились новые команды, и вместе с этим начали звучать вопросы вроде «где лежат данные для этого дашборда?», «кому писать, если он упал?» и «можно ли этим данным доверять?». Так мы поняли, что пора взрослеть — и искать инструмент, который поможет масштабировать не только инфраструктуру, но и дата-культуру . Мы выбрали DataHub — open-source каталог, обещавший прозрачность, автоматизацию и гибкость. Развернули, подключили источники, построили lineage, и даже порадовались, что всё заработало с первого раза. А потом стало ясно: DataHub не заменил наш DataPortal. Более того, оба инструмента отлично дополнили друг друга — инженерное ядро и удобное окно в данные для бизнеса. Почему два дата-каталога оказались лучше одного, как это повлияло на культуру работы с данными и что нам дал DataHub помимо красивых графов lineage — рассказываем под катом.

https://habr.com/ru/companies/ostrovok/articles/961196/

#датакаталог #datahub #управление_данными #data_quality #метаданные

Mit unserem #DataHub Europe wird eine entscheidende Lücke in der #KI- und Wertschöpfungskette Europas geschlossen, indem qualitativ hochwertige Daten für das Training von souveränen KI-Anwendungen bereitgestellt werden.

Mit dem #DataHub entsteht in einem einmaligen Ökosystem eine dringend benötigte souveräne Datenplattform, die das vollständig souveräne Training von #KI-Modellen mit hochwertigen Daten möglich macht. Ich hoffe, dass sich viele Partner anschließen, so Wissing. #DigitalGipfel. 

Mit dem Bundeskanzler schaute sich Volker Wissing unseren #DataHub Europe an. Dort werden #Daten aus 🇪🇺 für das Training von #LLM​s zur Verfügung gestellt, damit Firmen & Entwickler mit EU-Daten ihre Modelle trainieren u. nicht auf kuratierte US-Daten angewiesen sind. #DigitalGipfel #KI

🦠🚀 Empowering #Dengue research through data! The Dengue Data Hub, an initiative by the R Consortium, is revolutionizing access to dengue-related data. Learn how researchers can easily use this resource with the denguedatahub package, Shiny app, and website.

🔗https://r-consortium.org/posts/empowering-dengue-research-through-the-dengue-data-hub/

#rstats #openscience #publichealth #DataHub #Dengue

Не потеряться в данных: оптимизируем аналитику с помощью DataHub

Как не потеряться в данных для аналитики? Когда количество их источников ограничено, а аналитикой занимается пара человек, в целом всё понятно: обеспечить прозрачность вполне можно на уровне ведения документации (если заниматься этим ответственно). Но что, если данных в компании много, они отличаются сложной структурой и поступают из разных источников? Едут и из MongoDB, и из PostgresSQL, и из MS SQL; при этом постоянно появляются новые продукты и направления, данных становится ещё больше. Документация по ним устаревает примерно в тот момент, когда заканчиваешь её писать. Попутно растёт команда аналитиков — новым людям нужно рассказывать, что где лежит, откуда прилетает, какие есть особенности. Упростить жизнь в такой ситуации призван Data Catalog, и в Сравни мы выбрали популярный вариант — DataHub. Под катом рассказываем, как меняется работа с данными для аналитики, когда в твоей жизни появляется визуализация потоков данных.

https://habr.com/ru/companies/sravni/articles/844016/

#datahub #data_lineage #data_observability #data_platform #dwh #analytics #аналитика #данные

Не потеряться в данных: оптимизируем аналитику с помощью DataHub

Как не потеряться в данных для аналитики? Когда количество их источников ограничено, а аналитикой занимается пара человек, в целом всё понятно: обеспечить прозрачность вполне можно на уровне ведения документации (если заниматься этим ответственно). Но что, если данных в компании много, они отличаются сложной структурой и поступают из разных источников? Едут и из MongoDB, и из PostgresSQL, и из MS SQL; при этом постоянно появляются новые продукты и направления, данных становится ещё больше. Документация по ним устаревает примерно в тот момент, когда заканчиваешь её писать. Попутно растёт команда аналитиков — новым людям нужно рассказывать, что где лежит, откуда прилетает, какие есть особенности. Упростить жизнь в такой ситуации призван Data Catalog, и в Сравни мы выбрали популярный вариант — DataHub. Под катом рассказываем, как меняется работа с данными для аналитики, когда в твоей жизни появляется визуализация потоков данных.

https://habr.com/ru/companies/sravni/articles/844016/

#datahub #data_lineage #data_observability #data_platform #dwh #analytics #аналитика #данные

Не потеряться в данных: оптимизируем аналитику с помощью DataHub

Как не потеряться в данных для аналитики? Когда количество их источников ограничено, а аналитикой занимается пара человек, в целом всё понятно: обеспечить прозрачность вполне можно на уровне ведения документации (если заниматься этим ответственно). Но что, если данных в компании много, они отличаются сложной структурой и поступают из разных источников? Едут и из MongoDB, и из PostgresSQL, и из MS SQL; при этом постоянно появляются новые продукты и направления, данных становится ещё больше. Документация по ним устаревает примерно в тот момент, когда заканчиваешь её писать. Попутно растёт команда аналитиков — новым людям нужно рассказывать, что где лежит, откуда прилетает, какие есть особенности. Упростить жизнь в такой ситуации призван Data Catalog, и в Сравни мы выбрали популярный вариант — DataHub. Под катом рассказываем, как меняется работа с данными для аналитики, когда в твоей жизни появляется визуализация потоков данных.

https://habr.com/ru/companies/sravni/articles/844016/

#datahub #data_lineage #data_observability #data_platform #dwh #analytics #аналитика #данные

最近のデータカタログの各種機能の有無を確認してみた（2024年4月時点）
https://dev.classmethod.jp/articles/modern-data-stack-data-catalog-comparison-202404/

#dev_classmethod #データカタログ #Atlan #Secoda #CastorDoc #Castor #Select_Star #OpenMetadata #DataHub

Как мы внедряли каталог данных DataHub и искали компромисс между BI, DWH и ИБ

Счастлив тот аналитик, у которого в компании есть дата-каталог — единая точка входа для поиска информации о данных невероятно экономит время, data lineage выстроен, а уровень заполненности документации на высоком уровне. Чтобы это были не только мечты, наша команда аналитиков задумалась, как претворить их в реальность. Нам хотелось, чтобы инструмент для поиска описания данных был удобным как библиотечный каталог с широким функционалом. Меня зовут Костя Тюрин, я руковожу командой BI в СберМаркете. Год назад мы решили внедрить дата-каталог, и сейчас его MAU превышает количество аналитиков в два раза: им пользуется наша команда, а ещё дата-инженеры, менеджеры и команда ИБ. В статье делюсь нашим опытом внедрения DataHub’a и планами на дальнейшее развитие инструмента.

https://habr.com/ru/companies/sbermarket/articles/788402/

#data #data_observability #datahub #датакаталог

Как мы внедряли каталог данных DataHub и искали компромисс между BI, DWH и ИБ

Счастлив тот аналитик, у которого в компании есть дата-каталог — единая точка входа для поиска информации о данных невероятно экономит время, data lineage выстроен, а уровень заполненности документации на высоком уровне. Чтобы это были не только мечты, наша команда аналитиков задумалась, как претворить их в реальность. Нам хотелось, чтобы инструмент для поиска описания данных был удобным как библиотечный каталог с широким функционалом. Меня зовут Костя Тюрин, я руковожу командой BI в СберМаркете. Год назад мы решили внедрить дата-каталог, и сейчас его MAU превышает количество аналитиков в два раза: им пользуется наша команда, а ещё дата-инженеры, менеджеры и команда ИБ. В статье делюсь нашим опытом внедрения DataHub’a и планами на дальнейшее развитие инструмента.

https://habr.com/ru/companies/sbermarket/articles/788402/

#data #data_observability #datahub #датакаталог

Как мы внедряли каталог данных DataHub и искали компромисс между BI, DWH и ИБ

Счастлив тот аналитик, у которого в компании есть дата-каталог — единая точка входа для поиска информации о данных невероятно экономит время, data lineage выстроен, а уровень заполненности документации на высоком уровне. Чтобы это были не только мечты, наша команда аналитиков задумалась, как претворить их в реальность. Нам хотелось, чтобы инструмент для поиска описания данных был удобным как библиотечный каталог с широким функционалом. Меня зовут Костя Тюрин, я руковожу командой BI в СберМаркете. Год назад мы решили внедрить дата-каталог, и сейчас его MAU превышает количество аналитиков в два раза: им пользуется наша команда, а ещё дата-инженеры, менеджеры и команда ИБ. В статье делюсь нашим опытом внедрения DataHub’a и планами на дальнейшее развитие инструмента.

https://habr.com/ru/companies/sbermarket/articles/788402/

#data #data_observability #datahub #датакаталог

Как мы внедряли каталог данных DataHub и искали компромисс между BI, DWH и ИБ

Счастлив тот аналитик, у которого в компании есть дата-каталог — единая точка входа для поиска информации о данных невероятно экономит время, data lineage выстроен, а уровень заполненности документации на высоком уровне. Чтобы это были не только мечты, наша команда аналитиков задумалась, как претворить их в реальность. Нам хотелось, чтобы инструмент для поиска описания данных был удобным как библиотечный каталог с широким функционалом. Меня зовут Костя Тюрин, я руковожу командой BI в СберМаркете. Год назад мы решили внедрить дата-каталог, и сейчас его MAU превышает количество аналитиков в два раза: им пользуется наша команда, а ещё дата-инженеры, менеджеры и команда ИБ. В статье делюсь нашим опытом внедрения DataHub’a и планами на дальнейшее развитие инструмента.

https://habr.com/ru/companies/sbermarket/articles/788402/

#data #data_observability #datahub #датакаталог

Beim 8. #MOers|er #Hackday im Rathaus läuft ein Vortrag von Pascal Helfer über den #DataHub (Knotenpunkt) NRW zum #Tourismus. Das #Datenmanagement in diesem komplexen Bereich wird für Unternehmen und (internationale) Nutzer immer wichtiger. #ODDMO23
https://tourismusverband.nrw/themen/datenmanagement

Beim 8. #MOers|er #Hackday im Rathaus läuft ein Vortrag von Pascal Helfer über den #DataHub (Knotenpunkt) NRW zum #Tourismus. Das #Datenmanagement in diesem komplexen Bereich wird für Unternehmen und (internationale) Nutzer immer wichtiger. #ODDMO23
https://tourismusverband.nrw/themen/datenmanagement

BlackCat revendique des attaques informatiques à l'encontre de:

• 🇺🇸 PharmaCare Services (pharmacareservices.com)

• 🇺🇸 Fresh Del Monte Produce, Inc (freshdelmonte.com)

• 🇺🇸 NextGen Healthcare, Inc (nextgen.com)

#usa #billing #nutrition #ransomware #blackcat #beverages #management #pharma #juices #electronic #health #services #auditing #agriculture #partnership #informatics #data #payrolls #patients #engagement #financial #dessets #reports #pineapples #emr #software #vegetables #staff #medical #records #ehr #digital #technologies #numérique #clinical #vendors #devices #online #cloud #bananas #solutions #critical #careers #safety #market #consulting #storage #firms #shipping #food #records #healthcare #industries #providers #virtual #datahub #analytics #systems #ambulatory #plateform #investors #staffing #payments #resources #support #hospital #mobile #farming #management #packing #snacks #products #commercial #informatique

I am not sure if anyone around here is using #DataHub and #Postgres , but if you are, you might find my latest work (and open source) project useful.

It is a new source that can extract and emit the table lineage for all of the views in your database!

https://pypi.org/project/datahub-postgres-lineage/

@waltherg using Spark means that Pydeequ can handle very large files efficiently. Once the pain of installing Spark locally is over that bit is OK!

Yes, #DataHub supports push and pull mechanisms. We've used push since it means we can source control our metadata and it makes more sense in a federated model.

I've mainly worked with the quickstart (local) install of DataHub which is pretty straightforward if you have Docker working.

Anybody here using Linkedin #DataHub? #DataEngineering