home.social

#cypher — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #cypher, aggregated by home.social.

  1. Как мы строили MVP data lineage системы в ЮMoney

    Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

    habr.com/ru/companies/yoomoney

    #data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

  2. Как мы строили MVP data lineage системы в ЮMoney

    Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

    habr.com/ru/companies/yoomoney

    #data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

  3. Как мы строили MVP data lineage системы в ЮMoney

    Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

    habr.com/ru/companies/yoomoney

    #data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

  4. Как мы строили MVP data lineage системы в ЮMoney

    Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

    habr.com/ru/companies/yoomoney

    #data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

  5. 083 - X-Force Annual #1 - 3/24/1992

    X-Force of the future...today (well, 1992)!

    Cover by Greg Capullo. Interiors by Fabian Nicieza & Capullo.

    #XmenADay #XMen #XFactor40 #XForce #Shatterstar #Warlock #Cypher

  6. 008 - All New X-Factor #1 - 1/8/2014

    Any big fans of "Corporate X-Factor" out there?

    Cover by Kris Anka. Interiors by Peter David & Carmine Di Giandomenico.

    #XmenADay #XMen #XFactor40 #AllNewXFactor #Polaris #Cypher #Gambit #Quicksilver

  7. Our first ever full-length video is now available on YouTube:
    RPGBOT 2025 Charity Stream: Old Gods of Apalachia, Part 1

    youtu.be/1GzhE1859XA

    #TTRPG #Podcast #ActualPlay #Cypher #oldgodsofappalachia

  8. Our first ever full-length video is now available on YouTube:
    RPGBOT 2025 Charity Stream: Old Gods of Apalachia, Part 1

    youtu.be/1GzhE1859XA

    #TTRPG #Podcast #ActualPlay #Cypher #oldgodsofappalachia

  9. Our first ever full-length video is now available on YouTube:
    RPGBOT 2025 Charity Stream: Old Gods of Apalachia, Part 1

    youtu.be/1GzhE1859XA

    #TTRPG #Podcast #ActualPlay #Cypher #oldgodsofappalachia

  10. Our first ever full-length video is now available on YouTube:
    RPGBOT 2025 Charity Stream: Old Gods of Apalachia, Part 1

    youtu.be/1GzhE1859XA

    #TTRPG #Podcast #ActualPlay #Cypher #oldgodsofappalachia

  11. Our first ever full-length video is now available on YouTube:
    RPGBOT 2025 Charity Stream: Old Gods of Apalachia, Part 1

    youtu.be/1GzhE1859XA

    #TTRPG #Podcast #ActualPlay #Cypher #oldgodsofappalachia

  12. The RPGBOT.Podcast stream begins in 2 hours! We're playing a one-shot in Old God of Appalachia to raise money for MD Anderson Cancer Center.

    mdanderson.donordrive.com/team

    We'll be streaming on Twitch for ~6 hours:
    twitch.tv/RPGBOTDOTNET

    #TTRPG #Cypher #OldGodsOfAppalachia #Charity

  13. The RPGBOT.Podcast stream begins in 2 hours! We're playing a one-shot in Old God of Appalachia to raise money for MD Anderson Cancer Center.

    mdanderson.donordrive.com/team

    We'll be streaming on Twitch for ~6 hours:
    twitch.tv/RPGBOTDOTNET

    #TTRPG #Cypher #OldGodsOfAppalachia #Charity

  14. i was so hyped for the new monte cook games crowdfunder for cypher, but looking at the pledge levels ... meh!

    if you want all new books as pdf you have to go with the all in pledge where you also get all previous releases from the 1st edition ... books i already have. there's also no way to get them as pdf-only addons. i really don't want to pay the shipping from trumpistan and pay for for physical books i don't need just because the pdf is a bonus.

    backerkit.com/c/projects/monte

    #cypher #montecook