home.social

#ddl — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ddl, aggregated by home.social.

  1. Единое окно инженера данных: как мы построили веб-среду разработки для 12 000 потоков данных

    Привет, Хабр! Меня зовут Никита Калганов, я ведущий системный инженер данных в X5 Tech. Мы с командой проектируем и развиваем высоконагруженную систему потоков данных и поддерживаем её в условиях постоянного роста, как по числу потоков, так и по количеству команд, которые с ней работают. В нашей системе обработки данных живёт больше двенадцати тысяч потоков данных, и их число растёт в среднем на несколько десятков в день. Всё нормально работает, но мы решили сделать её ещё лучше. В этой статье расскажу, как мы построили единое окно инженера данных, сделали собственный DDL-мигратор с поддержкой зависимостей и при этом сохранили то, что уже работает.

    habr.com/ru/companies/X5Tech/a

    #большие_данные #big_data #lakehouseплатформа_данных #data_pipelines #airflow #yaml #gitlab_cicd #микросервисная_архитектура #оркестрация #ddl

  2. Единое окно инженера данных: как мы построили веб-среду разработки для 12 000 потоков данных

    Привет, Хабр! Меня зовут Никита Калганов, я ведущий системный инженер данных в X5 Tech. Мы с командой проектируем и развиваем высоконагруженную систему потоков данных и поддерживаем её в условиях постоянного роста, как по числу потоков, так и по количеству команд, которые с ней работают. В нашей системе обработки данных живёт больше двенадцати тысяч потоков данных, и их число растёт в среднем на несколько десятков в день. Всё нормально работает, но мы решили сделать её ещё лучше. В этой статье расскажу, как мы построили единое окно инженера данных, сделали собственный DDL-мигратор с поддержкой зависимостей и при этом сохранили то, что уже работает.

    habr.com/ru/companies/X5Tech/a

    #большие_данные #big_data #lakehouseплатформа_данных #data_pipelines #airflow #yaml #gitlab_cicd #микросервисная_архитектура #оркестрация #ddl

  3. Единое окно инженера данных: как мы построили веб-среду разработки для 12 000 потоков данных

    Привет, Хабр! Меня зовут Никита Калганов, я ведущий системный инженер данных в X5 Tech. Мы с командой проектируем и развиваем высоконагруженную систему потоков данных и поддерживаем её в условиях постоянного роста, как по числу потоков, так и по количеству команд, которые с ней работают. В нашей системе обработки данных живёт больше двенадцати тысяч потоков данных, и их число растёт в среднем на несколько десятков в день. Всё нормально работает, но мы решили сделать её ещё лучше. В этой статье расскажу, как мы построили единое окно инженера данных, сделали собственный DDL-мигратор с поддержкой зависимостей и при этом сохранили то, что уже работает.

    habr.com/ru/companies/X5Tech/a

    #большие_данные #big_data #lakehouseплатформа_данных #data_pipelines #airflow #yaml #gitlab_cicd #микросервисная_архитектура #оркестрация #ddl

  4. Единое окно инженера данных: как мы построили веб-среду разработки для 12 000 потоков данных

    Привет, Хабр! Меня зовут Никита Калганов, я ведущий системный инженер данных в X5 Tech. Мы с командой проектируем и развиваем высоконагруженную систему потоков данных и поддерживаем её в условиях постоянного роста, как по числу потоков, так и по количеству команд, которые с ней работают. В нашей системе обработки данных живёт больше двенадцати тысяч потоков данных, и их число растёт в среднем на несколько десятков в день. Всё нормально работает, но мы решили сделать её ещё лучше. В этой статье расскажу, как мы построили единое окно инженера данных, сделали собственный DDL-мигратор с поддержкой зависимостей и при этом сохранили то, что уже работает.

    habr.com/ru/companies/X5Tech/a

    #большие_данные #big_data #lakehouseплатформа_данных #data_pipelines #airflow #yaml #gitlab_cicd #микросервисная_архитектура #оркестрация #ddl

  5. „Der amerikanische Albtraum
    #Faschismus made in #USA"

    Eine #DRM freie #Hoerbuch Privatkopie vom Werk gibts wohl zum #Download als #DDL nhere: we.tl/t-VzRnwPLsa3

    Leechen - Lauschen - Lernen

  6. „Der amerikanische Albtraum
    #Faschismus made in #USA"

    Eine #DRM freie #Hoerbuch Privatkopie vom Werk gibts wohl zum #Download als #DDL nhere: we.tl/t-VzRnwPLsa3

    Leechen - Lauschen - Lernen

  7. „Der amerikanische Albtraum
    #Faschismus made in #USA"

    Eine #DRM freie #Hoerbuch Privatkopie vom Werk gibts wohl zum #Download als #DDL nhere: we.tl/t-VzRnwPLsa3

    Leechen - Lauschen - Lernen

  8. „Der amerikanische Albtraum
    #Faschismus made in #USA"

    Eine #DRM freie #Hoerbuch Privatkopie vom Werk gibts wohl zum #Download als #DDL nhere: we.tl/t-VzRnwPLsa3

    Leechen - Lauschen - Lernen

  9. „Der amerikanische Albtraum
    #Faschismus made in #USA"

    Eine #DRM freie #Hoerbuch Privatkopie vom Werk gibts wohl zum #Download als #DDL nhere: we.tl/t-VzRnwPLsa3

    Leechen - Lauschen - Lernen

  10. Особенности Schema Evolution в Hadoop: как сделать alter table

    Привет, Хабр! Меня зовут Ольга Косарева, я инженер данных команды «Прогнозирование финансового результата» Центра разработки решений ALM в ИТ‑холдинге Т1, мы занимаемся созданием современной ALM‑системы (подробнее тут ). Полтора года назад я пришла в команду и получила задачу дописать и внедрить инструмент для DDL‑операций над данными в экосистеме Hadoop. Моя первая реакция была: «А зачем так сложно? Какой инструмент? Почему нельзя просто выполнить команду ALTER TABLE через Hive?» В этой статье мы с коллегами Никитой Королёвым и Алексеем Пожар расскажем, в каких случаях целесообразно именно так и сделать, а в каких это приведёт к различным проблемам с данными, что такое Schema Evolution и как мы решаем задачу периодического изменения структур таблиц с нашими отчётами.

    habr.com/ru/companies/T1Holdin

    #hadoop #hive #alter_table #DDL #ALM

  11. Особенности Schema Evolution в Hadoop: как сделать alter table

    Привет, Хабр! Меня зовут Ольга Косарева, я инженер данных команды «Прогнозирование финансового результата» Центра разработки решений ALM в ИТ‑холдинге Т1, мы занимаемся созданием современной ALM‑системы (подробнее тут ). Полтора года назад я пришла в команду и получила задачу дописать и внедрить инструмент для DDL‑операций над данными в экосистеме Hadoop. Моя первая реакция была: «А зачем так сложно? Какой инструмент? Почему нельзя просто выполнить команду ALTER TABLE через Hive?» В этой статье мы с коллегами Никитой Королёвым и Алексеем Пожар расскажем, в каких случаях целесообразно именно так и сделать, а в каких это приведёт к различным проблемам с данными, что такое Schema Evolution и как мы решаем задачу периодического изменения структур таблиц с нашими отчётами.

    habr.com/ru/companies/T1Holdin

    #hadoop #hive #alter_table #DDL #ALM

  12. Особенности Schema Evolution в Hadoop: как сделать alter table

    Привет, Хабр! Меня зовут Ольга Косарева, я инженер данных команды «Прогнозирование финансового результата» Центра разработки решений ALM в ИТ‑холдинге Т1, мы занимаемся созданием современной ALM‑системы (подробнее тут ). Полтора года назад я пришла в команду и получила задачу дописать и внедрить инструмент для DDL‑операций над данными в экосистеме Hadoop. Моя первая реакция была: «А зачем так сложно? Какой инструмент? Почему нельзя просто выполнить команду ALTER TABLE через Hive?» В этой статье мы с коллегами Никитой Королёвым и Алексеем Пожар расскажем, в каких случаях целесообразно именно так и сделать, а в каких это приведёт к различным проблемам с данными, что такое Schema Evolution и как мы решаем задачу периодического изменения структур таблиц с нашими отчётами.

    habr.com/ru/companies/T1Holdin

    #hadoop #hive #alter_table #DDL #ALM

  13. Особенности Schema Evolution в Hadoop: как сделать alter table

    Привет, Хабр! Меня зовут Ольга Косарева, я инженер данных команды «Прогнозирование финансового результата» Центра разработки решений ALM в ИТ‑холдинге Т1, мы занимаемся созданием современной ALM‑системы (подробнее тут ). Полтора года назад я пришла в команду и получила задачу дописать и внедрить инструмент для DDL‑операций над данными в экосистеме Hadoop. Моя первая реакция была: «А зачем так сложно? Какой инструмент? Почему нельзя просто выполнить команду ALTER TABLE через Hive?» В этой статье мы с коллегами Никитой Королёвым и Алексеем Пожар расскажем, в каких случаях целесообразно именно так и сделать, а в каких это приведёт к различным проблемам с данными, что такое Schema Evolution и как мы решаем задачу периодического изменения структур таблиц с нашими отчётами.

    habr.com/ru/companies/T1Holdin

    #hadoop #hive #alter_table #DDL #ALM

  14. Palestina: quando la solidarietà fa paura. DdL Delrio e bavagli sionisti
    Nelle ultime settimane del 2025 abbiamo assistito ad una crescita esponenziale della spirale repressiva contro il movimento di solidarietà al popolo palestinese, un movimento che nei mesi precedenti aveva dato luogo
    umanitanova.org/palestina-quan
    #2026 #Articoli #DallItalia #numero_1 #antisemitismo #ddl #governo #israele #Lotte #palestina #repressione

  15. Palestina: quando la solidarietà fa paura. DdL Delrio e bavagli sionisti
    Nelle ultime settimane del 2025 abbiamo assistito ad una crescita esponenziale della spirale repressiva contro il movimento di solidarietà al popolo palestinese, un movimento che nei mesi precedenti aveva dato luogo
    umanitanova.org/palestina-quan
    #2026 #Articoli #DallItalia #numero_1 #antisemitismo #ddl #governo #israele #Lotte #palestina #repressione

  16. ALTER TABLE Auto-Commits Your Transaction?!

    This will DESTROY your confidence! Running ALTER TABLE inside a transaction AUTO-COMMITS everything! Your unsaved work gets COMMITTED permanently! This breaks transaction logic! Watch now!

    #sql #sqldisaster #altertable #autocommit #transaction #ddl #sqlfails #productionbug #sqlshorts #databasedisaster #sqlwtf #implicitcommit

    youtube.com/watch?v=BLB0Laohz0M

  17. ALTER TABLE Auto-Commits Your Transaction?!

    This will DESTROY your confidence! Running ALTER TABLE inside a transaction AUTO-COMMITS everything! Your unsaved work gets COMMITTED permanently! This breaks transaction logic! Watch now!

    #sql #sqldisaster #altertable #autocommit #transaction #ddl #sqlfails #productionbug #sqlshorts #databasedisaster #sqlwtf #implicitcommit

    youtube.com/watch?v=BLB0Laohz0M

  18. ALTER TABLE Auto-Commits Your Transaction?!

    This will DESTROY your confidence! Running ALTER TABLE inside a transaction AUTO-COMMITS everything! Your unsaved work gets COMMITTED permanently! This breaks transaction logic! Watch now!

    #sql #sqldisaster #altertable #autocommit #transaction #ddl #sqlfails #productionbug #sqlshorts #databasedisaster #sqlwtf #implicitcommit

    youtube.com/watch?v=BLB0Laohz0M

  19. ALTER TABLE Auto-Commits Your Transaction?!

    This will DESTROY your confidence! Running ALTER TABLE inside a transaction AUTO-COMMITS everything! Your unsaved work gets COMMITTED permanently! This breaks transaction logic! Watch now!

    #sql #sqldisaster #altertable #autocommit #transaction #ddl #sqlfails #productionbug #sqlshorts #databasedisaster #sqlwtf #implicitcommit

    youtube.com/watch?v=BLB0Laohz0M

  20. ALTER TABLE Auto-Commits Your Transaction?!

    This will DESTROY your confidence! Running ALTER TABLE inside a transaction AUTO-COMMITS everything! Your unsaved work gets COMMITTED permanently! This breaks transaction logic! Watch now!

    #sql #sqldisaster #altertable #autocommit #transaction #ddl #sqlfails #productionbug #sqlshorts #databasedisaster #sqlwtf #implicitcommit

    youtube.com/watch?v=BLB0Laohz0M

  21. Il #ddl sul #finevita del governo Meloni nonostante sia stato scritto con la "benedizione" della Chiesa cattolica scontenta persino i gruppi #integralisti. Pro Vita lancia una campagna con macabri manifesti, appellandosi ai politici.👇
    lespresso.it/c/attualita/2025/

  22. Il #ddl sul #finevita del governo Meloni nonostante sia stato scritto con la "benedizione" della Chiesa cattolica scontenta persino i gruppi #integralisti. Pro Vita lancia una campagna con macabri manifesti, appellandosi ai politici.👇
    lespresso.it/c/attualita/2025/

  23. Il #ddl sul #finevita del governo Meloni nonostante sia stato scritto con la "benedizione" della Chiesa cattolica scontenta persino i gruppi #integralisti. Pro Vita lancia una campagna con macabri manifesti, appellandosi ai politici.👇
    lespresso.it/c/attualita/2025/

  24. Il #ddl sul #finevita del governo Meloni nonostante sia stato scritto con la "benedizione" della Chiesa cattolica scontenta persino i gruppi #integralisti. Pro Vita lancia una campagna con macabri manifesti, appellandosi ai politici.👇
    lespresso.it/c/attualita/2025/