#elt — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #elt, aggregated by home.social.
-
👍 Le télescope géant européen accueillera des astronomes canadiens. Une subvention annoncée jeudi garantit leur accès à ce télescope qui entrera en service entre 2030 et 2035 et permettra de détecter la vie extraterrestre si elle existe. Cet accès à l’ELT sera coordonné depuis Montréal.
https://www.lapresse.ca/actualites/sciences/2026-05-13/le-canada-aura-acces-a-un-telescope-geant.php
#astronomie #astrophysique #UdeM #Montréal #Québec #ELT #télescope #média #Chili #infrarouge #tech #Europe #ESO #TMT #instrument #ANDES -
👍 Le télescope géant européen accueillera des astronomes canadiens. Une subvention annoncée jeudi garantit leur accès à ce télescope qui entrera en service entre 2030 et 2035 et permettra de détecter la vie extraterrestre si elle existe. Cet accès à l’ELT sera coordonné depuis Montréal.
https://www.lapresse.ca/actualites/sciences/2026-05-13/le-canada-aura-acces-a-un-telescope-geant.php
#astronomie #astrophysique #UdeM #Montréal #Québec #ELT #télescope #média #Chili #infrarouge #tech #Europe #ESO #TMT #instrument #ANDES -
👍 Le télescope géant européen accueillera des astronomes canadiens. Une subvention annoncée jeudi garantit leur accès à ce télescope qui entrera en service entre 2030 et 2035 et permettra de détecter la vie extraterrestre si elle existe. Cet accès à l’ELT sera coordonné depuis Montréal.
https://www.lapresse.ca/actualites/sciences/2026-05-13/le-canada-aura-acces-a-un-telescope-geant.php
#astronomie #astrophysique #UdeM #Montréal #Québec #ELT #télescope #média #Chili #infrarouge #tech #Europe #ESO #TMT -
👍 Le télescope géant européen accueillera des astronomes canadiens. Une subvention annoncée jeudi garantit leur accès à ce télescope qui entrera en service entre 2030 et 2035 et permettra de détecter la vie extraterrestre si elle existe. Cet accès à l’ELT sera coordonné depuis Montréal.
https://www.lapresse.ca/actualites/sciences/2026-05-13/le-canada-aura-acces-a-un-telescope-geant.php
#astronomie #astrophysique #UdeM #Montréal #Québec #ELT #télescope #média #Chili #infrarouge #tech #Europe #ESO #TMT #instrument #ANDES -
👍 Le télescope géant européen accueillera des astronomes canadiens. Une subvention annoncée jeudi garantit leur accès à ce télescope qui entrera en service entre 2030 et 2035 et permettra de détecter la vie extraterrestre si elle existe. Cet accès à l’ELT sera coordonné depuis Montréal.
https://www.lapresse.ca/actualites/sciences/2026-05-13/le-canada-aura-acces-a-un-telescope-geant.php
#astronomie #astrophysique #UdeM #Montréal #Québec #ELT #télescope #média #Chili #infrarouge #tech #Europe #ESO #TMT -
A fun detail in that photo of the two Lego telescope models in my previous post: that's the Very Large Telescope sitting on the right Nasmyth instrument platform of the Extremely Large Telescope. The two models are built to approximately the same scale, a VLT Unit Telescope (without its dome) really would fit on the instrument platform of the ELT, the jump in scale from the current generation of telescopes to the next is just that big.
I'm 2024 I was lucky enough to be able to photograph the ELT from the VLT and vice versa, enabling me to make a size comparison of my own: https://aus.social/@spacelizard/113185149611957251
-
A fun detail in that photo of the two Lego telescope models in my previous post: that's the Very Large Telescope sitting on the right Nasmyth instrument platform of the Extremely Large Telescope. The two models are built to approximately the same scale, a VLT Unit Telescope (without its dome) really would fit on the instrument platform of the ELT, the jump in scale from the current generation of telescopes to the next is just that big.
I'm 2024 I was lucky enough to be able to photograph the ELT from the VLT and vice versa, enabling me to make a size comparison of my own: https://aus.social/@spacelizard/113185149611957251
-
A fun detail in that photo of the two Lego telescope models in my previous post: that's the Very Large Telescope sitting on the right Nasmyth instrument platform of the Extremely Large Telescope. The two models are built to approximately the same scale, a VLT Unit Telescope (without its dome) really would fit on the instrument platform of the ELT, the jump in scale from the current generation of telescopes to the next is just that big.
I'm 2024 I was lucky enough to be able to photograph the ELT from the VLT and vice versa, enabling me to make a size comparison of my own: https://aus.social/@spacelizard/113185149611957251
-
A fun detail in that photo of the two Lego telescope models in my previous post: that's the Very Large Telescope sitting on the right Nasmyth instrument platform of the Extremely Large Telescope. The two models are built to approximately the same scale, a VLT Unit Telescope (without its dome) really would fit on the instrument platform of the ELT, the jump in scale from the current generation of telescopes to the next is just that big.
I'm 2024 I was lucky enough to be able to photograph the ELT from the VLT and vice versa, enabling me to make a size comparison of my own: https://aus.social/@spacelizard/113185149611957251
-
A fun detail in that photo of the two Lego telescope models in my previous post: that's the Very Large Telescope sitting on the right Nasmyth instrument platform of the Extremely Large Telescope. The two models are built to approximately the same scale, a VLT Unit Telescope (without its dome) really would fit on the instrument platform of the ELT, the jump in scale from the current generation of telescopes to the next is just that big.
I'm 2024 I was lucky enough to be able to photograph the ELT from the VLT and vice versa, enabling me to make a size comparison of my own: https://aus.social/@spacelizard/113185149611957251
-
If you're more into Lego than 3D printing @esoastronomy still has you covered. There are parts lists and assembly instructions for Lego models of both the Extremely Large Telescope and the Very Large Telescope, https://www.eso.org/public/australia/announcements/ann16013/?lang
-
If you're more into Lego than 3D printing @esoastronomy still has you covered. There are parts lists and assembly instructions for Lego models of both the Extremely Large Telescope and the Very Large Telescope, https://www.eso.org/public/australia/announcements/ann16013/?lang
-
If you're more into Lego than 3D printing @esoastronomy still has you covered. There are parts lists and assembly instructions for Lego models of both the Extremely Large Telescope and the Very Large Telescope, https://www.eso.org/public/australia/announcements/ann16013/?lang
-
If you're more into Lego than 3D printing @esoastronomy still has you covered. There are parts lists and assembly instructions for Lego models of both the Extremely Large Telescope and the Very Large Telescope, https://www.eso.org/public/australia/announcements/ann16013/?lang
-
If you're more into Lego than 3D printing @esoastronomy still has you covered. There are parts lists and assembly instructions for Lego models of both the Extremely Large Telescope and the Very Large Telescope, https://www.eso.org/public/australia/announcements/ann16013/?lang
-
If you have a 3D printer that you're not using (or, better yet, several of them) and you're looking for a project, here's an Extremely Large one for you: a printable 3D model of @esoastronomy's Extremely Large Telescope, https://www.eso.org/public/products/models3d/ELT-3D-Print-model/
There are a *lot* of parts, many of which are small and intricately detailed. It would be a time consuming challenge to print and assemble, but it must be possible because there are photos of the resulting model bundled with the STEP file.
-
If you have a 3D printer that you're not using (or, better yet, several of them) and you're looking for a project, here's an Extremely Large one for you: a printable 3D model of @esoastronomy's Extremely Large Telescope, https://www.eso.org/public/products/models3d/ELT-3D-Print-model/
There are a *lot* of parts, many of which are small and intricately detailed. It would be a time consuming challenge to print and assemble, but it must be possible because there are photos of the resulting model bundled with the STEP file.
-
If you have a 3D printer that you're not using (or, better yet, several of them) and you're looking for a project, here's an Extremely Large one for you: a printable 3D model of @esoastronomy's Extremely Large Telescope, https://www.eso.org/public/products/models3d/ELT-3D-Print-model/
There are a *lot* of parts, many of which are small and intricately detailed. It would be a time consuming challenge to print and assemble, but it must be possible because there are photos of the resulting model bundled with the STEP file.
-
If you have a 3D printer that you're not using (or, better yet, several of them) and you're looking for a project, here's an Extremely Large one for you: a printable 3D model of @esoastronomy's Extremely Large Telescope, https://www.eso.org/public/products/models3d/ELT-3D-Print-model/
There are a *lot* of parts, many of which are small and intricately detailed. It would be a time consuming challenge to print and assemble, but it must be possible because there are photos of the resulting model bundled with the STEP file.
-
If you have a 3D printer that you're not using (or, better yet, several of them) and you're looking for a project, here's an Extremely Large one for you: a printable 3D model of @esoastronomy's Extremely Large Telescope, https://www.eso.org/public/products/models3d/ELT-3D-Print-model/
There are a *lot* of parts, many of which are small and intricately detailed. It would be a time consuming challenge to print and assemble, but it must be possible because there are photos of the resulting model bundled with the STEP file.
-
R to @ueenchile: ¿Por qué Europa mira el universo desde Chile?
Itziar de Gregorio, Representante de @ESO_Chile, destacó la alianza que convirtió al país en el epicentro astronómico mundial y la construcción del telescopio más grande del mundo #ELT🔭
---
https://nitter.net/UEenChile/status/2052744679305711725#m -
R to @ueenchile: ¿Por qué Europa mira el universo desde Chile?
Itziar de Gregorio, Representante de @ESO_Chile, destacó la alianza que convirtió al país en el epicentro astronómico mundial y la construcción del telescopio más grande del mundo #ELT🔭
---
https://nitter.net/UEenChile/status/2052744679305711725#m -
Использование Trino для построения ETL-процессов
1. Введение. Trino: ключевые задачи и главные преимущества В современной архитектуре управления данными ETL-процессы рассматриваются не как вспомогательный инструмент, а как базовый механизм интеграции, трансформации и подготовки данных, поступающих из множества гетерогенных источников. Ключевая цель этих процессов - избавиться от хаоса и разрозненности данных, которые почти всегда появляются в больших распределенных компаниях [1] . В рамках ETL-конвейера выполняется автоматизированное извлечение данных из различных источников, их очистка, нормализация и приведение к единой модели, после чего подготовленные данные загружаются в централизованное аналитическое хранилище. Это даёт три главных преимущества: обеспечивает высокое качество и согласованность данных, структурирует информацию под нужды бизнес-отчетности, а также отделяет аналитическую нагрузку от операционных систем, повышая таким образом производительность системы в целом. ETL возник как вынужденная мера, так как во время его появления (1970–1990-е) не было ни высокоскоростных сетей, ни мощных распределенных движков аналитики, ни концепции Data Lake. Единственным надёжным способом построить аналитическую отчетность было физически извлекать данные из операционных систем и копировать их в отдельную специализированную базу. Именно поэтому ETL закрепился как основной архитектурный паттерн аналитических систем на долгие десятилетия. Увы, такой подход породил и массу проблем: это дублирование данных, долгие пайплайны, сложные зависимости, задержки обновления и огромные затраты на поддержку. Традиционным ETL-процессам становится всё труднее справляться с постоянно растущим объемом поступающих данных. Более того, большие сложности возникают при работе с уже накопленной информацией, ведь её требуется хранить на протяжении многих лет, а значит — сохранять возможность глубокого анализа по всей доступной истории.
-
Использование Trino для построения ETL-процессов
1. Введение. Trino: ключевые задачи и главные преимущества В современной архитектуре управления данными ETL-процессы рассматриваются не как вспомогательный инструмент, а как базовый механизм интеграции, трансформации и подготовки данных, поступающих из множества гетерогенных источников. Ключевая цель этих процессов - избавиться от хаоса и разрозненности данных, которые почти всегда появляются в больших распределенных компаниях [1] . В рамках ETL-конвейера выполняется автоматизированное извлечение данных из различных источников, их очистка, нормализация и приведение к единой модели, после чего подготовленные данные загружаются в централизованное аналитическое хранилище. Это даёт три главных преимущества: обеспечивает высокое качество и согласованность данных, структурирует информацию под нужды бизнес-отчетности, а также отделяет аналитическую нагрузку от операционных систем, повышая таким образом производительность системы в целом. ETL возник как вынужденная мера, так как во время его появления (1970–1990-е) не было ни высокоскоростных сетей, ни мощных распределенных движков аналитики, ни концепции Data Lake. Единственным надёжным способом построить аналитическую отчетность было физически извлекать данные из операционных систем и копировать их в отдельную специализированную базу. Именно поэтому ETL закрепился как основной архитектурный паттерн аналитических систем на долгие десятилетия. Увы, такой подход породил и массу проблем: это дублирование данных, долгие пайплайны, сложные зависимости, задержки обновления и огромные затраты на поддержку. Традиционным ETL-процессам становится всё труднее справляться с постоянно растущим объемом поступающих данных. Более того, большие сложности возникают при работе с уже накопленной информацией, ведь её требуется хранить на протяжении многих лет, а значит — сохранять возможность глубокого анализа по всей доступной истории.
-
Использование Trino для построения ETL-процессов
1. Введение. Trino: ключевые задачи и главные преимущества В современной архитектуре управления данными ETL-процессы рассматриваются не как вспомогательный инструмент, а как базовый механизм интеграции, трансформации и подготовки данных, поступающих из множества гетерогенных источников. Ключевая цель этих процессов - избавиться от хаоса и разрозненности данных, которые почти всегда появляются в больших распределенных компаниях [1] . В рамках ETL-конвейера выполняется автоматизированное извлечение данных из различных источников, их очистка, нормализация и приведение к единой модели, после чего подготовленные данные загружаются в централизованное аналитическое хранилище. Это даёт три главных преимущества: обеспечивает высокое качество и согласованность данных, структурирует информацию под нужды бизнес-отчетности, а также отделяет аналитическую нагрузку от операционных систем, повышая таким образом производительность системы в целом. ETL возник как вынужденная мера, так как во время его появления (1970–1990-е) не было ни высокоскоростных сетей, ни мощных распределенных движков аналитики, ни концепции Data Lake. Единственным надёжным способом построить аналитическую отчетность было физически извлекать данные из операционных систем и копировать их в отдельную специализированную базу. Именно поэтому ETL закрепился как основной архитектурный паттерн аналитических систем на долгие десятилетия. Увы, такой подход породил и массу проблем: это дублирование данных, долгие пайплайны, сложные зависимости, задержки обновления и огромные затраты на поддержку. Традиционным ETL-процессам становится всё труднее справляться с постоянно растущим объемом поступающих данных. Более того, большие сложности возникают при работе с уже накопленной информацией, ведь её требуется хранить на протяжении многих лет, а значит — сохранять возможность глубокого анализа по всей доступной истории.
-
Использование Trino для построения ETL-процессов
1. Введение. Trino: ключевые задачи и главные преимущества В современной архитектуре управления данными ETL-процессы рассматриваются не как вспомогательный инструмент, а как базовый механизм интеграции, трансформации и подготовки данных, поступающих из множества гетерогенных источников. Ключевая цель этих процессов - избавиться от хаоса и разрозненности данных, которые почти всегда появляются в больших распределенных компаниях [1] . В рамках ETL-конвейера выполняется автоматизированное извлечение данных из различных источников, их очистка, нормализация и приведение к единой модели, после чего подготовленные данные загружаются в централизованное аналитическое хранилище. Это даёт три главных преимущества: обеспечивает высокое качество и согласованность данных, структурирует информацию под нужды бизнес-отчетности, а также отделяет аналитическую нагрузку от операционных систем, повышая таким образом производительность системы в целом. ETL возник как вынужденная мера, так как во время его появления (1970–1990-е) не было ни высокоскоростных сетей, ни мощных распределенных движков аналитики, ни концепции Data Lake. Единственным надёжным способом построить аналитическую отчетность было физически извлекать данные из операционных систем и копировать их в отдельную специализированную базу. Именно поэтому ETL закрепился как основной архитектурный паттерн аналитических систем на долгие десятилетия. Увы, такой подход породил и массу проблем: это дублирование данных, долгие пайплайны, сложные зависимости, задержки обновления и огромные затраты на поддержку. Традиционным ETL-процессам становится всё труднее справляться с постоянно растущим объемом поступающих данных. Более того, большие сложности возникают при работе с уже накопленной информацией, ведь её требуется хранить на протяжении многих лет, а значит — сохранять возможность глубокого анализа по всей доступной истории.
-
-
-
-
-
-
Our greatest window into the #universe is nearing completion.
This soon-to-be #telescope is located at the top of Cerro #Armazones, the mountain that casts a triangular shadow.
At 3046 metres above sea level, and with very dry conditions, the #ELT is in the perfect location for astronomical observations under one of the most pristine skies on Earth.
Its dome, planned to be fully completed in 2027, protects the telescope and its sensitive components from the extreme desert environment, and from the Sun during daytime.
At night, its two massive sliding doors will open to allow the telescope to observe the night sky, while still protecting it from the wind.
-
Our greatest window into the #universe is nearing completion.
This soon-to-be #telescope is located at the top of Cerro #Armazones, the mountain that casts a triangular shadow.
At 3046 metres above sea level, and with very dry conditions, the #ELT is in the perfect location for astronomical observations under one of the most pristine skies on Earth.
Its dome, planned to be fully completed in 2027, protects the telescope and its sensitive components from the extreme desert environment, and from the Sun during daytime.
At night, its two massive sliding doors will open to allow the telescope to observe the night sky, while still protecting it from the wind.
-
Our greatest window into the #universe is nearing completion.
This soon-to-be #telescope is located at the top of Cerro #Armazones, the mountain that casts a triangular shadow.
At 3046 metres above sea level, and with very dry conditions, the #ELT is in the perfect location for astronomical observations under one of the most pristine skies on Earth.
Its dome, planned to be fully completed in 2027, protects the telescope and its sensitive components from the extreme desert environment, and from the Sun during daytime.
At night, its two massive sliding doors will open to allow the telescope to observe the night sky, while still protecting it from the wind.
-
Our greatest window into the #universe is nearing completion.
This soon-to-be #telescope is located at the top of Cerro #Armazones, the mountain that casts a triangular shadow.
At 3046 metres above sea level, and with very dry conditions, the #ELT is in the perfect location for astronomical observations under one of the most pristine skies on Earth.
Its dome, planned to be fully completed in 2027, protects the telescope and its sensitive components from the extreme desert environment, and from the Sun during daytime.
At night, its two massive sliding doors will open to allow the telescope to observe the night sky, while still protecting it from the wind.
-
Our greatest window into the #universe is nearing completion.
This soon-to-be #telescope is located at the top of Cerro #Armazones, the mountain that casts a triangular shadow.
At 3046 metres above sea level, and with very dry conditions, the #ELT is in the perfect location for astronomical observations under one of the most pristine skies on Earth.
Its dome, planned to be fully completed in 2027, protects the telescope and its sensitive components from the extreme desert environment, and from the Sun during daytime.
At night, its two massive sliding doors will open to allow the telescope to observe the night sky, while still protecting it from the wind.
-
https://www.europesays.com/videos/16480/ Inside Europe’s bid to build world’s most powerful optical telescope • FRANCE 24 English #Atacama #Chile #ELT #Europe #EuropeanSouthernObservatory #ExtremelyLargeTelescope #FRANCE24 #FRANCE24English #FRANCE24 #FRANCE24English #planets #space #stars #telescope
-
Moc mě láká jet se podívat na tohoto behemota osobně. 🤩
RE: https://mastodon.social/@esoastronomy/116475431270173841
#ESO #ELT -
Moc mě láká jet se podívat na tohoto behemota osobně. 🤩
RE: https://mastodon.social/@esoastronomy/116475431270173841
#ESO #ELT -
Moc mě láká jet se podívat na tohoto behemota osobně. 🤩
RE: https://mastodon.social/@esoastronomy/116475431270173841
#ESO #ELT -
Recent pics of the Extremely Large Telescope
Credit: ESO/G. Vecchia
#ELT #ESO #ExtremelyLargeTelescope #Astronomy #Astrodon #Chili #drone #photography #dronephotography
-
Recent pics of the Extremely Large Telescope
Credit: ESO/G. Vecchia
#ELT #ESO #ExtremelyLargeTelescope #Astronomy #Astrodon #Chili #drone #photography #dronephotography
-
Recent pics of the Extremely Large Telescope
Credit: ESO/G. Vecchia
#ELT #ESO #ExtremelyLargeTelescope #Astronomy #Astrodon #Chili #drone #photography #dronephotography
-
Recent pics of the Extremely Large Telescope
Credit: ESO/G. Vecchia
#ELT #ESO #ExtremelyLargeTelescope #Astronomy #Astrodon #Chili #drone #photography #dronephotography
-
Recent pics of the Extremely Large Telescope
Credit: ESO/G. Vecchia
#ELT #ESO #ExtremelyLargeTelescope #Astronomy #Astrodon #Chili #drone #photography #dronephotography
-
Как мы строили MVP data lineage системы в ЮMoney
Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.
https://habr.com/ru/companies/yoomoney/articles/1027068/
#data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные
-
Как мы строили MVP data lineage системы в ЮMoney
Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.
https://habr.com/ru/companies/yoomoney/articles/1027068/
#data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные
-
Как мы строили MVP data lineage системы в ЮMoney
Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.
https://habr.com/ru/companies/yoomoney/articles/1027068/
#data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные
-
Как мы строили MVP data lineage системы в ЮMoney
Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.
https://habr.com/ru/companies/yoomoney/articles/1027068/
#data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные
