#iceberg — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #iceberg, aggregated by home.social.
-
When does #Iceberg beat #Parquet+projection on #AWSGlue, and when doesn't ?
An end-to-end #ETL PoC on #AWS to find out: producer, #Kinesis, two #Firehose paths, two #Glue jobs, #Athena.
🔮 Spoiler: how the data is read is the key to the choice.
In the article: every choice with its why, plus a few gems from some Glue experience 😄
-
apache iceberg и его философия
iceberg и его философия metadata расскажем почему iceberg эффективно выполняет запросы и прост в управлении данными благодаря своей metadata
https://habr.com/ru/articles/1033546/
#iceberg #metadata #data_lake #s3 #hdfs #data_lakehouse #acid #olap
-
apache iceberg и его философия
iceberg и его философия metadata расскажем почему iceberg эффективно выполняет запросы и прост в управлении данными благодаря своей metadata
https://habr.com/ru/articles/1033546/
#iceberg #metadata #data_lake #s3 #hdfs #data_lakehouse #acid #olap
-
apache iceberg и его философия
iceberg и его философия metadata расскажем почему iceberg эффективно выполняет запросы и прост в управлении данными благодаря своей metadata
https://habr.com/ru/articles/1033546/
#iceberg #metadata #data_lake #s3 #hdfs #data_lakehouse #acid #olap
-
apache iceberg и его философия
iceberg и его философия metadata расскажем почему iceberg эффективно выполняет запросы и прост в управлении данными благодаря своей metadata
https://habr.com/ru/articles/1033546/
#iceberg #metadata #data_lake #s3 #hdfs #data_lakehouse #acid #olap
-
Tuesday feels like “Iceberg, right ahead!” #iceberg #arctic #nunavut #blackandwhite #monochrome #classicmono #EastCoastKin
-
#epsteinfiles is just the tip of the #iceberg that is the #corruption of #washington and other capitalist capitals #trump #compromised #israel #politics in #usa is not even good for #comedy anymore #epstein #crime #criminals #netanyahoo #iran #war #corruption #corrupt and #decadence of a #corrupt #evil #oil and #money #empire this video is important for the last ... to realize that
-
#epsteinfiles is just the tip of the #iceberg that is the #corruption of #washington and other capitalist capitals #trump #compromised #israel #politics in #usa is not even good for #comedy anymore #epstein #crime #criminals #netanyahoo #iran #war #corruption #corrupt and #decadence of a #corrupt #evil #oil and #money #empire this video is important for the last ... to realize that
-
#epsteinfiles is just the tip of the #iceberg that is the #corruption of #washington and other capitalist capitals #trump #compromised #israel #politics in #usa is not even good for #comedy anymore #epstein #crime #criminals #netanyahoo #iran #war #corruption #corrupt and #decadence of a #corrupt #evil #oil and #money #empire this video is important for the last ... to realize that
-
#epsteinfiles is just the tip of the #iceberg that is the #corruption of #washington and other capitalist capitals #trump #compromised #israel #politics in #usa is not even good for #comedy anymore #epstein #crime #criminals #netanyahoo #iran #war #corruption #corrupt and #decadence of a #corrupt #evil #oil and #money #empire this video is important for the last ... to realize that
-
@thealexmerced thanks! Added to wish list in manning. Better 2buy there vs Amazon to get the ai features?
I guess Manning got rid of old option to buy coins 2 read individual pages? was a cool feature 2 bad.
Thanks for reminder about #datafusion i guess it & #polars have excellent #iceberg support & can be used from #rust
I was thinking about replacing a #pyspark glue job with a rust #lambda on #aws
Just found your excellent medium account. Best of luck at your upcoming talk!
-
[Перевод] Архитектура Apache Iceberg: модель метаданных, на которой всё держится
В этой статье я хотел был разобраться в механике Iceberg. Понимание того, как Iceberg организует свои метаданные, отделяет уровень «я умею создавать таблицы» от уровня «я умею разбираться, почему мои запросы медленные, а объём хранилища разрастается». Это фундамент для всего остального в серии. Если вы разберётесь с четырьмя слоями модели метаданных Iceberg, любая фича (time travel, эволюция схемы, эволюция партиций, компактизация) будет восприниматься интуитивно.
-
[Перевод] Архитектура Apache Iceberg: модель метаданных, на которой всё держится
В этой статье я хотел был разобраться в механике Iceberg. Понимание того, как Iceberg организует свои метаданные, отделяет уровень «я умею создавать таблицы» от уровня «я умею разбираться, почему мои запросы медленные, а объём хранилища разрастается». Это фундамент для всего остального в серии. Если вы разберётесь с четырьмя слоями модели метаданных Iceberg, любая фича (time travel, эволюция схемы, эволюция партиций, компактизация) будет восприниматься интуитивно.
-
[Перевод] Архитектура Apache Iceberg: модель метаданных, на которой всё держится
В этой статье я хотел был разобраться в механике Iceberg. Понимание того, как Iceberg организует свои метаданные, отделяет уровень «я умею создавать таблицы» от уровня «я умею разбираться, почему мои запросы медленные, а объём хранилища разрастается». Это фундамент для всего остального в серии. Если вы разберётесь с четырьмя слоями модели метаданных Iceberg, любая фича (time travel, эволюция схемы, эволюция партиций, компактизация) будет восприниматься интуитивно.
-
[Перевод] Архитектура Apache Iceberg: модель метаданных, на которой всё держится
В этой статье я хотел был разобраться в механике Iceberg. Понимание того, как Iceberg организует свои метаданные, отделяет уровень «я умею создавать таблицы» от уровня «я умею разбираться, почему мои запросы медленные, а объём хранилища разрастается». Это фундамент для всего остального в серии. Если вы разберётесь с четырьмя слоями модели метаданных Iceberg, любая фича (time travel, эволюция схемы, эволюция партиций, компактизация) будет восприниматься интуитивно.
-
Melting Can Propel Icebergs
Icebergs have long served as a metaphor for not knowing what’s going on beneath the surface. Studies like today’s are a reminder of why that is. Researchers found that asymmetric icebergs–shaped, in this case, like a right triangular prism–can self-propel as they melt. Their shape forces cold, dense meltwater to slide down the surface, generating a sinking plume that propels the ice as a whole. The team demonstrated this effect in both fresh- and saltwater. For icebergs wandering into warm waters, the effect is particularly strong and may reach levels about 10% of the magnitude of dominant propulsive forces like wind. (Image and research credit: M. Berhanu et al.; via APS)
#buoyancy #convection #flowVisualization #fluidDynamics #iceberg #melting #physics #plume #science #selfPropulsion -
Платформа данных на минималках. Часть 1: проблемы Data Lake и роль Iceberg
Представим ситуацию: у нас есть сервисы, которые пишут логи событий и сообщения из очередей (Kafka, RabbitMQ) в формате Avro для гарантии схемы и потоковой доставки. В это же время отдел машинного обучения работает с датасетами в Parquet — ребята ценят столбцовое хранение и производительность на скалярных чтениях. Соседняя команда фиксирует фактовые таблицы в ORC, поскольку этот формат подходит для тяжелых аналитических агрегаций. Пока объемы данных измерялись гигабайтами, такой «зоопарк форматов» был терпим: каждый отдел использовал свой инструмент, а данные копировались между ними через ETL-конвейеры. Но с ростом до терабайтов и выше эта архитектура начинает ломаться: запросы становятся медленными, стоимость хранения и вычислений стремительно растет, а главное — теряется единый источник истины. Теперь одна и та же бизнес-сущность существует в трех разных форматах, схемах и состояниях. В этот момент возникает потребность не в очередном хранилище, а в табличной абстракции поверх существующих форматов. Такой слой должен обеспечивать ACID-транзакционность, централизованное управление схемой и единый каталог для всех потребителей — от потоковой инженерии до
https://habr.com/ru/companies/selectel/articles/1022920/
#selectel #iceberg #data_lake #data_platform #платформа_данных
-
This Tuesday I share a vision for the future of observability - something that's been brewing for more than two years now.
#OpenTelemetry in, SQL out, unlimited scale. Powered by #ClickHouse and #Apache #Iceberg
-
Is the #Atlantic #Ocean’s #Circulation #Collapsing — or Have #Scientists Been #Misreading the #Signs? : Medium
#Humanity #Heating #Planet faster than ever before, #Study finds : Guardian
This #Iceberg was once the #Biggest in the #World. Now it has just weeks left : BBC
Latest #KnowledgeLinks
-
Is the #Atlantic #Ocean’s #Circulation #Collapsing — or Have #Scientists Been #Misreading the #Signs? : Medium
#Humanity #Heating #Planet faster than ever before, #Study finds : Guardian
This #Iceberg was once the #Biggest in the #World. Now it has just weeks left : BBC
Latest #KnowledgeLinks
-
Is the #Atlantic #Ocean’s #Circulation #Collapsing — or Have #Scientists Been #Misreading the #Signs? : Medium
#Humanity #Heating #Planet faster than ever before, #Study finds : Guardian
This #Iceberg was once the #Biggest in the #World. Now it has just weeks left : BBC
Latest #KnowledgeLinks
-
Is the #Atlantic #Ocean’s #Circulation #Collapsing — or Have #Scientists Been #Misreading the #Signs? : Medium
#Humanity #Heating #Planet faster than ever before, #Study finds : Guardian
This #Iceberg was once the #Biggest in the #World. Now it has just weeks left : BBC
Latest #KnowledgeLinks
-
#Meme #Iceberg di #Mortebianca: quanto va in fondo? (PARTE 2) https://youtu.be/lwwMqKKIDI0?si=AKosoTWIe3K1Ie4W via @YouTube
-
#Meme #Iceberg di #Mortebianca: quanto va in fondo? (PARTE 1) https://youtu.be/FTDRaTnL7D0?si=ywywxwhMZX0UkawP via @YouTube
-
NY/ NJ/ CT snowfalls, totals as of Tuesday (not Monday). NYC's biggest storm since 2016.
Manhattan - Washington Heights: 22.8"; Greenwich Vill: 20.4"; Central Park: 19.7".
Queens - Jackson Heights: 20.2"; LaGuardia: 22.5".
Bronx - Fordham: 22.6".
New Haven county, CT - Madison: 22.1"; Hamden: 19".
Bergen county, NJ - Lyndhurst: 30.7"; Englewood: 27.5".
#snow #storm #NYC #NewJersey #Connecticut #TriState #NewYorkCity #snowfall #plow #shovel #iceberg #commute #travel
https://abc7ny.com/post/how-snow-winter-blizzard-22226-snowfall-totals-nyc-ny-nj-ct/18636536/ -
Here we gooo, NYC! 1-3" today, then another 12-16" tonight!
At least the city came 'round and got rid of most of those icebergs on street corners, knowing they'd be making fresh.
#NYC #snow #storm #NewYorkCity #midtown #Manhattan #Mayor #Mamdani #MamdaniMandate #plow #shovel #iceberg #street #corner #pedestrian #winter #boots #hot #chocolate w/ #marshmallows
https://www.weatherbug.com/weather-forecast/now/new-york-ny-10001 -
Here we gooo, NYC! 1-3" today, then another 12-16" tonight!
At least the city came 'round and got rid of most of those icebergs on street corners, knowing they'd be making fresh.
#NYC #snow #storm #NewYorkCity #midtown #Manhattan #Mayor #Mamdani #MamdaniMandate #plow #shovel #iceberg #street #corner #pedestrian #winter #boots #hot #chocolate w/ #marshmallows
https://www.weatherbug.com/weather-forecast/now/new-york-ny-10001 -
Here we gooo, NYC! 1-3" today, then another 12-16" tonight!
At least the city came 'round and got rid of most of those icebergs on street corners, knowing they'd be making fresh.
#NYC #snow #storm #NewYorkCity #midtown #Manhattan #Mayor #Mamdani #MamdaniMandate #plow #shovel #iceberg #street #corner #pedestrian #winter #boots #hot #chocolate w/ #marshmallows
https://www.weatherbug.com/weather-forecast/now/new-york-ny-10001 -
Here we gooo, NYC! 1-3" today, then another 12-16" tonight!
At least the city came 'round and got rid of most of those icebergs on street corners, knowing they'd be making fresh.
#NYC #snow #storm #NewYorkCity #midtown #Manhattan #Mayor #Mamdani #MamdaniMandate #plow #shovel #iceberg #street #corner #pedestrian #winter #boots #hot #chocolate w/ #marshmallows
https://www.weatherbug.com/weather-forecast/now/new-york-ny-10001 -
Here we gooo, NYC! 1-3" today, then another 12-16" tonight!
At least the city came 'round and got rid of most of those icebergs on street corners, knowing they'd be making fresh.
#NYC #snow #storm #NewYorkCity #midtown #Manhattan #Mayor #Mamdani #MamdaniMandate #plow #shovel #iceberg #street #corner #pedestrian #winter #boots #hot #chocolate w/ #marshmallows
https://www.weatherbug.com/weather-forecast/now/new-york-ny-10001 -
[Перевод] Архитектура Lakehouse: три года после хайпа
В 2021 году Databricks ввели в моду термин «lakehouse», и индустрия дружно решила, что это и есть будущее. Аналитики писали восторженные статьи о том, что классические DWH мертвы. Вендоры спешно проводили ребрендинг своих продуктов, а на конференциях обещали единую архитектуру, которая решит вообще любые проблемы с данными. Некоторые обещания Lakehouse сбылись. Другие оказались лишь маркетингом. А еще всплыли проблемы, которых никто не ожидал. В этой статье разберем честный опыт внедрения Lakehouse к 2025 году: какие обещания оказались маркетингом, почему расходы на вычисления часто растут вместо экономии, и как на самом деле выглядит прагматичная работа с Delta Lake, Iceberg и Hudi в современных проектах. Что выжило в продакшене, что тихо скончалось, а о чем принято помалкивать?
https://habr.com/ru/articles/1000506/
#iceberg #data_lakehouse #data_warehouse #dbt #spark #dwh #хранилище_данных
-
Presented at the Berlin Open Lakehouse and AI Meetups, about WarehousePG. Finally found the time to write about the meetup.
My talk was: How we made WarehousePG Open Source (again)
All talks and recordings are linked in the blog posting.
#Berlin #Lakehouse #Clickhouse #WarehousePG #PostgreSQL #Meetup #Iceberg
-
Today we check out what happened to #Iceberg #A23a ? It was the largest iceberg in the world but multiple large breakups have left it much smaller, covered in lakes as shooting off east northeast across the southern Atlantic. #A23 https://youtu.be/GdkSp_8y85Q
-
🗺️🌍 Ah, the BBC invites us on an epic treasure hunt under Greenland's ice! Because nothing screams "pragmatic energy strategy" quite like #mining minerals from an #iceberg that could sink the Titanic 🚢. But hey, maybe we can find some ancient WiFi hidden there too! 📡❄️
https://www.bbc.com/future/article/20250121-the-enormous-challenge-of-mining-greenland #treasurehunt #Greenland #energystrategy #ancientWiFi #adventure #HackerNews #ngated -
🗺️🌍 Ah, the BBC invites us on an epic treasure hunt under Greenland's ice! Because nothing screams "pragmatic energy strategy" quite like #mining minerals from an #iceberg that could sink the Titanic 🚢. But hey, maybe we can find some ancient WiFi hidden there too! 📡❄️
https://www.bbc.com/future/article/20250121-the-enormous-challenge-of-mining-greenland #treasurehunt #Greenland #energystrategy #ancientWiFi #adventure #HackerNews #ngated -
🗺️🌍 Ah, the BBC invites us on an epic treasure hunt under Greenland's ice! Because nothing screams "pragmatic energy strategy" quite like #mining minerals from an #iceberg that could sink the Titanic 🚢. But hey, maybe we can find some ancient WiFi hidden there too! 📡❄️
https://www.bbc.com/future/article/20250121-the-enormous-challenge-of-mining-greenland #treasurehunt #Greenland #energystrategy #ancientWiFi #adventure #HackerNews #ngated -
🗺️🌍 Ah, the BBC invites us on an epic treasure hunt under Greenland's ice! Because nothing screams "pragmatic energy strategy" quite like #mining minerals from an #iceberg that could sink the Titanic 🚢. But hey, maybe we can find some ancient WiFi hidden there too! 📡❄️
https://www.bbc.com/future/article/20250121-the-enormous-challenge-of-mining-greenland #treasurehunt #Greenland #energystrategy #ancientWiFi #adventure #HackerNews #ngated -
Trino в Авито два года спустя: от движка к полноценной экосистеме
Всем привет! Меня зовут Дмитрий Рейман, я техлид аналитической платформы Avito . Уже третий год мы занимаемся миграцией с Vertica на Trino. Изначально казалось, что это будет просто: перенесём запросы, перепишем коннекторы, чуть подправим пайплайны. Но за два с лишним года миграция перестала быть просто миграцией: проект разросся в инженерную одиссею, и вокруг Trino мы начали строить целую экосистему. Как это было — рассказываю под катом.
https://habr.com/ru/companies/avito/articles/979912/
#dwh #lakehouse #trino #vertica #mpp #hive #iceberg #ceph #s3 #orc
-
Обзор Lakehouse: архитектура, которая объединяет порядок и хаос
Вопрос: что же такого прорывного добавили в архитектуру, чтобы она стала считаться чем-то новым с точки зрения инженеров, а не маркетологов ? Ответ: фундаментально изменилась парадигма хранения и обработки данных. В отличие от традиционных подходов, где Data Warehouse оперировал исключительно структурированными данными в табличной форме, а Data Lake работал с файлами в их исходном виде, разработчики Lakehouse сумели соединить лучшие качества обеих архитектур. Ключевым отличием стал формат OTF — Open Table Format, через который удалось реализовать единый стандарт доступа к данным и 4 технологически-культурных сдвига. Перечислю их: ...
https://habr.com/ru/companies/cinimex/articles/978522/
#lakehouse #data_lakehouse #delta_lake #iceberg #otf #data_warehouse #data_lake #архитектура_данных #управление_данными #data_governance
-
Shrink кластера и Iceberg-коннектор. Что нового?
В этой статье мы поделимся некоторыми подробностями работы над новыми функциями Greengage, такими как shrink и expand кластера, улучшение вставки для foreign-таблиц и подготовка к интеграции с Apache Iceberg.
https://habr.com/ru/companies/greengage/articles/977214/
#greengage #iceberg #scalability #foreign_data_wrapper #connector
-
@stephanie ya lagers are the bottom of my list. Although they are tolerable as icebergs in the summer!
-
Did we get ahead of ourselves by focusing purely on Generative AI before perfecting the robust data fundamentals that the best AI workloads are built on? 🤔
My keynote from @allthingsopen "AI Should Not Replace Well-Built Data Fundamentals," argues that true AI innovation comes from workloads built ON TOP of strong data fundamentals, not in place of them.
I dive into how you can use AI tools (like #GeminiCLI) alongside foundational #OpenSource tools (like ASF's #Iceberg) to establish the essential scalability, flexibility, and interoperability required for modern, large-scale AI success.
You can't have an effective AI strategy without a well-built data strategy.
Watch the full talk here: https://youtu.be/y4Hp5mEtukg
#DataEngineering #AI #GenAI #ApacheSoftwareFoundation #DeveloperRelations
