home.social

#ducklake — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ducklake, aggregated by home.social.

fetched live
  1. Apache Iceberg: Индиана Джонс и Каталог судьбы

    parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы или мусор из файлов и кого вообще к ним подпустят. Это каталог. Разбираю просто, что такое Apache Iceberg, зачем ему каталог - и почему новость про Polaris важнее, чем кажется. В продолжение анонса новостей…

    habr.com/ru/articles/1065864/

    #iceberg #trino #lakehouse #database #базы_данных #s3 #lakehouseплатформа_данных #clickhouse #ducklake #dremio

  2. Всё что нужно знать про DuckLake

    Когда вышел DuckDB 1.0, я написал статью Всё что нужно знать про DuckDB . Теперь вышел DuckLake v1.0 — LakeHouse-формат из той же экосистемы. Это отличный повод разобраться, как он устроен и как его можно использовать в production-сценариях. В этой статье разберём, какую проблему решает DuckLake, чем его архитектура отличается от Apache Iceberg и как поднять DuckLake локально или в окружении, приближённом к production: PostgreSQL для каталога метаданных и S3/MinIO для файлов данных.

    habr.com/ru/articles/1064714/

    #ducklake #duckdb #iceberg #hudi #delta #spark #data_lakehouse #data_lake #big_data #modern_data_stack

  3. Apache Iceberg: Индиана Джонс и Каталог судьбы

    *.parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы или мусор из файлов и кого вообще к ним подпустят. Это каталог. Разбираю простым языком, что такое Apache Iceberg, зачем ему каталог - и почему тихая новость про Polaris важнее, чем кажется. В продолжении анонса новостей

    habr.com/ru/articles/1064224/

    #Apache_Iceberg #каталог_данных #Polaris #lakehouse #data_engineering #PostgreSQL #ClickHouse #Trino #DuckLake #объектное_хранилище

  4. Databricks обещал конец баз данных. Читаем мелкий шрифт

    Пару дней назад я собрал сводку новостей по lakehouse и закончил её обещанием: разберу каждый громкий анонс по отдельности. Выполняю - и начинаю с самого шумного. На своём июньском саммите Databricks вышел на сцену с заявлением масштаба смены эпохи: отдельные быстрые базы под витрины больше не нужны, перекачка данных между системами умерла, а всё хозяйство теперь живёт в едином озере, готовом под ИИ-агентов. Звучит так, что хочется встать и поверить. Я вместо этого полез в их документацию, инженерные блоги и интервью - и ниже по пунктам сверяю, что обещано со сцены, а что написано мелким шрифтом. Сразу скажу: технология местами действительно сильная. Но «конца эпохи» в опубликованных данных я не нашёл - нашёл несколько мест, где громкое слово прикрывает вещь куда более скромную и знакомую.

    habr.com/ru/articles/1053690/

    #Data_Lakehouse #databricks #clickhouse #apache #reyden #lakebase #delta_lake #ducklake #postgres #хранилища_данных

  5. DuckDB Labs released #DuckLake 1.0 - a data lake format that stores table metadata in a SQL database, rather than spreading it across object storage files.

    Key features:
    • catalog-stored small updates
    • improved sorting and partitioning
    • compatibility with Iceberg-style data features

    Learn more ⇨ bit.ly/48PsPIS

    #InfoQ #DuckDB #ApacheIceberg #AI #DataLake #DataStorage

  6. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  7. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  8. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  9. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  10. Maybe the fastest BCF/VCF to #RStats DataFrames using #htslib and #duckdb C API. Easily the title of fastest BCF/VCF to parquet convertors in #RStats (no other R options :D). This was motivated, among other things, by the idea of trying out #DuckLake in a familiar field github.com/RGenomicsETL...

  11. The town of Duck Lake, Saskatchewan :flagsk: wants to sell the rights to its name to raise money for infrastructure repairs.

    cbc.ca/news/canada/saskatchewa
    - - -
    Le village de Duck Lake, Saskatchewan :flagsk: veut vendre les droits sur son nom pour collecter des fonds pour les réparations d'infrastructures.

    // Article en anglais //

    #DuckLake #Saskatchewan

  12. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  13. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  14. I'm going to be answering questions in the chat during the video premiere starting now: www.youtube.com/watch?v=YQEU... #ducklake

    DuckLake - The SQL-Powered Lak...

  15. This week, I learned how to create and explore a data lake with duckdb, using its new ducklake extension. It was surprisingly easy to hand over the creation and management of parquet files with larg(ish) tables to ducklake. I loved being able to explore the data using R, python or plain SQL - even within the same Quarto document! tomsing1.github.io/blog/posts/ #RStats #python #duckdb #ducklake #quarto

  16. I’m very happy with this poster the @tigerbeetle.com team made for my #ducklake talk today at #systemsdistributed - make it so!

  17. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  18. #DuckLake simplifies lakehouses by using a standard SQL database for all metadata, instead of complex file-based systems, while still storing data in open formats like Parquet.

    duckdb.org/2025/05/27/ducklake

  19. Ah, the $10/month Lakehouses: because who wouldn't want a bargain-basement data lake with all the charm of a timeshare in purgatory? 🤔💸 Just add a sprinkle of buzzwords like "DuckLake" and "time travel" and voilà, you've got a tech article that feels like a 2-hour #infomercial for something you'll never use. 📈🔮
    tobilg.com/the-age-of-10-dolla #Lakehouses #DuckLake #DataLake #TechTrends #HackerNews #ngated

  20. And continues to be my everything analytics thing. 😅 simply cements this. Basically use , , or . 😏

    If I need more, I have to think REAL hard what I can't accomplish with sharding. 😁

    duckdb.org/2025/05/27/ducklake

  21. The DuckLake Manifesto: SQL as a Lakehouse Format.

    ducklake.select/manifesto/

    I just know I'm going to have the theme from Swan Lake as quacked by ducks in my head 🦆

    #DuckLake #SQL #Lakehouse

  22. 🚀 Quack, quack! Introducing DuckLake: the "innovative" format that reinvents the wheel by combining data lakes and catalogs. 🎉 It's like your SQL database got lost in a pond, but hey, at least it's open-source and uses #Parquet files! 🦆💾
    ducklake.select/ #DuckLake #DataLakes #OpenSource #Innovation #HackerNews #ngated