home.social

#ducklake — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ducklake, aggregated by home.social.

fetched live
  1. Apache Iceberg: Индиана Джонс и Каталог судьбы

    parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы или мусор из файлов и кого вообще к ним подпустят. Это каталог. Разбираю просто, что такое Apache Iceberg, зачем ему каталог - и почему новость про Polaris важнее, чем кажется. В продолжение анонса новостей…

    habr.com/ru/articles/1065864/

    #iceberg #trino #lakehouse #database #базы_данных #s3 #lakehouseплатформа_данных #clickhouse #ducklake #dremio

  2. Apache Iceberg: Индиана Джонс и Каталог судьбы

    parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы или мусор из файлов и кого вообще к ним подпустят. Это каталог. Разбираю просто, что такое Apache Iceberg, зачем ему каталог - и почему новость про Polaris важнее, чем кажется. В продолжение анонса новостей…

    habr.com/ru/articles/1065864/

    #iceberg #trino #lakehouse #database #базы_данных #s3 #lakehouseплатформа_данных #clickhouse #ducklake #dremio

  3. Apache Iceberg: Индиана Джонс и Каталог судьбы

    parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы или мусор из файлов и кого вообще к ним подпустят. Это каталог. Разбираю просто, что такое Apache Iceberg, зачем ему каталог - и почему новость про Polaris важнее, чем кажется. В продолжение анонса новостей…

    habr.com/ru/articles/1065864/

    #iceberg #trino #lakehouse #database #базы_данных #s3 #lakehouseплатформа_данных #clickhouse #ducklake #dremio

  4. Всё что нужно знать про DuckLake

    Когда вышел DuckDB 1.0, я написал статью Всё что нужно знать про DuckDB . Теперь вышел DuckLake v1.0 — LakeHouse-формат из той же экосистемы. Это отличный повод разобраться, как он устроен и как его можно использовать в production-сценариях. В этой статье разберём, какую проблему решает DuckLake, чем его архитектура отличается от Apache Iceberg и как поднять DuckLake локально или в окружении, приближённом к production: PostgreSQL для каталога метаданных и S3/MinIO для файлов данных.

    habr.com/ru/articles/1064714/

    #ducklake #duckdb #iceberg #hudi #delta #spark #data_lakehouse #data_lake #big_data #modern_data_stack

  5. Всё что нужно знать про DuckLake

    Когда вышел DuckDB 1.0, я написал статью Всё что нужно знать про DuckDB . Теперь вышел DuckLake v1.0 — LakeHouse-формат из той же экосистемы. Это отличный повод разобраться, как он устроен и как его можно использовать в production-сценариях. В этой статье разберём, какую проблему решает DuckLake, чем его архитектура отличается от Apache Iceberg и как поднять DuckLake локально или в окружении, приближённом к production: PostgreSQL для каталога метаданных и S3/MinIO для файлов данных.

    habr.com/ru/articles/1064714/

    #ducklake #duckdb #iceberg #hudi #delta #spark #data_lakehouse #data_lake #big_data #modern_data_stack

  6. Всё что нужно знать про DuckLake

    Когда вышел DuckDB 1.0, я написал статью Всё что нужно знать про DuckDB . Теперь вышел DuckLake v1.0 — LakeHouse-формат из той же экосистемы. Это отличный повод разобраться, как он устроен и как его можно использовать в production-сценариях. В этой статье разберём, какую проблему решает DuckLake, чем его архитектура отличается от Apache Iceberg и как поднять DuckLake локально или в окружении, приближённом к production: PostgreSQL для каталога метаданных и S3/MinIO для файлов данных.

    habr.com/ru/articles/1064714/

    #ducklake #duckdb #iceberg #hudi #delta #spark #data_lakehouse #data_lake #big_data #modern_data_stack

  7. Apache Iceberg: Индиана Джонс и Каталог судьбы

    *.parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы или мусор из файлов и кого вообще к ним подпустят. Это каталог. Разбираю простым языком, что такое Apache Iceberg, зачем ему каталог - и почему тихая новость про Polaris важнее, чем кажется. В продолжении анонса новостей

    habr.com/ru/articles/1064224/

    #Apache_Iceberg #каталог_данных #Polaris #lakehouse #data_engineering #PostgreSQL #ClickHouse #Trino #DuckLake #объектное_хранилище

  8. Apache Iceberg: Индиана Джонс и Каталог судьбы

    *.parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы или мусор из файлов и кого вообще к ним подпустят. Это каталог. Разбираю простым языком, что такое Apache Iceberg, зачем ему каталог - и почему тихая новость про Polaris важнее, чем кажется. В продолжении анонса новостей

    habr.com/ru/articles/1064224/

    #Apache_Iceberg #каталог_данных #Polaris #lakehouse #data_engineering #PostgreSQL #ClickHouse #Trino #DuckLake #объектное_хранилище

  9. Apache Iceberg: Индиана Джонс и Каталог судьбы

    *.parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы или мусор из файлов и кого вообще к ним подпустят. Это каталог. Разбираю простым языком, что такое Apache Iceberg, зачем ему каталог - и почему тихая новость про Polaris важнее, чем кажется. В продолжении анонса новостей

    habr.com/ru/articles/1064224/

    #Apache_Iceberg #каталог_данных #Polaris #lakehouse #data_engineering #PostgreSQL #ClickHouse #Trino #DuckLake #объектное_хранилище

  10. Databricks обещал конец баз данных. Читаем мелкий шрифт

    Пару дней назад я собрал сводку новостей по lakehouse и закончил её обещанием: разберу каждый громкий анонс по отдельности. Выполняю - и начинаю с самого шумного. На своём июньском саммите Databricks вышел на сцену с заявлением масштаба смены эпохи: отдельные быстрые базы под витрины больше не нужны, перекачка данных между системами умерла, а всё хозяйство теперь живёт в едином озере, готовом под ИИ-агентов. Звучит так, что хочется встать и поверить. Я вместо этого полез в их документацию, инженерные блоги и интервью - и ниже по пунктам сверяю, что обещано со сцены, а что написано мелким шрифтом. Сразу скажу: технология местами действительно сильная. Но «конца эпохи» в опубликованных данных я не нашёл - нашёл несколько мест, где громкое слово прикрывает вещь куда более скромную и знакомую.

    habr.com/ru/articles/1053690/

    #Data_Lakehouse #databricks #clickhouse #apache #reyden #lakebase #delta_lake #ducklake #postgres #хранилища_данных

  11. Databricks обещал конец баз данных. Читаем мелкий шрифт

    Пару дней назад я собрал сводку новостей по lakehouse и закончил её обещанием: разберу каждый громкий анонс по отдельности. Выполняю - и начинаю с самого шумного. На своём июньском саммите Databricks вышел на сцену с заявлением масштаба смены эпохи: отдельные быстрые базы под витрины больше не нужны, перекачка данных между системами умерла, а всё хозяйство теперь живёт в едином озере, готовом под ИИ-агентов. Звучит так, что хочется встать и поверить. Я вместо этого полез в их документацию, инженерные блоги и интервью - и ниже по пунктам сверяю, что обещано со сцены, а что написано мелким шрифтом. Сразу скажу: технология местами действительно сильная. Но «конца эпохи» в опубликованных данных я не нашёл - нашёл несколько мест, где громкое слово прикрывает вещь куда более скромную и знакомую.

    habr.com/ru/articles/1053690/

    #Data_Lakehouse #databricks #clickhouse #apache #reyden #lakebase #delta_lake #ducklake #postgres #хранилища_данных

  12. Databricks обещал конец баз данных. Читаем мелкий шрифт

    Пару дней назад я собрал сводку новостей по lakehouse и закончил её обещанием: разберу каждый громкий анонс по отдельности. Выполняю - и начинаю с самого шумного. На своём июньском саммите Databricks вышел на сцену с заявлением масштаба смены эпохи: отдельные быстрые базы под витрины больше не нужны, перекачка данных между системами умерла, а всё хозяйство теперь живёт в едином озере, готовом под ИИ-агентов. Звучит так, что хочется встать и поверить. Я вместо этого полез в их документацию, инженерные блоги и интервью - и ниже по пунктам сверяю, что обещано со сцены, а что написано мелким шрифтом. Сразу скажу: технология местами действительно сильная. Но «конца эпохи» в опубликованных данных я не нашёл - нашёл несколько мест, где громкое слово прикрывает вещь куда более скромную и знакомую.

    habr.com/ru/articles/1053690/

    #Data_Lakehouse #databricks #clickhouse #apache #reyden #lakebase #delta_lake #ducklake #postgres #хранилища_данных

  13. DuckDB Labs released #DuckLake 1.0 - a data lake format that stores table metadata in a SQL database, rather than spreading it across object storage files.

    Key features:
    • catalog-stored small updates
    • improved sorting and partitioning
    • compatibility with Iceberg-style data features

    Learn more ⇨ bit.ly/48PsPIS

    #InfoQ #DuckDB #ApacheIceberg #AI #DataLake #DataStorage

  14. DuckDB Labs released #DuckLake 1.0 - a data lake format that stores table metadata in a SQL database, rather than spreading it across object storage files.

    Key features:
    • catalog-stored small updates
    • improved sorting and partitioning
    • compatibility with Iceberg-style data features

    Learn more ⇨ bit.ly/48PsPIS

    #InfoQ #DuckDB #ApacheIceberg #AI #DataLake #DataStorage

  15. DuckDB Labs released #DuckLake 1.0 - a data lake format that stores table metadata in a SQL database, rather than spreading it across object storage files.

    Key features:
    • catalog-stored small updates
    • improved sorting and partitioning
    • compatibility with Iceberg-style data features

    Learn more ⇨ bit.ly/48PsPIS

    #InfoQ #DuckDB #ApacheIceberg #AI #DataLake #DataStorage

  16. DuckDB Labs released #DuckLake 1.0 - a data lake format that stores table metadata in a SQL database, rather than spreading it across object storage files.

    Key features:
    • catalog-stored small updates
    • improved sorting and partitioning
    • compatibility with Iceberg-style data features

    Learn more ⇨ bit.ly/48PsPIS

    #InfoQ #DuckDB #ApacheIceberg #AI #DataLake #DataStorage

  17. DuckDB Labs released 1.0 - a data lake format that stores table metadata in a SQL database, rather than spreading it across object storage files.

    Key features:
    • catalog-stored small updates
    • improved sorting and partitioning
    • compatibility with Iceberg-style data features

    Learn more ⇨ bit.ly/48PsPIS

  18. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  19. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  20. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  21. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦

    en.wikipedia.org/wiki/Battle_o

  22. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  23. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  24. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  25. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  26. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦

    en.wikipedia.org/wiki/Battle_o

  27. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  28. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  29. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  30. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  31. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦

    en.wikipedia.org/wiki/Battle_o

  32. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  33. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  34. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  35. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  36. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦

    en.wikipedia.org/wiki/Battle_o

  37. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o

  38. Maybe the fastest BCF/VCF to #RStats DataFrames using #htslib and #duckdb C API. Easily the title of fastest BCF/VCF to parquet convertors in #RStats (no other R options :D). This was motivated, among other things, by the idea of trying out #DuckLake in a familiar field github.com/RGenomicsETL...

  39. Maybe the fastest BCF/VCF to #RStats DataFrames using #htslib and #duckdb C API. Easily the title of fastest BCF/VCF to parquet convertors in #RStats (no other R options :D). This was motivated, among other things, by the idea of trying out #DuckLake in a familiar field github.com/RGenomicsETL...

  40. Maybe the fastest BCF/VCF to #RStats DataFrames using #htslib and #duckdb C API. Easily the title of fastest BCF/VCF to parquet convertors in #RStats (no other R options :D). This was motivated, among other things, by the idea of trying out #DuckLake in a familiar field github.com/RGenomicsETL...

  41. Maybe the fastest BCF/VCF to #RStats DataFrames using #htslib and #duckdb C API. Easily the title of fastest BCF/VCF to parquet convertors in #RStats (no other R options :D). This was motivated, among other things, by the idea of trying out #DuckLake in a familiar field github.com/RGenomicsETL...

  42. Maybe the fastest BCF/VCF to #RStats DataFrames using #htslib and #duckdb C API. Easily the title of fastest BCF/VCF to parquet convertors in #RStats (no other R options :D). This was motivated, among other things, by the idea of trying out #DuckLake in a familiar field github.com/RGenomicsETL...

  43. The town of Duck Lake, Saskatchewan :flagsk: wants to sell the rights to its name to raise money for infrastructure repairs.

    cbc.ca/news/canada/saskatchewa
    - - -
    Le village de Duck Lake, Saskatchewan :flagsk: veut vendre les droits sur son nom pour collecter des fonds pour les réparations d'infrastructures.

    // Article en anglais //

    #DuckLake #Saskatchewan

  44. The town of Duck Lake, Saskatchewan :flagsk: wants to sell the rights to its name to raise money for infrastructure repairs.

    cbc.ca/news/canada/saskatchewa
    - - -
    Le village de Duck Lake, Saskatchewan :flagsk: veut vendre les droits sur son nom pour collecter des fonds pour les réparations d'infrastructures.

    // Article en anglais //

    #DuckLake #Saskatchewan

  45. The town of Duck Lake, Saskatchewan :flagsk: wants to sell the rights to its name to raise money for infrastructure repairs.

    cbc.ca/news/canada/saskatchewa
    - - -
    Le village de Duck Lake, Saskatchewan :flagsk: veut vendre les droits sur son nom pour collecter des fonds pour les réparations d'infrastructures.

    // Article en anglais //

    #DuckLake #Saskatchewan

  46. The town of Duck Lake, Saskatchewan :flagsk: wants to sell the rights to its name to raise money for infrastructure repairs.

    cbc.ca/news/canada/saskatchewa
    - - -
    Le village de Duck Lake, Saskatchewan :flagsk: veut vendre les droits sur son nom pour collecter des fonds pour les réparations d'infrastructures.

    // Article en anglais //

    #DuckLake #Saskatchewan

  47. The town of Duck Lake, Saskatchewan :flagsk: wants to sell the rights to its name to raise money for infrastructure repairs.

    cbc.ca/news/canada/saskatchewa
    - - -
    Le village de Duck Lake, Saskatchewan :flagsk: veut vendre les droits sur son nom pour collecter des fonds pour les réparations d'infrastructures.

    // Article en anglais //

    #DuckLake #Saskatchewan

  48. Battle of Duck Lake – First Clash (Mar 26, 1885)

    On March 26, 1885, the Métis militia under Gabriel Dumont ambushed North-West Mounted Police and volunteers at Duck Lake, Saskatchewan. The Métis won, inflicting 12 deaths and marking the start of open conflict in the North-West Rebellion. 🇨🇦 #NorthWestRebellion #Métis #DuckLake #Canada #Colonization

    en.wikipedia.org/wiki/Battle_o