#duckdb — Public Fediverse posts

It's great to be able to find your own post to help you with a new setup! This time #DuckDB #Ruby gem installation on #Windows! You need to do a couple of things so it works.

https://notepad.onghu.com/2025/duck-db-windows-ruby/

#Programming #Database

It's great to be able to find your own post to help you with a new setup! This time #DuckDB #Ruby gem installation on #Windows! You need to do a couple of things so it works.

https://notepad.onghu.com/2025/duck-db-windows-ruby/

#Programming #Database

I built a thing: https://skaldmaps.com

SkaldMaps is a research, analysis, and rating platform for real estate investments, including primary home buyers (or renters). It lets you analyze, filter, and rank all US ZIP codes by a model you define yourself.

#RealEstate #GIS #DuckDB #Analytics

PostgreSQL и аналитика: что меняется, когда хранилище становится общим

HTAP — одна из главных тем в мире СУБД. Вокруг PostgreSQL массово появляются конструкции с внешними аналитическими движками со своими моделями хранения данных и ограничениями совместимости, однако бизнесу не совсем комфортно жить в архитектуре, где транзакционные данные находятся в одной системе, аналитика - в другой, а между ними - разного рода ETL, CDC и прочие parquet-файлы. В Tantor мы движемся по иному пути, развивая HTAP внутри PostgreSQL, а не рядом с ним. Вокруг этой идеи строятся СУБД Tantor Polar и машина баз данных Tantor XData Gen3, в которой OLTP и аналитика, не теряя совместимости с Postgres, работают поверх общего хранилища данных и общей видимости транзакций. В этой статье хочется поговорить не столько о самом термине HTAP, сколько о том, как меняется архитектура PostgreSQL, когда OLTP и аналитика начинают работать поверх общего хранилища данных.

https://habr.com/ru/companies/tantor/articles/1039680/

#tantor #tantor_postgres #xdata #tantor_xdata #oracle_exadata #duckdb #greenplum #kafka #clickhouse

PostgreSQL и аналитика: что меняется, когда хранилище становится общим

HTAP — одна из главных тем в мире СУБД. Вокруг PostgreSQL массово появляются конструкции с внешними аналитическими движками со своими моделями хранения данных и ограничениями совместимости, однако бизнесу не совсем комфортно жить в архитектуре, где транзакционные данные находятся в одной системе, аналитика - в другой, а между ними - разного рода ETL, CDC и прочие parquet-файлы. В Tantor мы движемся по иному пути, развивая HTAP внутри PostgreSQL, а не рядом с ним. Вокруг этой идеи строятся СУБД Tantor Polar и машина баз данных Tantor XData Gen3, в которой OLTP и аналитика, не теряя совместимости с Postgres, работают поверх общего хранилища данных и общей видимости транзакций. В этой статье хочется поговорить не столько о самом термине HTAP, сколько о том, как меняется архитектура PostgreSQL, когда OLTP и аналитика начинают работать поверх общего хранилища данных.

https://habr.com/ru/companies/tantor/articles/1039680/

#tantor #tantor_postgres #xdata #tantor_xdata #oracle_exadata #duckdb #greenplum #kafka #clickhouse

PostgreSQL и аналитика: что меняется, когда хранилище становится общим

HTAP — одна из главных тем в мире СУБД. Вокруг PostgreSQL массово появляются конструкции с внешними аналитическими движками со своими моделями хранения данных и ограничениями совместимости, однако бизнесу не совсем комфортно жить в архитектуре, где транзакционные данные находятся в одной системе, аналитика - в другой, а между ними - разного рода ETL, CDC и прочие parquet-файлы. В Tantor мы движемся по иному пути, развивая HTAP внутри PostgreSQL, а не рядом с ним. Вокруг этой идеи строятся СУБД Tantor Polar и машина баз данных Tantor XData Gen3, в которой OLTP и аналитика, не теряя совместимости с Postgres, работают поверх общего хранилища данных и общей видимости транзакций. В этой статье хочется поговорить не столько о самом термине HTAP, сколько о том, как меняется архитектура PostgreSQL, когда OLTP и аналитика начинают работать поверх общего хранилища данных.

https://habr.com/ru/companies/tantor/articles/1039680/

#tantor #tantor_postgres #xdata #tantor_xdata #oracle_exadata #duckdb #greenplum #kafka #clickhouse

PostgreSQL и аналитика: что меняется, когда хранилище становится общим

HTAP — одна из главных тем в мире СУБД. Вокруг PostgreSQL массово появляются конструкции с внешними аналитическими движками со своими моделями хранения данных и ограничениями совместимости, однако бизнесу не совсем комфортно жить в архитектуре, где транзакционные данные находятся в одной системе, аналитика - в другой, а между ними - разного рода ETL, CDC и прочие parquet-файлы. В Tantor мы движемся по иному пути, развивая HTAP внутри PostgreSQL, а не рядом с ним. Вокруг этой идеи строятся СУБД Tantor Polar и машина баз данных Tantor XData Gen3, в которой OLTP и аналитика, не теряя совместимости с Postgres, работают поверх общего хранилища данных и общей видимости транзакций. В этой статье хочется поговорить не столько о самом термине HTAP, сколько о том, как меняется архитектура PostgreSQL, когда OLTP и аналитика начинают работать поверх общего хранилища данных.

https://habr.com/ru/companies/tantor/articles/1039680/

#tantor #tantor_postgres #xdata #tantor_xdata #oracle_exadata #duckdb #greenplum #kafka #clickhouse

Optimising DuckDB performance on large EC2 instances

"I have been recommending for some time that DuckDB is often a faster and simpler choice than Spark for most data engineering workloads.

(...)

However, there are some performance footguns with this approach: the default configuration can result in surprisingly poor performance, and a few simple changes can make workloads run multiple times faster."

#duckdb

https://www.robinlinacre.com/optimising_duckdb_performance_large_ec2_instances/

#DuckDB's Quack server thing has been out for like 30 seconds and daft folks are putting them on the internet already.

h/t @silas

#duckdb has client-server now. game changer.

https://duckdb.org/quack/

Quack: The DuckDB Client-Server Protocol

https://duckdb.org/2026/05/12/quack-remote-protocol

#HackerNews #Quack #DuckDB #Client #Server #Protocol #Database #Technology #OpenSource #DataAnalytics

🚨 Breaking news! 🚨 In a groundbreaking development nobody asked for, we now have "Quack," the #DuckDB client-server #protocol, because clearly what the world needs is more DB protocols named after waterfowl. 🦆🌊 Thank you, tech industry, for yet again overcomplicating the simple task of fetching data! 🎉🙄
https://duckdb.org/2026/05/12/quack-remote-protocol #QuackDB #DatabaseTech #Overcomplication #DataFetching #HackerNews #ngated

DuckDB Labs released #DuckLake 1.0 - a data lake format that stores table metadata in a SQL database, rather than spreading it across object storage files.

Key features:
• catalog-stored small updates
• improved sorting and partitioning
• compatibility with Iceberg-style data features

Learn more ⇨ https://bit.ly/48PsPIS

#InfoQ #DuckDB #ApacheIceberg #AI #DataLake #DataStorage

In meinen heutigen #TechTipps möchte ich Euch gerne #duckdb
vorstellen.
DuckDB (https://duckdb.org) könnte Euch dann interessieren wenn ihr:

- in der IT (#Softwareentwicklung, Datenanalyse #Olap, Qualitätssicherung, Forschung, etc ) arbeitet
- privat an Datenanlyse jenseits von unübesichtlichen Tabellen (#Spreadsheets) interessiert seid
- Daten wie Kontoauszüge, Telefonbücher oder (elektronische) Kataloge durchforsten wollt

DuckDB kann als eigenständiges Kommandozeilen (#CLI) Programm ohne Abhängigkeiten bezogen und verwendet werden oder auch intergriert in andere #programmiersprachen (#python) oder #tools wie #jupyter integriert werden.

Die CLI-Version kann mit Parameter "-ui" verwendet werden und startet damit ein recht komfortables #webui im lokalen #browser.
Im ersten Schritt legt man nun ein "Notebook" an das zellenweise strukturiert ist.
Es können jederzeit neue Zellen an jeder Stelle im #workflow hinzugefügt, eingefügt oder gelöscht werden.
Unterteilt man nun seinen Anwendungsfall in kleine Schritte (Zellen) wird ein komplexes Thema schon viel einfacher.

Beispiel:
1. Zelle:
-- Datenbank im Speicher anlegen
ATTACH IF NOT EXISTS ':memory:' AS memory;

2.Zelle:
-- Tablle BLS 4.0 importieren
CREATE OR REPLACE TABLE BLS AS
SELECT * FROM
read_xlsx('/home/XXX/Downloads/BLS_4_0_2025_DE/BLS_4_0_Daten_2025_DE.xlsx',
sheet = 'BLS_4_0_Daten_2025_DE',
header = true, all_varchar = true);

3. Zelle
-- Zeige mir Lebensmittel mit Vitamin D
select Lebensmittelbezeichnung, "VITD Vitamin D [µg/100g]" as VD
from'BLS'
where
VD is not null and VD not ilike '0'
order by VD DESC;

Ergebnisse können als Tabelle oder CSV mit "Download" gespeichert werden.
😀

In meinen heutigen #TechTipps möchte ich Euch gerne #duckdb
vorstellen.
DuckDB (https://duckdb.org) könnte Euch dann interessieren wenn ihr:

- in der IT (#Softwareentwicklung, Datenanalyse #Olap, Qualitätssicherung, Forschung, etc ) arbeitet
- privat an Datenanlyse jenseits von unübesichtlichen Tabellen (#Spreadsheets) interessiert seid
- Daten wie Kontoauszüge, Telefonbücher oder (elektronische) Kataloge durchforsten wollt

DuckDB kann als eigenständiges Kommandozeilen (#CLI) Programm ohne Abhängigkeiten bezogen und verwendet werden oder auch intergriert in andere #programmiersprachen (#python) oder #tools wie #jupyter integriert werden.

Die CLI-Version kann mit Parameter "-ui" verwendet werden und startet damit ein recht komfortables #webui im lokalen #browser.
Im ersten Schritt legt man nun ein "Notebook" an das zellenweise strukturiert ist.
Es können jederzeit neue Zellen an jeder Stelle im #workflow hinzugefügt, eingefügt oder gelöscht werden.
Unterteilt man nun seinen Anwendungsfall in kleine Schritte (Zellen) wird ein komplexes Thema schon viel einfacher.

Beispiel:
1. Zelle:
-- Datenbank im Speicher anlegen
ATTACH IF NOT EXISTS ':memory:' AS memory;

2.Zelle:
-- Tablle BLS 4.0 importieren
CREATE OR REPLACE TABLE BLS AS
SELECT * FROM
read_xlsx('/home/XXX/Downloads/BLS_4_0_2025_DE/BLS_4_0_Daten_2025_DE.xlsx',
sheet = 'BLS_4_0_Daten_2025_DE',
header = true, all_varchar = true);

3. Zelle
-- Zeige mir Lebensmittel mit Vitamin D
select Lebensmittelbezeichnung, "VITD Vitamin D [µg/100g]" as VD
from'BLS'
where
VD is not null and VD not ilike '0'
order by VD DESC;

Ergebnisse können als Tabelle oder CSV mit "Download" gespeichert werden.
😀

In meinen heutigen #TechTipps möchte ich Euch gerne #duckdb
vorstellen.
DuckDB (https://duckdb.org) könnte Euch dann interessieren wenn ihr:

- in der IT (#Softwareentwicklung, Datenanalyse #Olap, Qualitätssicherung, Forschung, etc ) arbeitet
- privat an Datenanlyse jenseits von unübesichtlichen Tabellen (#Spreadsheets) interessiert seid
- Daten wie Kontoauszüge, Telefonbücher oder (elektronische) Kataloge durchforsten wollt

DuckDB kann als eigenständiges Kommandozeilen (#CLI) Programm ohne Abhängigkeiten bezogen und verwendet werden oder auch intergriert in andere #programmiersprachen (#python) oder #tools wie #jupyter integriert werden.

Die CLI-Version kann mit Parameter "-ui" verwendet werden und startet damit ein recht komfortables #webui im lokalen #browser.
Im ersten Schritt legt man nun ein "Notebook" an das zellenweise strukturiert ist.
Es können jederzeit neue Zellen an jeder Stelle im #workflow hinzugefügt, eingefügt oder gelöscht werden.
Unterteilt man nun seinen Anwendungsfall in kleine Schritte (Zellen) wird ein komplexes Thema schon viel einfacher.

Beispiel:
1. Zelle:
-- Datenbank im Speicher anlegen
ATTACH IF NOT EXISTS ':memory:' AS memory;

2.Zelle:
-- Tablle BLS 4.0 importieren
CREATE OR REPLACE TABLE BLS AS
SELECT * FROM
read_xlsx('/home/XXX/Downloads/BLS_4_0_2025_DE/BLS_4_0_Daten_2025_DE.xlsx',
sheet = 'BLS_4_0_Daten_2025_DE',
header = true, all_varchar = true);

3. Zelle
-- Zeige mir Lebensmittel mit Vitamin D
select Lebensmittelbezeichnung, "VITD Vitamin D [µg/100g]" as VD
from'BLS'
where
VD is not null and VD not ilike '0'
order by VD DESC;

Ergebnisse können als Tabelle oder CSV mit "Download" gespeichert werden.
😀

In meinen heutigen #TechTipps möchte ich Euch gerne #duckdb
vorstellen.
DuckDB (https://duckdb.org) könnte Euch dann interessieren wenn ihr:

- in der IT (#Softwareentwicklung, Datenanalyse #Olap, Qualitätssicherung, Forschung, etc ) arbeitet
- privat an Datenanlyse jenseits von unübesichtlichen Tabellen (#Spreadsheets) interessiert seid
- Daten wie Kontoauszüge, Telefonbücher oder (elektronische) Kataloge durchforsten wollt

DuckDB kann als eigenständiges Kommandozeilen (#CLI) Programm ohne Abhängigkeiten bezogen und verwendet werden oder auch intergriert in andere #programmiersprachen (#python) oder #tools wie #jupyter integriert werden.

Die CLI-Version kann mit Parameter "-ui" verwendet werden und startet damit ein recht komfortables #webui im lokalen #browser.
Im ersten Schritt legt man nun ein "Notebook" an das zellenweise strukturiert ist.
Es können jederzeit neue Zellen an jeder Stelle im #workflow hinzugefügt, eingefügt oder gelöscht werden.
Unterteilt man nun seinen Anwendungsfall in kleine Schritte (Zellen) wird ein komplexes Thema schon viel einfacher.

Beispiel:
1. Zelle:
-- Datenbank im Speicher anlegen
ATTACH IF NOT EXISTS ':memory:' AS memory;

2.Zelle:
-- Tablle BLS 4.0 importieren
CREATE OR REPLACE TABLE BLS AS
SELECT * FROM
read_xlsx('/home/XXX/Downloads/BLS_4_0_2025_DE/BLS_4_0_Daten_2025_DE.xlsx',
sheet = 'BLS_4_0_Daten_2025_DE',
header = true, all_varchar = true);

3. Zelle
-- Zeige mir Lebensmittel mit Vitamin D
select Lebensmittelbezeichnung, "VITD Vitamin D [µg/100g]" as VD
from'BLS'
where
VD is not null and VD not ilike '0'
order by VD DESC;

Ergebnisse können als Tabelle oder CSV mit "Download" gespeichert werden.
😀

In meinen heutigen #TechTipps möchte ich Euch gerne #duckdb
vorstellen.
DuckDB (https://duckdb.org) könnte Euch dann interessieren wenn ihr:

- in der IT (#Softwareentwicklung, Datenanalyse #Olap, Qualitätssicherung, Forschung, etc ) arbeitet
- privat an Datenanlyse jenseits von unübesichtlichen Tabellen (#Spreadsheets) interessiert seid
- Daten wie Kontoauszüge, Telefonbücher oder (elektronische) Kataloge durchforsten wollt

DuckDB kann als eigenständiges Kommandozeilen (#CLI) Programm ohne Abhängigkeiten bezogen und verwendet werden oder auch intergriert in andere #programmiersprachen (#python) oder #tools wie #jupyter integriert werden.

Die CLI-Version kann mit Parameter "-ui" verwendet werden und startet damit ein recht komfortables #webui im lokalen #browser.
Im ersten Schritt legt man nun ein "Notebook" an das zellenweise strukturiert ist.
Es können jederzeit neue Zellen an jeder Stelle im #workflow hinzugefügt, eingefügt oder gelöscht werden.
Unterteilt man nun seinen Anwendungsfall in kleine Schritte (Zellen) wird ein komplexes Thema schon viel einfacher.

Beispiel:
1. Zelle:
-- Datenbank im Speicher anlegen
ATTACH IF NOT EXISTS ':memory:' AS memory;

2.Zelle:
-- Tablle BLS 4.0 importieren
CREATE OR REPLACE TABLE BLS AS
SELECT * FROM
read_xlsx('/home/XXX/Downloads/BLS_4_0_2025_DE/BLS_4_0_Daten_2025_DE.xlsx',
sheet = 'BLS_4_0_Daten_2025_DE',
header = true, all_varchar = true);

3. Zelle
-- Zeige mir Lebensmittel mit Vitamin D
select Lebensmittelbezeichnung, "VITD Vitamin D [µg/100g]" as VD
from'BLS'
where
VD is not null and VD not ilike '0'
order by VD DESC;

Ergebnisse können als Tabelle oder CSV mit "Download" gespeichert werden.
😀

Mon dernier développement de l'année 2023 avec #duckdb et #gnuplot ❤️

Analyse des secteurs industriels parmi 186 actions #Euronext

Aperçu en 1152 x 7776 pixels

Encore pas mal de bug à corriger

#analyse #technique #finance

A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge

#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance

A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge

#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance

A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge

#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance

A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge

#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance

A sharded DuckDB on 63 nodes runs 1T row aggregation challenge in 5 sec

https://gizmodata.com/blog/gizmoedge-one-trillion-row-challenge

#HackerNews #DuckDB #Sharding #Aggregation #Challenge #1T #Rows #BigData #Performance

----------------

🛠️ Tool
===================

Opening: Mecha Hayabusa is a tool that bridges the Hayabusa Windows event log CSV output with large language models using the Model Context Protocol (MCP). The project aims to enable a structured, LLM-driven DFIR workflow rather than a simple free-text search over logs.

Key Features:
• Automatic ingestion of Hayabusa CSV timelines into a local DuckDB instance to enable fast, structured queries over large log datasets.
• Read-only SQL execution against the logs table with built-in safety constraints to avoid destructive operations.
• Cross-field search, dataset profiling, time-window summarization, and host-centric timeline assembly for focused investigations.
• Extraction of Indicators of Compromise (IOCs), aggregation of rule titles, and parsing of Details fields from Hayabusa output.
• Base64 PowerShell decoding and correlation routines to identify lateral movement patterns across hosts.
• A dedicated investigation skill that codifies a DFIR workflow and supports standardized incident report generation in Japanese and English.

Technical Implementation:
Mecha Hayabusa converts Hayabusa CSV timelines into a local DuckDB database, exposing read-only query capabilities and structured summarization endpoints over an MCP-compatible HTTP transport. The system exposes dataset management (list, switch, unload), profiling endpoints, and specialized analysis primitives (IOC extraction, PowerShell decoding, lateral correlation). Integration with LLMs is mediated through MCP, allowing the model to orchestrate a sequence of analysis steps (triage, hypothesis development, host-level deep dives, and report generation) rather than returning isolated search hits.

Use Cases:
• Incident responders who need rapid host-centric timelines and cross-host correlation from exported Hayabusa results.
• Threat hunters seeking automated ATT&CK tactic classification and IOC extraction from large CSV exports.
• Organizations that want consistent, LLM-assisted incident reports in multiple languages, improving repeatability of DFIR workflows.

Limitations:
• Functionality depends on structured Hayabusa CSV exports; format deviations will reduce effectiveness.
• The system performs read-only SQL and analysis; it is not designed for endpoint remediation or live collection.
• Accuracy of natural-language summaries and report content depends on the connected LLM and its prompt/context handling.

Closing:
Mecha Hayabusa represents a targeted approach to integrating structured log storage (DuckDB) with LLM orchestration via MCP to operationalize repeatable DFIR investigations and report generation. #tool #DFIR #MCP #DuckDB #Hayabusa

🔗 Source: https://github.com/Yamato-Security/mecha-hayabusa

Quack: The DuckDB Client-Server Protocol

https://duckdb.org/2026/05/12/quack-remote-protocol

#HackerNews #Quack #DuckDB #Client #Server #Protocol #Database #Technology #OpenSource #DataAnalytics

Quack: The DuckDB Client-Server Protocol

https://duckdb.org/2026/05/12/quack-remote-protocol

#HackerNews #Quack #DuckDB #Client #Server #Protocol #Database #Technology #OpenSource #DataAnalytics

Quack: The DuckDB Client-Server Protocol

https://duckdb.org/2026/05/12/quack-remote-protocol

#HackerNews #Quack #DuckDB #Client #Server #Protocol #Database #Technology #OpenSource #DataAnalytics

Quack: The DuckDB Client-Server Protocol

https://duckdb.org/2026/05/12/quack-remote-protocol

#HackerNews #Quack #DuckDB #Client #Server #Protocol #Database #Technology #OpenSource #DataAnalytics

Converting #cohost data export to #mdx files as a practical introduction to the power of #duckdb

https://james-forbes.com/posts/cohost-export

- No #jq
- No #javascript
- No #python

Just beautiful SQL (and a🤏tiny bit of bash).

Converting #cohost data export to #mdx files as a practical introduction to the power of #duckdb

https://james-forbes.com/posts/cohost-export

- No #jq
- No #javascript
- No #python

Just beautiful SQL (and a🤏tiny bit of bash).

Converting #cohost data export to #mdx files as a practical introduction to the power of #duckdb

https://james-forbes.com/posts/cohost-export

- No #jq
- No #javascript
- No #python

Just beautiful SQL (and a🤏tiny bit of bash).

Converting #cohost data export to #mdx files as a practical introduction to the power of #duckdb

https://james-forbes.com/posts/cohost-export

- No #jq
- No #javascript
- No #python

Just beautiful SQL (and a🤏tiny bit of bash).

Converting #cohost data export to #mdx files as a practical introduction to the power of #duckdb

https://james-forbes.com/posts/cohost-export

- No #jq
- No #javascript
- No #python

Just beautiful SQL (and a🤏tiny bit of bash).

DuckDB extension for A5 DGGS: A community extension by Query.Farm brings native support for the (equal-area, pentagonal-cell-based) #A5 Discrete Global Grid System (#DGGS) to #DuckDB. In development since April, the extension includes a set of functions for coordinate...
https://spatialists.ch/posts/2025/10/19-duckdb-extension-for-a5-dggs/ #GIS #GISchat #geospatial #SwissGIS

Today I discovered duckdb, a nice tool to query structured files like CSV or JSON, so you run commands like:

duckdb -c "SELECT * FROM 'whatever.csv' WHERE item_count > 100000"

And you get a pretty table in the CLI, you can also output to JSON…

#duckdb #csv #json #cli

Today I discovered duckdb, a nice tool to query structured files like CSV or JSON, so you run commands like:

duckdb -c "SELECT * FROM 'whatever.csv' WHERE item_count > 100000"

And you get a pretty table in the CLI, you can also output to JSON…

#duckdb #csv #json #cli

Today I discovered duckdb, a nice tool to query structured files like CSV or JSON, so you run commands like:

duckdb -c "SELECT * FROM 'whatever.csv' WHERE item_count > 100000"

And you get a pretty table in the CLI, you can also output to JSON…

#duckdb #csv #json #cli

Today I discovered duckdb, a nice tool to query structured files like CSV or JSON, so you run commands like:

duckdb -c "SELECT * FROM 'whatever.csv' WHERE item_count > 100000"

And you get a pretty table in the CLI, you can also output to JSON…

#duckdb #csv #json #cli

Today I discovered duckdb, a nice tool to query structured files like CSV or JSON, so you run commands like:

duckdb -c "SELECT * FROM 'whatever.csv' WHERE item_count > 100000"

And you get a pretty table in the CLI, you can also output to JSON…

#duckdb #csv #json #cli

[Перевод] Укрощение «диких» CSV: продвинутые техники DuckDB для инженеров данных

CSV-файлы редко бывают такими простыми, какими кажутся на первый взгляд. За внешней структурой часто скрываются проблемы с типами, разделителями, схемами и «сломанными» строками, из-за которых загрузка данных превращается в цепочку костылей и ручной предобработки. В этой статье — практический разбор того, как DuckDB позволяет диагностировать и обрабатывать такие случаи прямо в SQL: от понимания того, как система интерпретирует файл, до устойчивой загрузки и работы с неконсистентными данными. Разобраться в CSV

https://habr.com/ru/companies/otus/articles/1024158/

#CSV #DuckDB #обработка_данных #грязные_данные #качество_данных #импорт_данных #data_engineering #etl

[Перевод] Укрощение «диких» CSV: продвинутые техники DuckDB для инженеров данных

CSV-файлы редко бывают такими простыми, какими кажутся на первый взгляд. За внешней структурой часто скрываются проблемы с типами, разделителями, схемами и «сломанными» строками, из-за которых загрузка данных превращается в цепочку костылей и ручной предобработки. В этой статье — практический разбор того, как DuckDB позволяет диагностировать и обрабатывать такие случаи прямо в SQL: от понимания того, как система интерпретирует файл, до устойчивой загрузки и работы с неконсистентными данными. Разобраться в CSV

https://habr.com/ru/companies/otus/articles/1024158/

#CSV #DuckDB #обработка_данных #грязные_данные #качество_данных #импорт_данных #data_engineering #etl

[Перевод] Укрощение «диких» CSV: продвинутые техники DuckDB для инженеров данных

CSV-файлы редко бывают такими простыми, какими кажутся на первый взгляд. За внешней структурой часто скрываются проблемы с типами, разделителями, схемами и «сломанными» строками, из-за которых загрузка данных превращается в цепочку костылей и ручной предобработки. В этой статье — практический разбор того, как DuckDB позволяет диагностировать и обрабатывать такие случаи прямо в SQL: от понимания того, как система интерпретирует файл, до устойчивой загрузки и работы с неконсистентными данными. Разобраться в CSV

https://habr.com/ru/companies/otus/articles/1024158/

#CSV #DuckDB #обработка_данных #грязные_данные #качество_данных #импорт_данных #data_engineering #etl

[Перевод] Укрощение «диких» CSV: продвинутые техники DuckDB для инженеров данных

CSV-файлы редко бывают такими простыми, какими кажутся на первый взгляд. За внешней структурой часто скрываются проблемы с типами, разделителями, схемами и «сломанными» строками, из-за которых загрузка данных превращается в цепочку костылей и ручной предобработки. В этой статье — практический разбор того, как DuckDB позволяет диагностировать и обрабатывать такие случаи прямо в SQL: от понимания того, как система интерпретирует файл, до устойчивой загрузки и работы с неконсистентными данными. Разобраться в CSV

https://habr.com/ru/companies/otus/articles/1024158/

#CSV #DuckDB #обработка_данных #грязные_данные #качество_данных #импорт_данных #data_engineering #etl

How to use an encrypted DuckDB in R

Does anyone know how to install #duckdb #odbc drivers on #archlinux ?

I like how intensively one of my favourite #Java Project tests one of my favourited #Databases…

https://github.com/jOOQ/jOOQ/releases/tag/version-3.20.11

#jOOQ 🤝 #DuckDB

I like how intensively one of my favourite #Java Project tests one of my favourited #Databases…

https://github.com/jOOQ/jOOQ/releases/tag/version-3.20.11

#jOOQ 🤝 #DuckDB

I like how intensively one of my favourite #Java Project tests one of my favourited #Databases…

https://github.com/jOOQ/jOOQ/releases/tag/version-3.20.11

#jOOQ 🤝 #DuckDB

I like how intensively one of my favourite #Java Project tests one of my favourited #Databases…

https://github.com/jOOQ/jOOQ/releases/tag/version-3.20.11

#jOOQ 🤝 #DuckDB