#duckdb — Public Fediverse posts

#duckdb has client-server now. game changer.

https://duckdb.org/quack/

🚨 Breaking news! 🚨 In a groundbreaking development nobody asked for, we now have "Quack," the #DuckDB client-server #protocol, because clearly what the world needs is more DB protocols named after waterfowl. 🦆🌊 Thank you, tech industry, for yet again overcomplicating the simple task of fetching data! 🎉🙄
https://duckdb.org/2026/05/12/quack-remote-protocol #QuackDB #DatabaseTech #Overcomplication #DataFetching #HackerNews #ngated

Quack: The DuckDB Client-Server Protocol

https://duckdb.org/2026/05/12/quack-remote-protocol

#HackerNews #Quack #DuckDB #Client #Server #Protocol #Database #Technology #OpenSource #DataAnalytics

Quack: The DuckDB Client-Server Protocol

https://duckdb.org/2026/05/12/quack-remote-protocol

#HackerNews #Quack #DuckDB #Client #Server #Protocol #Database #Technology #OpenSource #DataAnalytics

Quack: The DuckDB Client-Server Protocol

https://duckdb.org/2026/05/12/quack-remote-protocol

#HackerNews #Quack #DuckDB #Client #Server #Protocol #Database #Technology #OpenSource #DataAnalytics

Quack: The DuckDB Client-Server Protocol

https://duckdb.org/2026/05/12/quack-remote-protocol

#HackerNews #Quack #DuckDB #Client #Server #Protocol #Database #Technology #OpenSource #DataAnalytics

Quack: The DuckDB Client-Server Protocol

https://duckdb.org/2026/05/12/quack-remote-protocol

#HackerNews #Quack #DuckDB #Client #Server #Protocol #Database #Technology #OpenSource #DataAnalytics

How to get the Openstreetmap buildings/polygones from a list of addresses

Joining 130 million points: Dewey Dunnington revisits his 2024 benchmark of #spatialjoin operations on 130 million points, now testing #SedonaDB and #DuckDB #Spatial in comparison to the original tools. The results are remarkable: 6 seconds on a laptop replacing 3-5 minutes...
https://spatialists.ch/posts/2026/05/07-joining-130-million-points/ #GIS #GISchat #geospatial #SwissGIS

DuckDB Labs released #DuckLake 1.0 - a data lake format that stores table metadata in a SQL database, rather than spreading it across object storage files.

Key features:
• catalog-stored small updates
• improved sorting and partitioning
• compatibility with Iceberg-style data features

Learn more ⇨ https://bit.ly/48PsPIS

#InfoQ #DuckDB #ApacheIceberg #AI #DataLake #DataStorage

DuckDB Labs released #DuckLake 1.0 - a data lake format that stores table metadata in a SQL database, rather than spreading it across object storage files.

Key features:
• catalog-stored small updates
• improved sorting and partitioning
• compatibility with Iceberg-style data features

Learn more ⇨ https://bit.ly/48PsPIS

#InfoQ #DuckDB #ApacheIceberg #AI #DataLake #DataStorage

DuckDB Labs released #DuckLake 1.0 - a data lake format that stores table metadata in a SQL database, rather than spreading it across object storage files.

Key features:
• catalog-stored small updates
• improved sorting and partitioning
• compatibility with Iceberg-style data features

Learn more ⇨ https://bit.ly/48PsPIS

#InfoQ #DuckDB #ApacheIceberg #AI #DataLake #DataStorage

DuckDB Labs released #DuckLake 1.0 - a data lake format that stores table metadata in a SQL database, rather than spreading it across object storage files.

Key features:
• catalog-stored small updates
• improved sorting and partitioning
• compatibility with Iceberg-style data features

Learn more ⇨ https://bit.ly/48PsPIS

#InfoQ #DuckDB #ApacheIceberg #AI #DataLake #DataStorage

----------------

🛠️ Tool
===================

Opening: Mecha Hayabusa is a tool that bridges the Hayabusa Windows event log CSV output with large language models using the Model Context Protocol (MCP). The project aims to enable a structured, LLM-driven DFIR workflow rather than a simple free-text search over logs.

Key Features:
• Automatic ingestion of Hayabusa CSV timelines into a local DuckDB instance to enable fast, structured queries over large log datasets.
• Read-only SQL execution against the logs table with built-in safety constraints to avoid destructive operations.
• Cross-field search, dataset profiling, time-window summarization, and host-centric timeline assembly for focused investigations.
• Extraction of Indicators of Compromise (IOCs), aggregation of rule titles, and parsing of Details fields from Hayabusa output.
• Base64 PowerShell decoding and correlation routines to identify lateral movement patterns across hosts.
• A dedicated investigation skill that codifies a DFIR workflow and supports standardized incident report generation in Japanese and English.

Technical Implementation:
Mecha Hayabusa converts Hayabusa CSV timelines into a local DuckDB database, exposing read-only query capabilities and structured summarization endpoints over an MCP-compatible HTTP transport. The system exposes dataset management (list, switch, unload), profiling endpoints, and specialized analysis primitives (IOC extraction, PowerShell decoding, lateral correlation). Integration with LLMs is mediated through MCP, allowing the model to orchestrate a sequence of analysis steps (triage, hypothesis development, host-level deep dives, and report generation) rather than returning isolated search hits.

Use Cases:
• Incident responders who need rapid host-centric timelines and cross-host correlation from exported Hayabusa results.
• Threat hunters seeking automated ATT&CK tactic classification and IOC extraction from large CSV exports.
• Organizations that want consistent, LLM-assisted incident reports in multiple languages, improving repeatability of DFIR workflows.

Limitations:
• Functionality depends on structured Hayabusa CSV exports; format deviations will reduce effectiveness.
• The system performs read-only SQL and analysis; it is not designed for endpoint remediation or live collection.
• Accuracy of natural-language summaries and report content depends on the connected LLM and its prompt/context handling.

Closing:
Mecha Hayabusa represents a targeted approach to integrating structured log storage (DuckDB) with LLM orchestration via MCP to operationalize repeatable DFIR investigations and report generation. #tool #DFIR #MCP #DuckDB #Hayabusa

🔗 Source: https://github.com/Yamato-Security/mecha-hayabusa

Today I discovered duckdb, a nice tool to query structured files like CSV or JSON, so you run commands like:

duckdb -c "SELECT * FROM 'whatever.csv' WHERE item_count > 100000"

And you get a pretty table in the CLI, you can also output to JSON…

#duckdb #csv #json #cli

Today I discovered duckdb, a nice tool to query structured files like CSV or JSON, so you run commands like:

duckdb -c "SELECT * FROM 'whatever.csv' WHERE item_count > 100000"

And you get a pretty table in the CLI, you can also output to JSON…

#duckdb #csv #json #cli

Today I discovered duckdb, a nice tool to query structured files like CSV or JSON, so you run commands like:

duckdb -c "SELECT * FROM 'whatever.csv' WHERE item_count > 100000"

And you get a pretty table in the CLI, you can also output to JSON…

#duckdb #csv #json #cli

Today I discovered duckdb, a nice tool to query structured files like CSV or JSON, so you run commands like:

duckdb -c "SELECT * FROM 'whatever.csv' WHERE item_count > 100000"

And you get a pretty table in the CLI, you can also output to JSON…

#duckdb #csv #json #cli

Today I discovered duckdb, a nice tool to query structured files like CSV or JSON, so you run commands like:

duckdb -c "SELECT * FROM 'whatever.csv' WHERE item_count > 100000"

And you get a pretty table in the CLI, you can also output to JSON…

#duckdb #csv #json #cli

[Перевод] Укрощение «диких» CSV: продвинутые техники DuckDB для инженеров данных

CSV-файлы редко бывают такими простыми, какими кажутся на первый взгляд. За внешней структурой часто скрываются проблемы с типами, разделителями, схемами и «сломанными» строками, из-за которых загрузка данных превращается в цепочку костылей и ручной предобработки. В этой статье — практический разбор того, как DuckDB позволяет диагностировать и обрабатывать такие случаи прямо в SQL: от понимания того, как система интерпретирует файл, до устойчивой загрузки и работы с неконсистентными данными. Разобраться в CSV

https://habr.com/ru/companies/otus/articles/1024158/

#CSV #DuckDB #обработка_данных #грязные_данные #качество_данных #импорт_данных #data_engineering #etl

[Перевод] Укрощение «диких» CSV: продвинутые техники DuckDB для инженеров данных

CSV-файлы редко бывают такими простыми, какими кажутся на первый взгляд. За внешней структурой часто скрываются проблемы с типами, разделителями, схемами и «сломанными» строками, из-за которых загрузка данных превращается в цепочку костылей и ручной предобработки. В этой статье — практический разбор того, как DuckDB позволяет диагностировать и обрабатывать такие случаи прямо в SQL: от понимания того, как система интерпретирует файл, до устойчивой загрузки и работы с неконсистентными данными. Разобраться в CSV

https://habr.com/ru/companies/otus/articles/1024158/

#CSV #DuckDB #обработка_данных #грязные_данные #качество_данных #импорт_данных #data_engineering #etl

[Перевод] Укрощение «диких» CSV: продвинутые техники DuckDB для инженеров данных

CSV-файлы редко бывают такими простыми, какими кажутся на первый взгляд. За внешней структурой часто скрываются проблемы с типами, разделителями, схемами и «сломанными» строками, из-за которых загрузка данных превращается в цепочку костылей и ручной предобработки. В этой статье — практический разбор того, как DuckDB позволяет диагностировать и обрабатывать такие случаи прямо в SQL: от понимания того, как система интерпретирует файл, до устойчивой загрузки и работы с неконсистентными данными. Разобраться в CSV

https://habr.com/ru/companies/otus/articles/1024158/

#CSV #DuckDB #обработка_данных #грязные_данные #качество_данных #импорт_данных #data_engineering #etl

[Перевод] Укрощение «диких» CSV: продвинутые техники DuckDB для инженеров данных

CSV-файлы редко бывают такими простыми, какими кажутся на первый взгляд. За внешней структурой часто скрываются проблемы с типами, разделителями, схемами и «сломанными» строками, из-за которых загрузка данных превращается в цепочку костылей и ручной предобработки. В этой статье — практический разбор того, как DuckDB позволяет диагностировать и обрабатывать такие случаи прямо в SQL: от понимания того, как система интерпретирует файл, до устойчивой загрузки и работы с неконсистентными данными. Разобраться в CSV

https://habr.com/ru/companies/otus/articles/1024158/

#CSV #DuckDB #обработка_данных #грязные_данные #качество_данных #импорт_данных #data_engineering #etl

Ah, yes, the riveting world of DuckDB—a #database system named after everyone's favorite pond-dwelling bird. 🦆💾 Dive deep into this 15-week #course where you can learn how to turn your #SQL queries into quacking noises. But hey, at least your undergrads will finally know what to blame when their projects waddle. 😂📚
https://duckdb.org/library/design-and-implementation-of-duckdb-internals/ #DuckDB #Learning #Fun #Education #Humor #HackerNews #ngated

[Перевод] DuckDB как микро-хранилище: заменяем «ETL + Postgres» одним файлом, одним движком и SLA

Частая история: данные приложения попадают куда-то, джоб их чистит, Postgres хранит их «для аналитики» и вдруг вы обслуживаете ETL-пайплайн и базу данных, которая никогда не была рада OLAP-нагрузке. По моему мнению, для большинства команд это лишние сложности. Главная сила DuckDB не в том, что он быстрый (хотя это правда). Она в том, что он может работать как микро-хранилище: один .duckdb -файл, который ведёт себя как аккуратный аналитический движок, находится рядом с данными и обеспечивает дашборды, аудиты и еженедельные отчёты без платформенного оверхеда.

https://habr.com/ru/articles/1022746/

#duckdb #postgresql #etl #etlпайплайн

I like how intensively one of my favourite #Java Project tests one of my favourited #Databases…

https://github.com/jOOQ/jOOQ/releases/tag/version-3.20.11

#jOOQ 🤝 #DuckDB

I like how intensively one of my favourite #Java Project tests one of my favourited #Databases…

https://github.com/jOOQ/jOOQ/releases/tag/version-3.20.11

#jOOQ 🤝 #DuckDB

I like how intensively one of my favourite #Java Project tests one of my favourited #Databases…

https://github.com/jOOQ/jOOQ/releases/tag/version-3.20.11

#jOOQ 🤝 #DuckDB

I like how intensively one of my favourite #Java Project tests one of my favourited #Databases…

https://github.com/jOOQ/jOOQ/releases/tag/version-3.20.11

#jOOQ 🤝 #DuckDB

I like how intensively one of my favourite #Java Project tests one of my favourited #Databases…

https://github.com/jOOQ/jOOQ/releases/tag/version-3.20.11

#jOOQ 🤝 #DuckDB

Our #ECIR2026 paper on "remote querying" Web indexes in Parquet files on S3 using #DuckDB Paper: doi.org/10.1007/978-... Want to try it yourself? Docs in the #openwebsearch book: openwebsearcheu-public.pages.it4i.eu/ows-the-book... Code: gitlab.science.ru.nl/informagus/r...

Open Web Indexes for Remote Qu...

Keynote by @djoerd about Web search as a public utility, and of course https://ows.eu

Note the #openwebsearch and #DuckDB stickers on the laptop 😉

#ECIR2026

1/n

I might have said this earlier but worth repeating. DuckDB is freaking amazing! Today I worked on a 56G TSV file containing 55 million rows of JSON serialized documents (all of OpenLibrary editions).

I can query this file including filtering on nested JSON structures and most queries complete in a few dozen seconds worst case, but I can also create derived indexes to bring down query times to milliseconds.

All in memory on an M1 Mac with 64GB RAM.

#DuckDB #OpenLibrary #BigData

🎩 Ah, behold the "DuckDB #community extension for prefiltered #HNSW using ACORN-1" — because the alphabet soup of #developer jargon just wasn't dense enough. 🤦‍♂️ GitHub has unleashed yet another "game-changer" to ensure your code doesn't just run, but performs a high-wire act while juggling flaming chainsaws. 🔥🤹‍♀️
https://github.com/cigrainger/duckdb-hnsw-acorn #DuckDB #ACORN1 #gamechanger #HackerNews #ngated

DuckDB community extension for prefiltered HNSW using ACORN-1

https://github.com/cigrainger/duckdb-hnsw-acorn

#HackerNews #DuckDB #HNSW #ACORN #extension #Community #Project #Data #Science

DuckDB 1.5 with spatial updates: DuckDB 1.5 arrives with significant updates for #geospatial: GEOMETRY becomes a built-in data type, storage switches to #WKB with shredding for better compression, #CRS awareness is now part of the type system, and more! Here is a rundown of the most relevant new features in #DuckDB 1.5.
https://spatialists.ch/posts/2026/03/22-duckdb-15-with-spatial-updates/ #GIS #GISchat #geospatial #SwissGIS

When one `apt` upgrade run gets you updated #duckdb (1.5.0), #rstudio (nightly) and #r-stats (4.5.3) binaries ...

One command to rule them all.

(First two packages served via informal PPAs I set up, last one is launchpad.net build of updated and uploaded package.)

@jbz even #Netbeans gets #DuckDB support. What’s not to love in this announcement.

Hi all. I’m Adam (adenoz), and this is my first time on the Fediverse.

I’m an Australian data professional, and I’m typically always working on at least one side project at any one time. I won’t be writing about my $work, but I will happily write about my various side projects and interests.

I really enjoy working with #duckdb and #ggplot2 as well as finding ways to use #rustlang and tools written in rust. I have a blog built with #zola where I’ll keep writing longer form things.

I like keeping up with global events and geopolitical related matters. I especially like combining those themes with data. Simple examples of interesting things include GDELT, news text like in Factiva, and Google Trends data.

At the moment, I’m writing a native mac app that will be a query and analytics studio. That’s all I have for now on that, though more will come in due course.

I like #linux, using #nushell and #HelixEditor, as well as the great software on #macos. My current favourite IDE is #zededitor. Sometimes (often?), I’m torn between Linux and Mac for very different reasons.

I’m now rambling, so I’ll stop there for now.

#introduction

Spatial SQL sandbox: Kyle Walker’s #SpatialSQL Explorer is a clever web app that lets you run spatial #SQL queries on #GeoJSON files directly in your browser using #DuckDB-#Wasm and #MapLibre. Upload WGS84 data (demo or your own), write queries with functions like...
https://spatialists.ch/posts/2026/02/19-spatial-sql-sandbox/ #GIS #GISchat #geospatial #SwissGIS

In meinen heutigen #TechTipps möchte ich Euch gerne #duckdb
vorstellen.
DuckDB (https://duckdb.org) könnte Euch dann interessieren wenn ihr:

- in der IT (#Softwareentwicklung, Datenanalyse #Olap, Qualitätssicherung, Forschung, etc ) arbeitet
- privat an Datenanlyse jenseits von unübesichtlichen Tabellen (#Spreadsheets) interessiert seid
- Daten wie Kontoauszüge, Telefonbücher oder (elektronische) Kataloge durchforsten wollt

DuckDB kann als eigenständiges Kommandozeilen (#CLI) Programm ohne Abhängigkeiten bezogen und verwendet werden oder auch intergriert in andere #programmiersprachen (#python) oder #tools wie #jupyter integriert werden.

Die CLI-Version kann mit Parameter "-ui" verwendet werden und startet damit ein recht komfortables #webui im lokalen #browser.
Im ersten Schritt legt man nun ein "Notebook" an das zellenweise strukturiert ist.
Es können jederzeit neue Zellen an jeder Stelle im #workflow hinzugefügt, eingefügt oder gelöscht werden.
Unterteilt man nun seinen Anwendungsfall in kleine Schritte (Zellen) wird ein komplexes Thema schon viel einfacher.

Beispiel:
1. Zelle:
-- Datenbank im Speicher anlegen
ATTACH IF NOT EXISTS ':memory:' AS memory;

2.Zelle:
-- Tablle BLS 4.0 importieren
CREATE OR REPLACE TABLE BLS AS
SELECT * FROM
read_xlsx('/home/XXX/Downloads/BLS_4_0_2025_DE/BLS_4_0_Daten_2025_DE.xlsx',
sheet = 'BLS_4_0_Daten_2025_DE',
header = true, all_varchar = true);

3. Zelle
-- Zeige mir Lebensmittel mit Vitamin D
select Lebensmittelbezeichnung, "VITD Vitamin D [µg/100g]" as VD
from'BLS'
where
VD is not null and VD not ilike '0'
order by VD DESC;

Ergebnisse können als Tabelle oder CSV mit "Download" gespeichert werden.
😀

In meinen heutigen #TechTipps möchte ich Euch gerne #duckdb
vorstellen.
DuckDB (https://duckdb.org) könnte Euch dann interessieren wenn ihr:

- in der IT (#Softwareentwicklung, Datenanalyse #Olap, Qualitätssicherung, Forschung, etc ) arbeitet
- privat an Datenanlyse jenseits von unübesichtlichen Tabellen (#Spreadsheets) interessiert seid
- Daten wie Kontoauszüge, Telefonbücher oder (elektronische) Kataloge durchforsten wollt

DuckDB kann als eigenständiges Kommandozeilen (#CLI) Programm ohne Abhängigkeiten bezogen und verwendet werden oder auch intergriert in andere #programmiersprachen (#python) oder #tools wie #jupyter integriert werden.

Die CLI-Version kann mit Parameter "-ui" verwendet werden und startet damit ein recht komfortables #webui im lokalen #browser.
Im ersten Schritt legt man nun ein "Notebook" an das zellenweise strukturiert ist.
Es können jederzeit neue Zellen an jeder Stelle im #workflow hinzugefügt, eingefügt oder gelöscht werden.
Unterteilt man nun seinen Anwendungsfall in kleine Schritte (Zellen) wird ein komplexes Thema schon viel einfacher.

Beispiel:
1. Zelle:
-- Datenbank im Speicher anlegen
ATTACH IF NOT EXISTS ':memory:' AS memory;

2.Zelle:
-- Tablle BLS 4.0 importieren
CREATE OR REPLACE TABLE BLS AS
SELECT * FROM
read_xlsx('/home/XXX/Downloads/BLS_4_0_2025_DE/BLS_4_0_Daten_2025_DE.xlsx',
sheet = 'BLS_4_0_Daten_2025_DE',
header = true, all_varchar = true);

3. Zelle
-- Zeige mir Lebensmittel mit Vitamin D
select Lebensmittelbezeichnung, "VITD Vitamin D [µg/100g]" as VD
from'BLS'
where
VD is not null and VD not ilike '0'
order by VD DESC;

Ergebnisse können als Tabelle oder CSV mit "Download" gespeichert werden.
😀

In meinen heutigen #TechTipps möchte ich Euch gerne #duckdb
vorstellen.
DuckDB (https://duckdb.org) könnte Euch dann interessieren wenn ihr:

- in der IT (#Softwareentwicklung, Datenanalyse #Olap, Qualitätssicherung, Forschung, etc ) arbeitet
- privat an Datenanlyse jenseits von unübesichtlichen Tabellen (#Spreadsheets) interessiert seid
- Daten wie Kontoauszüge, Telefonbücher oder (elektronische) Kataloge durchforsten wollt

DuckDB kann als eigenständiges Kommandozeilen (#CLI) Programm ohne Abhängigkeiten bezogen und verwendet werden oder auch intergriert in andere #programmiersprachen (#python) oder #tools wie #jupyter integriert werden.

Die CLI-Version kann mit Parameter "-ui" verwendet werden und startet damit ein recht komfortables #webui im lokalen #browser.
Im ersten Schritt legt man nun ein "Notebook" an das zellenweise strukturiert ist.
Es können jederzeit neue Zellen an jeder Stelle im #workflow hinzugefügt, eingefügt oder gelöscht werden.
Unterteilt man nun seinen Anwendungsfall in kleine Schritte (Zellen) wird ein komplexes Thema schon viel einfacher.

Beispiel:
1. Zelle:
-- Datenbank im Speicher anlegen
ATTACH IF NOT EXISTS ':memory:' AS memory;

2.Zelle:
-- Tablle BLS 4.0 importieren
CREATE OR REPLACE TABLE BLS AS
SELECT * FROM
read_xlsx('/home/XXX/Downloads/BLS_4_0_2025_DE/BLS_4_0_Daten_2025_DE.xlsx',
sheet = 'BLS_4_0_Daten_2025_DE',
header = true, all_varchar = true);

3. Zelle
-- Zeige mir Lebensmittel mit Vitamin D
select Lebensmittelbezeichnung, "VITD Vitamin D [µg/100g]" as VD
from'BLS'
where
VD is not null and VD not ilike '0'
order by VD DESC;

Ergebnisse können als Tabelle oder CSV mit "Download" gespeichert werden.
😀

In meinen heutigen #TechTipps möchte ich Euch gerne #duckdb
vorstellen.
DuckDB (https://duckdb.org) könnte Euch dann interessieren wenn ihr:

- in der IT (#Softwareentwicklung, Datenanalyse #Olap, Qualitätssicherung, Forschung, etc ) arbeitet
- privat an Datenanlyse jenseits von unübesichtlichen Tabellen (#Spreadsheets) interessiert seid
- Daten wie Kontoauszüge, Telefonbücher oder (elektronische) Kataloge durchforsten wollt

DuckDB kann als eigenständiges Kommandozeilen (#CLI) Programm ohne Abhängigkeiten bezogen und verwendet werden oder auch intergriert in andere #programmiersprachen (#python) oder #tools wie #jupyter integriert werden.

Die CLI-Version kann mit Parameter "-ui" verwendet werden und startet damit ein recht komfortables #webui im lokalen #browser.
Im ersten Schritt legt man nun ein "Notebook" an das zellenweise strukturiert ist.
Es können jederzeit neue Zellen an jeder Stelle im #workflow hinzugefügt, eingefügt oder gelöscht werden.
Unterteilt man nun seinen Anwendungsfall in kleine Schritte (Zellen) wird ein komplexes Thema schon viel einfacher.

Beispiel:
1. Zelle:
-- Datenbank im Speicher anlegen
ATTACH IF NOT EXISTS ':memory:' AS memory;

2.Zelle:
-- Tablle BLS 4.0 importieren
CREATE OR REPLACE TABLE BLS AS
SELECT * FROM
read_xlsx('/home/XXX/Downloads/BLS_4_0_2025_DE/BLS_4_0_Daten_2025_DE.xlsx',
sheet = 'BLS_4_0_Daten_2025_DE',
header = true, all_varchar = true);

3. Zelle
-- Zeige mir Lebensmittel mit Vitamin D
select Lebensmittelbezeichnung, "VITD Vitamin D [µg/100g]" as VD
from'BLS'
where
VD is not null and VD not ilike '0'
order by VD DESC;

Ergebnisse können als Tabelle oder CSV mit "Download" gespeichert werden.
😀

In meinen heutigen #TechTipps möchte ich Euch gerne #duckdb
vorstellen.
DuckDB (https://duckdb.org) könnte Euch dann interessieren wenn ihr:

- in der IT (#Softwareentwicklung, Datenanalyse #Olap, Qualitätssicherung, Forschung, etc ) arbeitet
- privat an Datenanlyse jenseits von unübesichtlichen Tabellen (#Spreadsheets) interessiert seid
- Daten wie Kontoauszüge, Telefonbücher oder (elektronische) Kataloge durchforsten wollt

DuckDB kann als eigenständiges Kommandozeilen (#CLI) Programm ohne Abhängigkeiten bezogen und verwendet werden oder auch intergriert in andere #programmiersprachen (#python) oder #tools wie #jupyter integriert werden.

Die CLI-Version kann mit Parameter "-ui" verwendet werden und startet damit ein recht komfortables #webui im lokalen #browser.
Im ersten Schritt legt man nun ein "Notebook" an das zellenweise strukturiert ist.
Es können jederzeit neue Zellen an jeder Stelle im #workflow hinzugefügt, eingefügt oder gelöscht werden.
Unterteilt man nun seinen Anwendungsfall in kleine Schritte (Zellen) wird ein komplexes Thema schon viel einfacher.

Beispiel:
1. Zelle:
-- Datenbank im Speicher anlegen
ATTACH IF NOT EXISTS ':memory:' AS memory;

2.Zelle:
-- Tablle BLS 4.0 importieren
CREATE OR REPLACE TABLE BLS AS
SELECT * FROM
read_xlsx('/home/XXX/Downloads/BLS_4_0_2025_DE/BLS_4_0_Daten_2025_DE.xlsx',
sheet = 'BLS_4_0_Daten_2025_DE',
header = true, all_varchar = true);

3. Zelle
-- Zeige mir Lebensmittel mit Vitamin D
select Lebensmittelbezeichnung, "VITD Vitamin D [µg/100g]" as VD
from'BLS'
where
VD is not null and VD not ilike '0'
order by VD DESC;

Ergebnisse können als Tabelle oder CSV mit "Download" gespeichert werden.
😀

Great article if you're a data analyst wondering how to use R on Fedora! We appreciate the extra insight that Hank brings to the role as it has evolved.

➡️ https://fedoramagazine.org/creating-data-analysis-pipelines-using-duckdb-and-rstudio/

#Fedora #DataAnalyst #RStudio #DuckDB #Linux #OpenSource

Since November 2025, DuckDB databases have built-in encryption. This is great news for IT-security in data journalism.

A short post on how to work with an encrypted @duckdb in R:
https://katharinabrunner.de/2026/01/how-to-use-an-encrypted-duckdb-in-r/

The main difference is that you don't connect directly via the path, but first to an in-memory database and then ATTACH the encrypted file with the encryption key.

#duckdb #rstats #ddj

Since November 2025, DuckDB databases have built-in encryption. This is great news for IT-security in data journalism.

A short post on how to work with an encrypted @duckdb in R:
https://katharinabrunner.de/2026/01/how-to-use-an-encrypted-duckdb-in-r/

The main difference is that you don't connect directly via the path, but first to an in-memory database and then ATTACH the encrypted file with the encryption key.

#duckdb #rstats #ddj

How to use an encrypted DuckDB in R

If you use #positron #rstats and #duckdb I'd love to know what you think of this:

`duckdb-r-editor` a Positron extension for duckdb SQL code highlighting and completion within R files.

https://github.com/belian-earth/duckdb-r-editor

A big chunk of this has been vibe coded, I know this gets a bad rep on mastodon but this extension makes writing SQL in R so much nicer (for me at least) so in theory it'll mean I can use less AI from here on ...
✌️