#timescaledb — Public Fediverse posts

Как я выбирал стек для SaaS-мониторинга сайтов

Как в одиночку собрать полноценный сервис мониторинга с проверками из 10 точек мира, алертами в Telegram/Slack и собственным агентом? Делюсь личным опытом выбора стека: почему FastAPI выиграл у Django, как TimescaleDB справляется с миллионами строк логов и зачем писать агент на Go, если основной код на Python. Только практика, архитектурные решения и честный расчет стоимости инфраструктуры в €11/мес. Изучить стек

https://habr.com/ru/articles/1021000/

#FastAPI #Vuejs #TimescaleDB #SaaS #мониторинг_сайтов #Celery #Go #архитектура #стартап #разработка

#timescaledb extension for #postgres compressed a 170GB database (10^9 rows of IoT observations) into 32GB. Nice!

Explore TimescaleDB for IoT!

Michal Bartak shows how to collect & visualize data using continuous aggregates, compression, and retention strategies. Learn how dataset types impact Grafana dashboards and maintain your time-series data efficiently.

#PostgreSQL #TimescaleDB #IoT #P2D2

[Перевод] Реализация TimescaleDB в Zabbix: преимущества, ключевые таблицы и установка

Всем привет! Мы делаем проекты по Zabbix, накопили большую экспертизу и решили сделать переводы нескольких статей, которые нам показались интересными и полезными. Наверняка, будут полезны и вам. Также своим опытом делимся в телеграм-канале zabbix_ru , где вы можете найти полезные материалы и записи наших вебинаров, опубликованных на нашем ютуб-канале (прим. переводчика). Ниже ссылки на предыдущие статьи из цикла. Миграция с MySQL на PostgreSQL SELinux: интеграция с Zabbix и другими инструментами Защита от ложных срабатываний триггеров в Zabbix с использованием функций min/max/avg Zabbix – автоматизация управления пользователями (JIT) Zabbix — это надежное решение с открытым исходным кодом для мониторинга ИТ-инфраструктуры, позволяющее отслеживать и анализировать производительность сети, серверов, приложений и других компонентов. По мере роста объема данных эффективное управление временными рядами становится ключевым фактором. Поэтому, начиная с версии 5.0, Zabbix начал поддерживать TimescaleDB — расширение PostgreSQL, оптимизированное для временных рядов. В этой статье рассматриваются преимущества использования TimescaleDB в Zabbix, ключевые таблицы и процесс установки. Подробности под катом.

https://habr.com/ru/articles/970702/

#zabbix #timescaledb #gals_software #postgresql

We have PostgreSQL 14 on Debian 11 with TimescaleDB 2.16.1.
We want PostgreSQL 18 on Debian 13 with TimescaleDB 2.23.1.

But the support of TimescaleDB on PostgreSQL 14 ends at version 2.19.3.

On Debian 13 and PostgreSQL 18, the minimum version of TimescaleDB available is 2.23.0.

We have to upgrade with an intermediary step:

1. Upgrade TimescaleDB to 2.19.3 in-place
2. Upgrade to PostgreSQL 17 on Debian 12 (with TimescaleDB 2.19.3)
3. Upgrade TimescaleDB to 2.23.1
4. Upgrade to PostgreSQL 18 on Debian 13 (with TimescaleDB 2.23.1).

Add a multi-terabytes of data making dump/restore impossible.

At least the extension is available on Debian 13 which is not the case of age and Citus.

This is nice to have a 5 years support on PostgreSQL but beware if you use extensions. The time window could be less than that, complicating the upgrade process.

#postgresql #timescaledb #age #citus #upgrade #debian

Почему простой парсер не всегда решает задачу: мой опыт интеграции спортивных API

В рамках собственной системы спортивной аналитики я хотел получить real-time доступ к данным о движении коэффициентов — в частности, с платформы pickingodds.com. У сервиса интересная фича — визуализация графика изменения линии по каждому событию. Это потенциально полезный источник вторичных сигналов (например, для обнаружения аномалий, связанных с резкой коррекцией маркет-мейкеров). Изначальный план был прост: интегрироваться по REST API, выкачивать данные раз в несколько минут, писать в TSDB, использовать далее для анализа и фичей в ML-пайплайнах. На практике же всё быстро ушло в зону нетривиальной оптимизации.

https://habr.com/ru/articles/930360/

#pickingodds #коэффициенты_ставок #асинхронный_парсинг #rate_limiting #aiohttp #Redis #Kafka #TimescaleDB #LightGBM #ML_фильтрация_событий

#QuestDB 9.0.0 has been released (#SQL / #TimeSeriesDBMS / #InfluxDB / #eXtremeDB / #MongoDB / #TimescaleDB / #DBMS / #RDBMS / #Database / #DB) https://questdb.io/

When dealing with #logs, forget about #ELK prefer TGV or MTV 😎

https://github.com/MTES-MCT/qualicharge-logs

#timescaledb #vector #metabase #grafana

How difficult can be creating an hypertable in TimescaleDB?

It seems that pretty much of a fucking lot.

#PostgreSQL #TimescaleDB #Hypertable #Hypertables #SQL #RDBMS #RelationalDatabase #Database #Databases #Programming #SoftwareDevelopment #DatabaseDevelopment

Lyon: PostgreSQL, TimescaleDB, Kubernetes et ..., Le mardi 22 avril 2025 de 19h00 à 22h00. https://www.agendadulibre.org/events/32367 #postgresql #timescaledb #kubernetes #postgresqlLyonUserGroup #soirée

TIL: you cannot simply dump and restore a PostgreSQL database with the TimescaleDB extension, you have to tell the extension you are dumping the database, then dump/restore and finally tell the extension you have finished the dump. You also have to make sure both clusters have the same TimescaleDB version available.

https://docs.timescale.com/self-hosted/latest/migration/entire-database/

#postgresql #timescaledb

No Time for Caution: Getting Started with #TimescaleDB #postgresql https://brojonat.com/posts/timescale-db-getting-started/

A #TimescaleDB #analytics trick #postgresql https://kmoppel.github.io/2024-08-19-a-timescaledb-analytics-trick/

The disk space alert has been raised again on a PostgreSQL cluster with Zabbix databases using TimescaleDB.

After some investigation, the HouseKeeper wasn't doing its retention job. Data from 1 year ago was still present where we should only keep 15 days!

The issue is now fixed. It's always a pleasure to see such disk space vanish in the void.

#postgresql #zabbix #timescaledb

🚀 #TimescaleDB enhances #Postgres for time-series data and real-time #analytics:

• 📊 Hyperstore: Hybrid storage approach for efficient data handling
• 🏎️ Chunk-skipping: 7x faster queries, 87% less storage
• 🔄 Compressed tuple filtering: 500x faster updates and deletes
• 📈 Index scans: 360x faster upserts for high-cardinality datasets
• 💾 Tiered storage optimizations: 400x faster queries on data in #S3

#DatabaseOptimization #PerformanceBoost #DataManagement #DevOps #database

Key improvements:
- Intelligent data partitioning and querying
- Efficient compression and decompression techniques
- Optimized index usage for upserts
- Enhanced tiered storage architecture

https://www.timescale.com/blog/making-postgres-faster/amp/

Watching a presentation by @[email protected] about #timescaledb in #postgres for Postgres Usergroup Belgium

Meetup announcement 📢

Next week, on Friday 6 at 17:30 CEST, I will talk about time series management at work using TimescaleDB at the PgBE PostgreSQL Users Group Belgium :postgres_logo: 🐯 🇧🇪

This is an online event so feel free to join!

https://www.meetup.com/postgresbe/events/303135515/

Thanks @tchorix for the invitation 🙏

#meetup #postgresql #timescaledb

We love open source 💛

This is why we have opened our Nagios Plugins 🚀

https://github.com/ovh/ovh-nagios-plugins

For now, we have probes to check TimescaleDB and MongoDB.

Soon, we should have one for MySQL including support for Group Replication and Cluster Sets.

And many more in the future 🤞🏻

#nagios #timescaledb #mongodb #mysql #foss

”#Postgres is for everything”

https://se-radio.net/2024/07/se-radio-623-mike-freedman-on-timescaledb/

#TimeScaleDB

All benchmarks are liars.

Also, here’s a set of db benchmarks from #clickhouse:

https://benchmark.clickhouse.com/

Various DBs including:
- #mysql
- #postgres
- #sqlite
- #timescaledb
- #alloydb
- #mariadb

New release of #TimescaleDB yesterday (2.16.0). Notified by GitHub e-mail on release. Already running on our infrastructure 😎

Wanted to switch from InfluxDB to TimescaleDB (because Influx kinda sucks) and was annoyed that I had to create all the tables by hand.

So I wrote a (kinda hacky) MQTT to TimescaleDB gateway where mqtt->table+field mapping is defined by code, and tables, fields and indices are created and extended automatically.

https://github.com/patagonaa/mqtt-timescaledb-gateway

#InfluxDB #InfluxQL #TimescaleDB #PostgreSQL #MQTT #NodeJS

Side-things to do in my backlog:
- Open Nagios NRPE check for #MongoDB
- Open Nagios NRPE check for #TimescaleDB
- Deploy Event-Driven #Ansible
- Test database schema migrations on a #ZFS clone before prod

My next talks, if accepted, will define the priorities🤞🏻

But before, I will enjoy family time with 2 weeks off between Netherlands, Belgium and France 😎

#QuestDB 8.0.1 has been released (#SQL / #TimeSeriesDBMS / #InfluxDB / #eXtremeDB / #MongoDB / #TimescaleDB / #DBMS / #RDBMS / #Database / #DB) https://questdb.io/

interesting, detailed objective TSM-Bench benchmark of time-series database systems (TSDBs) including #opensource TSDBs #ClickHouse, #Apache #Druid, #InfluxDB, #TimescaleDB, #MonetDB, #QuestDB and commercial #TSDB #eXtremeDB

https://www.mcobject.com/wp-content/uploads/dlm_uploads/2023/08/TSM-Bench-Benchmarking-Time-Series-Database-Systems.pdf

I'm super excited to share that Sam Debruyn, recently crowned with the #dbt Community Award 👑, now has a new dbt adapter: dbt-timescaledb!

Integrating TimescaleDB with dbt workflows means more streamlined processes, quicker insights, and a more economical approach to data analysis.

🔗 https://github.com/sdebruyn/dbt-timescaledb 👀
⭐️ YAS. This deserves some stars.

#DataTransformation #dbt #TimescaleDB #DataAnalytics #ELT #DataEngineering dbt Labs

Today a slightly different "best practices" blog post, about the idea of using separate "metadata" tables to store information about time-series in your (not only) #TimeScaleDB #Hypertable(s), like valid range, device assigment, whatever. 🤯🥳

Also great for deduplicating additional data per row and externalize them 🙂🤟

https://tsdb.co/metadT

Update on the #CDC (#ChangeDataCapture) implementation for #TimeScaleDB 🧐 :ablobcatrave: 🤩

- #debezium integration not yet started!
- generated events compatible with debezium
- automatic handling of hypertables and schema
- automatic handling of chunk creation and deletion
- includes and excludes for hypertable selection
- fully compatible with non-privileged user permissions
- function for initial publication creation (prevents need for postgres user)

(1/3)