#администрирование_бд — Public Fediverse posts

[Перевод] Нетипичные оптимизации в PostgreSQL, или Креативное ускорение запросов

Когда речь заходит об оптимизации базы данных, разработчики обычно перечисляют привычный набор приёмов: слегка переписать запрос, накинуть индекс на колонку, денормализовать, сделать analyze, vacuum, cluster, и так по кругу. Классические техники, конечно, работают, но иногда креативный подход даёт гораздо больше. В этой статье Haki Benita показывает нетипичные техники оптимизации в PostgreSQL.

https://habr.com/ru/companies/postgrespro/articles/1001194/

#optimisation #hash #btree #indexes #postgresql #администрирование #администрирование_бд #индекс

[Перевод] Нетипичные оптимизации в PostgreSQL, или Креативное ускорение запросов

Когда речь заходит об оптимизации базы данных, разработчики обычно перечисляют привычный набор приёмов: слегка переписать запрос, накинуть индекс на колонку, денормализовать, сделать analyze, vacuum, cluster, и так по кругу. Классические техники, конечно, работают, но иногда креативный подход даёт гораздо больше. В этой статье Haki Benita показывает нетипичные техники оптимизации в PostgreSQL.

https://habr.com/ru/companies/postgrespro/articles/1001194/

#optimisation #hash #btree #indexes #postgresql #администрирование #администрирование_бд #индекс

[Перевод] Нетипичные оптимизации в PostgreSQL, или Креативное ускорение запросов

Когда речь заходит об оптимизации базы данных, разработчики обычно перечисляют привычный набор приёмов: слегка переписать запрос, накинуть индекс на колонку, денормализовать, сделать analyze, vacuum, cluster, и так по кругу. Классические техники, конечно, работают, но иногда креативный подход даёт гораздо больше. В этой статье Haki Benita показывает нетипичные техники оптимизации в PostgreSQL.

https://habr.com/ru/companies/postgrespro/articles/1001194/

#optimisation #hash #btree #indexes #postgresql #администрирование #администрирование_бд #индекс

[Перевод] Нетипичные оптимизации в PostgreSQL, или Креативное ускорение запросов

Когда речь заходит об оптимизации базы данных, разработчики обычно перечисляют привычный набор приёмов: слегка переписать запрос, накинуть индекс на колонку, денормализовать, сделать analyze, vacuum, cluster, и так по кругу. Классические техники, конечно, работают, но иногда креативный подход даёт гораздо больше. В этой статье Haki Benita показывает нетипичные техники оптимизации в PostgreSQL.

https://habr.com/ru/companies/postgrespro/articles/1001194/

#optimisation #hash #btree #indexes #postgresql #администрирование #администрирование_бд #индекс

SQL-запросы, которые убивают ваш прод: учимся ловить и лечить Deadlocks

Разбираемся с дедлоками в PostgreSQL: от причин возникновения на разных уровнях изоляции до методов лечения. Внутри — шпаргалка по pg_stat_activity и pg_locks для поиска блокирующих запросов, 4 золотых правила написания транзакций и готовый инструмент на Python для автоматического мониторинга базы. Минимум теории, максимум SQL-запросов, проверенных на реальном проде.

https://habr.com/ru/articles/992432/

#postgresql #sql #deadlock #блокировки #мониторинг #базы_данных #бэкенд #dbms #администрирование_бд

PostgreSQL и 1С: как построить систему поиска «тихих убийц» производительности

Стандартный мониторинг часто пропускает «тихих убийц» — запросы, которые по отдельности кажутся нормальными, но в сумме создают аномальную нагрузку на СУБД. В итоге система живет в хрупкой идиллии до первого аврала. В статье — описание универсального способа контроля качества кода и нагрузки на базу без выделенного DBA. Пошагово разберем поиск неоптимальных запросов с помощью pgBadger на живом кейсе.

https://habr.com/ru/articles/986306/

#PostgreSQL #1C #pgBadger #оптимизация #производительность #SQL #индексы #explain_analyze #sequential_scan #администрирование_бд

PostgreSQL и 1С: как построить систему поиска «тихих убийц» производительности

Стандартный мониторинг часто пропускает «тихих убийц» — запросы, которые по отдельности кажутся нормальными, но в сумме создают аномальную нагрузку на СУБД. В итоге система живет в хрупкой идиллии до первого аврала. В статье — описание универсального способа контроля качества кода и нагрузки на базу без выделенного DBA. Пошагово разберем поиск неоптимальных запросов с помощью pgBadger на живом кейсе.

https://habr.com/ru/articles/986306/

#PostgreSQL #1C #pgBadger #оптимизация #производительность #SQL #индексы #explain_analyze #sequential_scan #администрирование_бд

PostgreSQL и 1С: как построить систему поиска «тихих убийц» производительности

Стандартный мониторинг часто пропускает «тихих убийц» — запросы, которые по отдельности кажутся нормальными, но в сумме создают аномальную нагрузку на СУБД. В итоге система живет в хрупкой идиллии до первого аврала. В статье — описание универсального способа контроля качества кода и нагрузки на базу без выделенного DBA. Пошагово разберем поиск неоптимальных запросов с помощью pgBadger на живом кейсе.

https://habr.com/ru/articles/986306/

#PostgreSQL #1C #pgBadger #оптимизация #производительность #SQL #индексы #explain_analyze #sequential_scan #администрирование_бд

PostgreSQL и 1С: как построить систему поиска «тихих убийц» производительности

Стандартный мониторинг часто пропускает «тихих убийц» — запросы, которые по отдельности кажутся нормальными, но в сумме создают аномальную нагрузку на СУБД. В итоге система живет в хрупкой идиллии до первого аврала. В статье — описание универсального способа контроля качества кода и нагрузки на базу без выделенного DBA. Пошагово разберем поиск неоптимальных запросов с помощью pgBadger на живом кейсе.

https://habr.com/ru/articles/986306/

#PostgreSQL #1C #pgBadger #оптимизация #производительность #SQL #индексы #explain_analyze #sequential_scan #администрирование_бд

Что такое PPEM и как он освободит DBA от рутинной работы?

Если вы, как DBA устали тратить время на изучение статистики производительности, анализ логов и настройку разрозненных инструментов мониторинга при администрировании большого количества баз данных, то у нас есть решение — PPEM (Postgres Pro Enterprise Manager). Он объединяет возможности визуализации метрик, управления экземплярами и резервным копированием, анализ производительности в единую графическую консоль, позволяя локализовать проблему и быстро принять меры. Расскажем, как мы решали «головные боли» DBA по мониторингу и аналитике БД.

https://habr.com/ru/companies/postgrespro/articles/915554/

#ppem #postgresql #posgtres_pro #базы_данных #мониторинг #администрирование_бд #мониторинг_бд #производительность

Что такое PPEM и как он освободит DBA от рутинной работы?

Если вы, как DBA устали тратить время на изучение статистики производительности, анализ логов и настройку разрозненных инструментов мониторинга при администрировании большого количества баз данных, то у нас есть решение — PPEM (Postgres Pro Enterprise Manager). Он объединяет возможности визуализации метрик, управления экземплярами и резервным копированием, анализ производительности в единую графическую консоль, позволяя локализовать проблему и быстро принять меры. Расскажем, как мы решали «головные боли» DBA по мониторингу и аналитике БД.

https://habr.com/ru/companies/postgrespro/articles/915554/

#ppem #postgresql #posgtres_pro #базы_данных #мониторинг #администрирование_бд #мониторинг_бд #производительность

Что такое PPEM и как он освободит DBA от рутинной работы?

Если вы, как DBA устали тратить время на изучение статистики производительности, анализ логов и настройку разрозненных инструментов мониторинга при администрировании большого количества баз данных, то у нас есть решение — PPEM (Postgres Pro Enterprise Manager). Он объединяет возможности визуализации метрик, управления экземплярами и резервным копированием, анализ производительности в единую графическую консоль, позволяя локализовать проблему и быстро принять меры. Расскажем, как мы решали «головные боли» DBA по мониторингу и аналитике БД.

https://habr.com/ru/companies/postgrespro/articles/915554/

#ppem #postgresql #posgtres_pro #базы_данных #мониторинг #администрирование_бд #мониторинг_бд #производительность

Что такое PPEM и как он освободит DBA от рутинной работы?

Если вы, как DBA устали тратить время на изучение статистики производительности, анализ логов и настройку разрозненных инструментов мониторинга при администрировании большого количества баз данных, то у нас есть решение — PPEM (Postgres Pro Enterprise Manager). Он объединяет возможности визуализации метрик, управления экземплярами и резервным копированием, анализ производительности в единую графическую консоль, позволяя локализовать проблему и быстро принять меры. Расскажем, как мы решали «головные боли» DBA по мониторингу и аналитике БД.

https://habr.com/ru/companies/postgrespro/articles/915554/

#ppem #postgresql #posgtres_pro #базы_данных #мониторинг #администрирование_бд #мониторинг_бд #производительность

Как не утонуть в данных: выбираем между DWH, Data Lake и Lakehouse

Привет, Хабр! Меня зовут Алексей Струченко, я работаю архитектором информационных систем в Arenadata. Сегодня хотелось бы поговорить о хранилищах данных — их видах, ключевых особенностях и о том, как выбрать подходящее решение. В эпоху цифровой трансформации данные стали одним из самых ценных активов для компаний любого масштаба и сферы деятельности. Эффективное хранение, обработка и анализ больших объёмов данных помогают организациям принимать обоснованные решения, повышать операционную эффективность и создавать конкурентные преимущества. Однако с ростом объёмов данных и усложнением их структуры традиционные методы хранения сталкиваются с ограничениями. В этой статье мы подробно рассмотрим подходы к хранению данных: Data Warehouse (DWH) , Data Lake и относительно новую концепцию Lakehouse . Разберем их особенности, различия, преимущества и недостатки, а также предложим рекомендации по выбору каждого подхода. Всплыть

https://habr.com/ru/companies/arenadata/articles/885722/

#dwh #data_lake #lakehouse #хранение_данных #big_data #администрирование_бд #базы_данных #озеро_данных #spark #hadoop

Обзор открытых свободных инструментов для создания резервных копий СУБД PostgreSQL

Перефразируя древнюю мудрость: все люди делятся на 10 типов: те, кто не знает, зачем нужны резервные копии, и те, кто делает резервные копии. В данном обзоре я попробую мал-мала расшифровать свою давнюю табличку (внеся в неё некоторое количество изменений): Обзор наиболее популярных средств для создания резервных копий PostgreSQL. Ибо не вижу я ни подобных обзоров в информационном поле, ни грамотного, с технической точки зрения, подхода к выбору инструмента вообще, и для создания резервных копий (РК) СУБД PostgreSQL в тех организациях, куда заносит профессиональная деятельность, в частности. Основной аргумент выбора: знания и умения текущего системного администратора. Доводилось встречаться со сменой инструмента по причине того, что новый администратор баз данных не знал и не умел уже использовавшийся продукт. Причём использовался вполне себе достойный, но... (конкретики не будет, по причинам, например, секретным, увы мне).

https://habr.com/ru/articles/820349/

#postgresql #barman #walg #pg_probackup #pgbackrest #резервное_копирование #администрирование_баз_данных #администрирование_бд

Обзор открытых свободных инструментов для создания резервных копий СУБД PostgreSQL

Перефразируя древнюю мудрость: все люди делятся на 10 типов: те, кто не знает, зачем нужны резервные копии, и те, кто делает резервные копии. В данном обзоре я попробую мал-мала расшифровать свою давнюю табличку (внеся в неё некоторое количество изменений): Обзор наиболее популярных средств для создания резервных копий PostgreSQL. Ибо не вижу я ни подобных обзоров в информационном поле, ни грамотного, с технической точки зрения, подхода к выбору инструмента вообще, и для создания резервных копий (РК) СУБД PostgreSQL в тех организациях, куда заносит профессиональная деятельность, в частности. Основной аргумент выбора: знания и умения текущего системного администратора. Доводилось встречаться со сменой инструмента по причине того, что новый администратор баз данных не знал и не умел уже использовавшийся продукт. Причём использовался вполне себе достойный, но... (конкретики не будет, по причинам, например, секретным, увы мне).

https://habr.com/ru/articles/820349/

#postgresql #barman #walg #pg_probackup #pgbackrest #резервное_копирование #администрирование_баз_данных #администрирование_бд

Обзор открытых свободных инструментов для создания резервных копий СУБД PostgreSQL

Перефразируя древнюю мудрость: все люди делятся на 10 типов: те, кто не знает, зачем нужны резервные копии, и те, кто делает резервные копии. В данном обзоре я попробую мал-мала расшифровать свою давнюю табличку (внеся в неё некоторое количество изменений): Обзор наиболее популярных средств для создания резервных копий PostgreSQL. Ибо не вижу я ни подобных обзоров в информационном поле, ни грамотного, с технической точки зрения, подхода к выбору инструмента вообще, и для создания резервных копий (РК) СУБД PostgreSQL в тех организациях, куда заносит профессиональная деятельность, в частности. Основной аргумент выбора: знания и умения текущего системного администратора. Доводилось встречаться со сменой инструмента по причине того, что новый администратор баз данных не знал и не умел уже использовавшийся продукт. Причём использовался вполне себе достойный, но... (конкретики не будет, по причинам, например, секретным, увы мне).

https://habr.com/ru/articles/820349/

#postgresql #barman #walg #pg_probackup #pgbackrest #резервное_копирование #администрирование_баз_данных #администрирование_бд

Куда утекает производительность? Ищем ответ в логах Greenplum

Привет, Хабр! Greenplum — это база данных, созданная специально для больших данных и аналитики. Ее основное преимущество — это архитектура массово параллельной обработки, сокращенно – MPP, которая позволяет масштабироваться до огромных объемов данных, не теряя производительности. Но с большими данными приходят и большие проблемы. Медленные запросы, ошибки сегментов, отказы... Когда что-то идет не так, первое, куда мы заглядываем — это логи. Логи Greenplum содержат все, что нужно для диагностики и отладки системы. В этой статье рассмотрим, как извлечь из логов максимум полезной информации, какие инструменты помогут и как автоматизировать анализ.

https://habr.com/ru/companies/otus/articles/850290/

#greenplum #базы_данных #администрирование_бд #логи

[Перевод] Введение в поддержку JavaScript в MySQL

MySQL продолжает наращивать инновации и теперь включает в себя богатые возможности процедурного программирования внутри базы данных. Отныне разработчики могут писать хранимые программы на языке JavaScript (функции и процедуры) в сервере баз данных MySQL. Хранимые программы будут выполняться с помощью GraalVM . Эта версия доступна в качестве "Preview" в MySQL Enterprise Edition и может быть загружена через Oracle Technology Network (OTN) . MySQL-JavaScript также доступен в облачном сервисе MySQL Heatware на OCI, AWS и Azure.

https://habr.com/ru/articles/785402/

#mysql #javascript #администрирование_бд #администрирование