#database_optimization — Public Fediverse posts

Eloquent Guard: как ловить N+1 и медленные запросы в Laravel, не зарываясь в vendor

Проблема N+1 стара как мир. Инструментов много: Debugbar хорош локально, Telescope тяжеловат для продакшена. Мне хотелось решения, которое будет «стучать» в Slack или Telegram именно тогда, когда проблема случилась на проде, и при этом сразу показывать пальцем на виновную строку кода.

https://habr.com/ru/articles/1010822/

#laravel #eloquent #php #sql #mysql #postgresql #database_optimization #database_performance #database_monitoring

Eloquent Guard: как ловить N+1 и медленные запросы в Laravel, не зарываясь в vendor

Проблема N+1 стара как мир. Инструментов много: Debugbar хорош локально, Telescope тяжеловат для продакшена. Мне хотелось решения, которое будет «стучать» в Slack или Telegram именно тогда, когда проблема случилась на проде, и при этом сразу показывать пальцем на виновную строку кода.

https://habr.com/ru/articles/1010822/

#laravel #eloquent #php #sql #mysql #postgresql #database_optimization #database_performance #database_monitoring

Eloquent Guard: как ловить N+1 и медленные запросы в Laravel, не зарываясь в vendor

Проблема N+1 стара как мир. Инструментов много: Debugbar хорош локально, Telescope тяжеловат для продакшена. Мне хотелось решения, которое будет «стучать» в Slack или Telegram именно тогда, когда проблема случилась на проде, и при этом сразу показывать пальцем на виновную строку кода.

https://habr.com/ru/articles/1010822/

#laravel #eloquent #php #sql #mysql #postgresql #database_optimization #database_performance #database_monitoring

Eloquent Guard: как ловить N+1 и медленные запросы в Laravel, не зарываясь в vendor

Проблема N+1 стара как мир. Инструментов много: Debugbar хорош локально, Telescope тяжеловат для продакшена. Мне хотелось решения, которое будет «стучать» в Slack или Telegram именно тогда, когда проблема случилась на проде, и при этом сразу показывать пальцем на виновную строку кода.

https://habr.com/ru/articles/1010822/

#laravel #eloquent #php #sql #mysql #postgresql #database_optimization #database_performance #database_monitoring

[Перевод] Стоп-слова, исключения и словоформы в Manticore

Теперь Manticore Search поддерживает прямое указание настроек токенизации непосредственно в команде CREATE TABLE . Таким образом, исчезает необходимость создавать внешние файлы при настройке стоп-слов, исключений, словоформ и слов без позиции, делая создание таблиц проще и удобнее для развертывания.

https://habr.com/ru/articles/995662/

#алгоритмы_поиска #оптимизация_базы_данных #fulltext_search #sql #database_optimization

[Перевод] Стоп-слова, исключения и словоформы в Manticore

Теперь Manticore Search поддерживает прямое указание настроек токенизации непосредственно в команде CREATE TABLE . Таким образом, исчезает необходимость создавать внешние файлы при настройке стоп-слов, исключений, словоформ и слов без позиции, делая создание таблиц проще и удобнее для развертывания.

https://habr.com/ru/articles/995662/

#алгоритмы_поиска #оптимизация_базы_данных #fulltext_search #sql #database_optimization

[Перевод] Стоп-слова, исключения и словоформы в Manticore

Теперь Manticore Search поддерживает прямое указание настроек токенизации непосредственно в команде CREATE TABLE . Таким образом, исчезает необходимость создавать внешние файлы при настройке стоп-слов, исключений, словоформ и слов без позиции, делая создание таблиц проще и удобнее для развертывания.

https://habr.com/ru/articles/995662/

#алгоритмы_поиска #оптимизация_базы_данных #fulltext_search #sql #database_optimization

[Перевод] Стоп-слова, исключения и словоформы в Manticore

Теперь Manticore Search поддерживает прямое указание настроек токенизации непосредственно в команде CREATE TABLE . Таким образом, исчезает необходимость создавать внешние файлы при настройке стоп-слов, исключений, словоформ и слов без позиции, делая создание таблиц проще и удобнее для развертывания.

https://habr.com/ru/articles/995662/

#алгоритмы_поиска #оптимизация_базы_данных #fulltext_search #sql #database_optimization

Уровни изоляции транзакций: практическая механика и сравнение PostgreSQL, MySQL, Oracle, SQL Server и DB2

Транзакции — не про «магическое ACID», а про конкретную механику согласованного доступа к данным под нагрузкой. Эта статья объясняет как реально работают уровни изоляции и чем отличаются популярные СУБД на практике. Мы разберём:

https://habr.com/ru/articles/961134/

#изоляция_транзакций #mvcc #postgresql #mysql #backend #database #database_optimization #database_design #acid #concurrency_control

Уровни изоляции транзакций: практическая механика и сравнение PostgreSQL, MySQL, Oracle, SQL Server и DB2

Транзакции — не про «магическое ACID», а про конкретную механику согласованного доступа к данным под нагрузкой. Эта статья объясняет как реально работают уровни изоляции и чем отличаются популярные СУБД на практике. Мы разберём:

https://habr.com/ru/articles/961134/

#изоляция_транзакций #mvcc #postgresql #mysql #backend #database #database_optimization #database_design #acid #concurrency_control

Уровни изоляции транзакций: практическая механика и сравнение PostgreSQL, MySQL, Oracle, SQL Server и DB2

Транзакции — не про «магическое ACID», а про конкретную механику согласованного доступа к данным под нагрузкой. Эта статья объясняет как реально работают уровни изоляции и чем отличаются популярные СУБД на практике. Мы разберём:

https://habr.com/ru/articles/961134/

#изоляция_транзакций #mvcc #postgresql #mysql #backend #database #database_optimization #database_design #acid #concurrency_control

Уровни изоляции транзакций: практическая механика и сравнение PostgreSQL, MySQL, Oracle, SQL Server и DB2

Транзакции — не про «магическое ACID», а про конкретную механику согласованного доступа к данным под нагрузкой. Эта статья объясняет как реально работают уровни изоляции и чем отличаются популярные СУБД на практике. Мы разберём:

https://habr.com/ru/articles/961134/

#изоляция_транзакций #mvcc #postgresql #mysql #backend #database #database_optimization #database_design #acid #concurrency_control

[Перевод] Оптимизация производительности запросов в OLAP‑СУБД: цели, методы и практика

Ниже — выверенная и локализованная на русский язык версия текста об оптимизации производительности СУБД. Термины без устойчивых русских эквивалентов сохранены на английском с первым пояснением.

https://habr.com/ru/articles/949338/

#DataBase #database_development #database_optimization #olap #starrocks

Если не хватает памяти для процессинга модели SSAS: варианты решения проблемы

Всем привет! Меня зовут Николай, я DBA-разработчик SimbirSoft. Если вам приходилось иметь дело с табличной моделью данных SQL Server Analysis Services (SSAS), то вы наверняка знаете, что на сервере она работает только в режиме In-Memory и использует под свои процессы выделенную часть оперативной памяти. А когда памяти недостаточно для нормальной работы, то возникает системное сообщение о ее нехватке. В этой статье я кратко рассмотрел причины и общие стратегии по решению данной проблемы, а также рассказал о своем опыте на примере табличной модели объемом около 100 ГБ на MS SQL Server 2019 Ent. Погрузиться в чертоги

https://habr.com/ru/companies/simbirsoft/articles/932460/

#database_development #database_optimization #dba #ssas #tabular #tabular_data #SQL_Server_Analysis_Services

Если не хватает памяти для процессинга модели SSAS: варианты решения проблемы

Всем привет! Меня зовут Николай, я DBA-разработчик SimbirSoft. Если вам приходилось иметь дело с табличной моделью данных SQL Server Analysis Services (SSAS), то вы наверняка знаете, что на сервере она работает только в режиме In-Memory и использует под свои процессы выделенную часть оперативной памяти. А когда памяти недостаточно для нормальной работы, то возникает системное сообщение о ее нехватке. В этой статье я кратко рассмотрел причины и общие стратегии по решению данной проблемы, а также рассказал о своем опыте на примере табличной модели объемом около 100 ГБ на MS SQL Server 2019 Ent. Погрузиться в чертоги

https://habr.com/ru/companies/simbirsoft/articles/932460/

#database_development #database_optimization #dba #ssas #tabular #tabular_data #SQL_Server_Analysis_Services

Если не хватает памяти для процессинга модели SSAS: варианты решения проблемы

Всем привет! Меня зовут Николай, я DBA-разработчик SimbirSoft. Если вам приходилось иметь дело с табличной моделью данных SQL Server Analysis Services (SSAS), то вы наверняка знаете, что на сервере она работает только в режиме In-Memory и использует под свои процессы выделенную часть оперативной памяти. А когда памяти недостаточно для нормальной работы, то возникает системное сообщение о ее нехватке. В этой статье я кратко рассмотрел причины и общие стратегии по решению данной проблемы, а также рассказал о своем опыте на примере табличной модели объемом около 100 ГБ на MS SQL Server 2019 Ent. Погрузиться в чертоги

https://habr.com/ru/companies/simbirsoft/articles/932460/

#database_development #database_optimization #dba #ssas #tabular #tabular_data #SQL_Server_Analysis_Services

Если не хватает памяти для процессинга модели SSAS: варианты решения проблемы

Всем привет! Меня зовут Николай, я DBA-разработчик SimbirSoft. Если вам приходилось иметь дело с табличной моделью данных SQL Server Analysis Services (SSAS), то вы наверняка знаете, что на сервере она работает только в режиме In-Memory и использует под свои процессы выделенную часть оперативной памяти. А когда памяти недостаточно для нормальной работы, то возникает системное сообщение о ее нехватке. В этой статье я кратко рассмотрел причины и общие стратегии по решению данной проблемы, а также рассказал о своем опыте на примере табличной модели объемом около 100 ГБ на MS SQL Server 2019 Ent. Погрузиться в чертоги

https://habr.com/ru/companies/simbirsoft/articles/932460/

#database_development #database_optimization #dba #ssas #tabular #tabular_data #SQL_Server_Analysis_Services

Перенос Orca в расширение Postgres: цели и детали реализации

Greengage Database — наш форк Greenplum Database. Основная идея — оставить исходный код открытым и продолжить разработку и совершенствование базы данных. Мы собираемся перенести Greengage Database на более новую версию Postgres, предоставив более богатый набор функций всем пользователям сообщества и нашим клиентам. Но эта задача сложнее, чем может показаться. Ранее для реализации функций массивно-параллельных вычислений Greenplum Database основная функциональность Postgres была существенно переработана. Таким образом, обновление версии Postgres создавало огромные сложности. Например, переход с Postgres 9 на Postgres 12 потребовал огромных усилий — между мажорными релизами было почти 5 лет разработки. Имея это в виду, мы начали масштабный рефакторинг ядра Greengage Database. Мы собираемся разделить ядро ​​Postgres и специфичные функции Greengage Database, используя стандартные существующие средства Postgres для расширений.

https://habr.com/ru/companies/arenadata/articles/875032/

#orca #postgresql #рефакторинг #модульность #api #c++ #базы_данных #mpp #оптимизация_запросов #database_optimization

Чья фича лучше или как сравнить эффективность планов SQL-запроса

Как сравнить? - измерить execution-time конечно! - скажет опытный читатель. И будет совершенно прав: с практической точки зрения эффективнее та СУБД, которая выдаёт больший TPS. Однако иногда нам требуется спроектировать систему, которой ещё нет или сделать прогноз поведения на нагрузках, которые ещё не пришли. В таком случае нам нужна некоторая характеристика, позволяющая выполнить качественный анализ плана или выполнить сравнение пары планов. Обсуждению одной такой характеристики - количество прочитанных страниц данных - и посвящён данный пост.

https://habr.com/ru/articles/873064/

#субд #реляционные_субд #базы_данных #postgres #benchmark #database_monitoring #database_optimization

Чья фича лучше или как сравнить эффективность планов SQL-запроса

Как сравнить? - измерить execution-time конечно! - скажет опытный читатель. И будет совершенно прав: с практической точки зрения эффективнее та СУБД, которая выдаёт больший TPS. Однако иногда нам требуется спроектировать систему, которой ещё нет или сделать прогноз поведения на нагрузках, которые ещё не пришли. В таком случае нам нужна некоторая характеристика, позволяющая выполнить качественный анализ плана или выполнить сравнение пары планов. Обсуждению одной такой характеристики - количество прочитанных страниц данных - и посвящён данный пост.

https://habr.com/ru/articles/873064/

#субд #реляционные_субд #базы_данных #postgres #benchmark #database_monitoring #database_optimization

Чья фича лучше или как сравнить эффективность планов SQL-запроса

Как сравнить? - измерить execution-time конечно! - скажет опытный читатель. И будет совершенно прав: с практической точки зрения эффективнее та СУБД, которая выдаёт больший TPS. Однако иногда нам требуется спроектировать систему, которой ещё нет или сделать прогноз поведения на нагрузках, которые ещё не пришли. В таком случае нам нужна некоторая характеристика, позволяющая выполнить качественный анализ плана или выполнить сравнение пары планов. Обсуждению одной такой характеристики - количество прочитанных страниц данных - и посвящён данный пост.

https://habr.com/ru/articles/873064/

#субд #реляционные_субд #базы_данных #postgres #benchmark #database_monitoring #database_optimization

Чья фича лучше или как сравнить эффективность планов SQL-запроса

Как сравнить? - измерить execution-time конечно! - скажет опытный читатель. И будет совершенно прав: с практической точки зрения эффективнее та СУБД, которая выдаёт больший TPS. Однако иногда нам требуется спроектировать систему, которой ещё нет или сделать прогноз поведения на нагрузках, которые ещё не пришли. В таком случае нам нужна некоторая характеристика, позволяющая выполнить качественный анализ плана или выполнить сравнение пары планов. Обсуждению одной такой характеристики - количество прочитанных страниц данных - и посвящён данный пост.

https://habr.com/ru/articles/873064/

#субд #реляционные_субд #базы_данных #postgres #benchmark #database_monitoring #database_optimization

Ускоряем запросы в PostgreSQL, оптимизируя оператор GROUP BY

Пользователи PostgreSQL нередко оперируют аналитическими запросами , при выполнении которых данные сортируются и группируются по разным правилам. За счёт оптимизации вычисления агрегатов и сортировок можно значительно сократить время и стоимость выполнения запросов. Об одной из таких оптимизаций — выборе порядка колонок в выражении GROUP BY — расскажем в этой статье. Postgres уже умеет перестраивать список группируемых выражений в соответствии с порядком колонок из условия ORDER BY , чтобы исключить дополнительную сортировку и сэкономить вычислительные ресурсы. Мы пошли дальше, реализовали свою идею в дистрибутивах Postgres Pro Standard и Enterprise и вынесли патчи на обсуждение сообщества Postgres ( первое и второе ) в надежде, что они войдут в ближайшую версию ванильного PostgreSQL.

https://habr.com/ru/companies/postgrespro/articles/852414/

#postgresql #sql #database_optimization #data_management #efficiency #оптимизация_запросов #сортировка_запросов