home.social

#highload — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #highload, aggregated by home.social.

  1. Habr @[email protected] ·

    PostgreSQL 19 Beta 4: пять изменений, которые я бы проверил на staging до релиза

    24 сентября вышла PostgreSQL 19 Beta 4. До release candidate осталось совсем немного, и на этом этапе уже интереснее смотреть не на длинный список новых возможностей, а на те изменения, которые реально способны поменять повседневную работу backend-команды. В релизе есть заметные вещи вроде REPACK , нового WAIT FOR LSN , параллельного autovacuum, репликации sequence и pg_plan_advice . Но почти у каждой из них есть важное «да, но». REPACK (CONCURRENTLY) не означает «VACUUM FULL без блокировок». WAIT FOR LSN не превращает асинхронную реплику в синхронную. Планировщик теперь можно подталкивать, но это не делает hint-ы хорошей идеей по умолчанию. Именно поэтому вместо обзора «50 новых фич PostgreSQL 19» я выбрал пять изменений, которые стоит прогнать на собственном staging до GA. Не чтобы немедленно включить их в production, а чтобы заранее понять, какие старые костыли после обновления можно будет убрать, а где появятся новые точки контроля.

    habr.com/ru/articles/1087440/

    #postgresql_19 #репликация #autovacuum #backend #highload #производительность

    #производительность #highload #backend #autovacuum #репликация #postgresql_19
  2. Habr @[email protected] ·

    PostgreSQL 19 Beta 4: пять изменений, которые я бы проверил на staging до релиза

    24 сентября вышла PostgreSQL 19 Beta 4. До release candidate осталось совсем немного, и на этом этапе уже интереснее смотреть не на длинный список новых возможностей, а на те изменения, которые реально способны поменять повседневную работу backend-команды. В релизе есть заметные вещи вроде REPACK , нового WAIT FOR LSN , параллельного autovacuum, репликации sequence и pg_plan_advice . Но почти у каждой из них есть важное «да, но». REPACK (CONCURRENTLY) не означает «VACUUM FULL без блокировок». WAIT FOR LSN не превращает асинхронную реплику в синхронную. Планировщик теперь можно подталкивать, но это не делает hint-ы хорошей идеей по умолчанию. Именно поэтому вместо обзора «50 новых фич PostgreSQL 19» я выбрал пять изменений, которые стоит прогнать на собственном staging до GA. Не чтобы немедленно включить их в production, а чтобы заранее понять, какие старые костыли после обновления можно будет убрать, а где появятся новые точки контроля.

    habr.com/ru/articles/1087440/

    #postgresql_19 #репликация #autovacuum #backend #highload #производительность

    #производительность #highload #backend #autovacuum #репликация #postgresql_19
  3. Habr @[email protected] ·

    PostgreSQL 19 Beta 4: пять изменений, которые я бы проверил на staging до релиза

    24 сентября вышла PostgreSQL 19 Beta 4. До release candidate осталось совсем немного, и на этом этапе уже интереснее смотреть не на длинный список новых возможностей, а на те изменения, которые реально способны поменять повседневную работу backend-команды. В релизе есть заметные вещи вроде REPACK , нового WAIT FOR LSN , параллельного autovacuum, репликации sequence и pg_plan_advice . Но почти у каждой из них есть важное «да, но». REPACK (CONCURRENTLY) не означает «VACUUM FULL без блокировок». WAIT FOR LSN не превращает асинхронную реплику в синхронную. Планировщик теперь можно подталкивать, но это не делает hint-ы хорошей идеей по умолчанию. Именно поэтому вместо обзора «50 новых фич PostgreSQL 19» я выбрал пять изменений, которые стоит прогнать на собственном staging до GA. Не чтобы немедленно включить их в production, а чтобы заранее понять, какие старые костыли после обновления можно будет убрать, а где появятся новые точки контроля.

    habr.com/ru/articles/1087440/

    #postgresql_19 #репликация #autovacuum #backend #highload #производительность

    #postgresql_19 #репликация #autovacuum #backend #highload #производительность
  4. Habr @[email protected] ·

    OLAP OVER HTTP: как отдавать большие аналитические данные через API и не положить сервис

    Каждый день в 18:00 клиентам становится доступна отчётность по продажам, и многие одновременно нажимают кнопку «Загрузить отчёт». Это может быть детализированный отчёт по списаниям, юридическая отчётность, аналитическая выгрузка или API, используя который клиент получает данные для дальнейшей обработки. В этот момент даже хорошо подобранное хранилище может стать узким местом. В моей практике разработки часто встречаются сценарии, когда необходимо предоставить доступ к большому количеству данных по HTTP. На первый взгляд задача выглядит простой: берём подходящее хранилище, пишем endpoint, выполняем запрос и отдаём результат пользователю. Но на практике такая схема быстро упирается в ограничения.

    habr.com/ru/companies/ozontech

    #clickhouse #highload #оптимизация #perfomance #database #olap #высоконагруженные_системы #базы_данных #нагрузочное_тестирование #ozon_tech

    #ozon_tech #нагрузочное_тестирование #базы_данных #высоконагруженные_системы #olap #database
  5. Habr @[email protected] ·

    OLAP OVER HTTP: как отдавать большие аналитические данные через API и не положить сервис

    Каждый день в 18:00 клиентам становится доступна отчётность по продажам, и многие одновременно нажимают кнопку «Загрузить отчёт». Это может быть детализированный отчёт по списаниям, юридическая отчётность, аналитическая выгрузка или API, используя который клиент получает данные для дальнейшей обработки. В этот момент даже хорошо подобранное хранилище может стать узким местом. В моей практике разработки часто встречаются сценарии, когда необходимо предоставить доступ к большому количеству данных по HTTP. На первый взгляд задача выглядит простой: берём подходящее хранилище, пишем endpoint, выполняем запрос и отдаём результат пользователю. Но на практике такая схема быстро упирается в ограничения.

    habr.com/ru/companies/ozontech

    #clickhouse #highload #оптимизация #perfomance #database #olap #высоконагруженные_системы #базы_данных #нагрузочное_тестирование #ozon_tech

    #ozon_tech #нагрузочное_тестирование #базы_данных #высоконагруженные_системы #olap #database
  6. Habr @[email protected] ·

    OLAP OVER HTTP: как отдавать большие аналитические данные через API и не положить сервис

    Каждый день в 18:00 клиентам становится доступна отчётность по продажам, и многие одновременно нажимают кнопку «Загрузить отчёт». Это может быть детализированный отчёт по списаниям, юридическая отчётность, аналитическая выгрузка или API, используя который клиент получает данные для дальнейшей обработки. В этот момент даже хорошо подобранное хранилище может стать узким местом. В моей практике разработки часто встречаются сценарии, когда необходимо предоставить доступ к большому количеству данных по HTTP. На первый взгляд задача выглядит простой: берём подходящее хранилище, пишем endpoint, выполняем запрос и отдаём результат пользователю. Но на практике такая схема быстро упирается в ограничения.

    habr.com/ru/companies/ozontech

    #clickhouse #highload #оптимизация #perfomance #database #olap #высоконагруженные_системы #базы_данных #нагрузочное_тестирование #ozon_tech

    #clickhouse #highload #оптимизация #perfomance #database #olap
  7. Habr @[email protected] ·

    От «быстрого JSON» к потоковой обработке данных: смена парадигмы в оценке производительности протоколов

    Сразу хочу обозначить важный момент: эта статья не столько про пакет SilentJSON, сколько про схему работы с информацией , которую на его примере удалось реализовать и проверить на практике. SilentJSON здесь – скорее инструмент и конкретная реализация идеи. Ту же архитектуру вполне можно реализовать самостоятельно, адаптировать под другой формат данных, другой язык или конкретные ограничения проекта. Она может получиться лучше или хуже SilentJSON, но главное – она может оказаться гораздо лучше приспособлена к реалиям конкретной задачи.

    habr.com/ru/articles/1087126/

    #json #потоковая_обработка #парсинг #go #highload #производительность #оптимизация #silentjson #zerocopy

    #zerocopy #silentjson #оптимизация #производительность #highload #go
  8. Habr @[email protected] ·

    От «быстрого JSON» к потоковой обработке данных: смена парадигмы в оценке производительности протоколов

    Сразу хочу обозначить важный момент: эта статья не столько про пакет SilentJSON, сколько про схему работы с информацией , которую на его примере удалось реализовать и проверить на практике. SilentJSON здесь – скорее инструмент и конкретная реализация идеи. Ту же архитектуру вполне можно реализовать самостоятельно, адаптировать под другой формат данных, другой язык или конкретные ограничения проекта. Она может получиться лучше или хуже SilentJSON, но главное – она может оказаться гораздо лучше приспособлена к реалиям конкретной задачи.

    habr.com/ru/articles/1087126/

    #json #потоковая_обработка #парсинг #go #highload #производительность #оптимизация #silentjson #zerocopy

    #zerocopy #silentjson #оптимизация #производительность #highload #go
  9. Habr @[email protected] ·

    От «быстрого JSON» к потоковой обработке данных: смена парадигмы в оценке производительности протоколов

    Сразу хочу обозначить важный момент: эта статья не столько про пакет SilentJSON, сколько про схему работы с информацией , которую на его примере удалось реализовать и проверить на практике. SilentJSON здесь – скорее инструмент и конкретная реализация идеи. Ту же архитектуру вполне можно реализовать самостоятельно, адаптировать под другой формат данных, другой язык или конкретные ограничения проекта. Она может получиться лучше или хуже SilentJSON, но главное – она может оказаться гораздо лучше приспособлена к реалиям конкретной задачи.

    habr.com/ru/articles/1087126/

    #json #потоковая_обработка #парсинг #go #highload #производительность #оптимизация #silentjson #zerocopy

    #json #потоковая_обработка #парсинг #go #highload #производительность