#профайлинг — Public Fediverse posts

Я календарь переверну — и снова 5 апреля: CPU-утилизация во имя интернационализации

Недавно наша команда столкнулась с необычным поведением системы, которая начала использовать избыточное количество CPU-ресурсов. В начале года мы запустили миграцию сервиса в новое хранилище PostgreSQL с существующего NoSQL-решения. Сервис среднестатистический, не High-Load, но занимает ключевое место в обработке бизнес-процессов, отвечает за генерацию заданий для коммуникаций с клиентами. Без проблем держит поступающие 30 RPS, ежедневно обрабатывает около миллиона джобов, хранит сотни миллионов строк данных и в среднем потребляет 125ms CPU. До отключения старой инфраструктуры оставались считаные дни, в бэклоге было несколько задач на миграцию, и мы стремились уложиться в сроки. В бэкграунде крутились джобы миграции данных в новую базу, десятки фичатоглов распределяли запросы к базам данных по репозиториям для обратной совместимости, но планы рухнули из-за неожиданного поведения системы.

https://habr.com/ru/companies/tbank/articles/1021330/

#траблшутинг #потребление_ресурсов #таймзона #профайлинг #дамп

Я календарь переверну — и снова 5 апреля: CPU-утилизация во имя интернационализации

Недавно наша команда столкнулась с необычным поведением системы, которая начала использовать избыточное количество CPU-ресурсов. В начале года мы запустили миграцию сервиса в новое хранилище PostgreSQL с существующего NoSQL-решения. Сервис среднестатистический, не High-Load, но занимает ключевое место в обработке бизнес-процессов, отвечает за генерацию заданий для коммуникаций с клиентами. Без проблем держит поступающие 30 RPS, ежедневно обрабатывает около миллиона джобов, хранит сотни миллионов строк данных и в среднем потребляет 125ms CPU. До отключения старой инфраструктуры оставались считаные дни, в бэклоге было несколько задач на миграцию, и мы стремились уложиться в сроки. В бэкграунде крутились джобы миграции данных в новую базу, десятки фичатоглов распределяли запросы к базам данных по репозиториям для обратной совместимости, но планы рухнули из-за неожиданного поведения системы.

https://habr.com/ru/companies/tbank/articles/1021330/

#траблшутинг #потребление_ресурсов #таймзона #профайлинг #дамп

Я календарь переверну — и снова 5 апреля: CPU-утилизация во имя интернационализации

Недавно наша команда столкнулась с необычным поведением системы, которая начала использовать избыточное количество CPU-ресурсов. В начале года мы запустили миграцию сервиса в новое хранилище PostgreSQL с существующего NoSQL-решения. Сервис среднестатистический, не High-Load, но занимает ключевое место в обработке бизнес-процессов, отвечает за генерацию заданий для коммуникаций с клиентами. Без проблем держит поступающие 30 RPS, ежедневно обрабатывает около миллиона джобов, хранит сотни миллионов строк данных и в среднем потребляет 125ms CPU. До отключения старой инфраструктуры оставались считаные дни, в бэклоге было несколько задач на миграцию, и мы стремились уложиться в сроки. В бэкграунде крутились джобы миграции данных в новую базу, десятки фичатоглов распределяли запросы к базам данных по репозиториям для обратной совместимости, но планы рухнули из-за неожиданного поведения системы.

https://habr.com/ru/companies/tbank/articles/1021330/

#траблшутинг #потребление_ресурсов #таймзона #профайлинг #дамп

Я календарь переверну — и снова 5 апреля: CPU-утилизация во имя интернационализации

Недавно наша команда столкнулась с необычным поведением системы, которая начала использовать избыточное количество CPU-ресурсов. В начале года мы запустили миграцию сервиса в новое хранилище PostgreSQL с существующего NoSQL-решения. Сервис среднестатистический, не High-Load, но занимает ключевое место в обработке бизнес-процессов, отвечает за генерацию заданий для коммуникаций с клиентами. Без проблем держит поступающие 30 RPS, ежедневно обрабатывает около миллиона джобов, хранит сотни миллионов строк данных и в среднем потребляет 125ms CPU. До отключения старой инфраструктуры оставались считаные дни, в бэклоге было несколько задач на миграцию, и мы стремились уложиться в сроки. В бэкграунде крутились джобы миграции данных в новую базу, десятки фичатоглов распределяли запросы к базам данных по репозиториям для обратной совместимости, но планы рухнули из-за неожиданного поведения системы.

https://habr.com/ru/companies/tbank/articles/1021330/

#траблшутинг #потребление_ресурсов #таймзона #профайлинг #дамп

[Перевод] Как ускорить MongoDB в Java: profiling, explain(), индексация и антипаттерны

Команда Spring АйО подготовила материал о том, почему «быстрый запрос в MongoDB» — это не магия, а дисциплина: индексы, форма запроса, проекции, explain(), профайлер и наблюдаемость в Java/Spring Boot. Разбираем, как отличать IXSCAN от COLLSCAN, где чаще всего прячутся антипаттерны (skip-пагинация, тяжёлые $regex/$nin, findAll), и как выстроить измеримый цикл оптимизаций от Atlas/Compass до Micrometer.

https://habr.com/ru/companies/spring_aio/articles/979440/

#MongoDB #производительность #индексы #explain #IXSCAN #COLLSCAN #SpringBoot #SpringData #профайлинг #мониторинг

[Перевод] Как ускорить MongoDB в Java: profiling, explain(), индексация и антипаттерны

Команда Spring АйО подготовила материал о том, почему «быстрый запрос в MongoDB» — это не магия, а дисциплина: индексы, форма запроса, проекции, explain(), профайлер и наблюдаемость в Java/Spring Boot. Разбираем, как отличать IXSCAN от COLLSCAN, где чаще всего прячутся антипаттерны (skip-пагинация, тяжёлые $regex/$nin, findAll), и как выстроить измеримый цикл оптимизаций от Atlas/Compass до Micrometer.

https://habr.com/ru/companies/spring_aio/articles/979440/

#MongoDB #производительность #индексы #explain #IXSCAN #COLLSCAN #SpringBoot #SpringData #профайлинг #мониторинг

[Перевод] Как ускорить MongoDB в Java: profiling, explain(), индексация и антипаттерны

Команда Spring АйО подготовила материал о том, почему «быстрый запрос в MongoDB» — это не магия, а дисциплина: индексы, форма запроса, проекции, explain(), профайлер и наблюдаемость в Java/Spring Boot. Разбираем, как отличать IXSCAN от COLLSCAN, где чаще всего прячутся антипаттерны (skip-пагинация, тяжёлые $regex/$nin, findAll), и как выстроить измеримый цикл оптимизаций от Atlas/Compass до Micrometer.

https://habr.com/ru/companies/spring_aio/articles/979440/

#MongoDB #производительность #индексы #explain #IXSCAN #COLLSCAN #SpringBoot #SpringData #профайлинг #мониторинг

[Перевод] Как ускорить MongoDB в Java: profiling, explain(), индексация и антипаттерны

Команда Spring АйО подготовила материал о том, почему «быстрый запрос в MongoDB» — это не магия, а дисциплина: индексы, форма запроса, проекции, explain(), профайлер и наблюдаемость в Java/Spring Boot. Разбираем, как отличать IXSCAN от COLLSCAN, где чаще всего прячутся антипаттерны (skip-пагинация, тяжёлые $regex/$nin, findAll), и как выстроить измеримый цикл оптимизаций от Atlas/Compass до Micrometer.

https://habr.com/ru/companies/spring_aio/articles/979440/

#MongoDB #производительность #индексы #explain #IXSCAN #COLLSCAN #SpringBoot #SpringData #профайлинг #мониторинг

Как данные о поведении сотрудников помогают собирать команды, которые не разваливаются

Современные компании по инерции собирают команды по принципу «наймём сильных — и они справятся». Но исследования последних лет показывают: командная эффективность на 60–70% зависит не от индивидуальной силы сотрудников, а от того, как их поведенческие особенности сочетаются между собой .

https://habr.com/ru/articles/975522/

#оценка_персонала #оценка_персонала_компании #оценка_персонала_в_организации #ассессмент #профайлинг #аудит_персонала #оценка_топов

Как данные о поведении сотрудников помогают собирать команды, которые не разваливаются

Современные компании по инерции собирают команды по принципу «наймём сильных — и они справятся». Но исследования последних лет показывают: командная эффективность на 60–70% зависит не от индивидуальной силы сотрудников, а от того, как их поведенческие особенности сочетаются между собой .

https://habr.com/ru/articles/975522/

#оценка_персонала #оценка_персонала_компании #оценка_персонала_в_организации #ассессмент #профайлинг #аудит_персонала #оценка_топов

Как данные о поведении сотрудников помогают собирать команды, которые не разваливаются

Современные компании по инерции собирают команды по принципу «наймём сильных — и они справятся». Но исследования последних лет показывают: командная эффективность на 60–70% зависит не от индивидуальной силы сотрудников, а от того, как их поведенческие особенности сочетаются между собой .

https://habr.com/ru/articles/975522/

#оценка_персонала #оценка_персонала_компании #оценка_персонала_в_организации #ассессмент #профайлинг #аудит_персонала #оценка_топов

Как данные о поведении сотрудников помогают собирать команды, которые не разваливаются

Современные компании по инерции собирают команды по принципу «наймём сильных — и они справятся». Но исследования последних лет показывают: командная эффективность на 60–70% зависит не от индивидуальной силы сотрудников, а от того, как их поведенческие особенности сочетаются между собой .

https://habr.com/ru/articles/975522/

#оценка_персонала #оценка_персонала_компании #оценка_персонала_в_организации #ассессмент #профайлинг #аудит_персонала #оценка_топов

Секреты эффективного кодирования на Go для опытных и новичков: профайлинг, тесты, CI

За последние два года Go-сообщество выросло на 55% — с 3 млн до 4,7 млн разработчиков. Многие пришли в Go из других языков или только начинают свой путь в программировании. Без понимания идиоматики и ключевых особенностей языка даже опытные специалисты нередко сталкиваются с медленным кодом, дедлоками и утечками памяти. Так что сегодня разберём, как организовывать пакеты, обрабатывать ошибки, безопасно работать с горутинами и каналами, оптимизировать аллокации и профилировать «горячие» участки через pprof. Советы одинаково пригодятся и опытным Golang-разработчикам, и тем, кто только начинает свой путь в Go.

https://habr.com/ru/companies/netologyru/articles/909672/

#golang #go #практический_гайд #профайлинг #тесты #ci #стресспаузы #pprof #less_is_more #gofmt

Секреты эффективного кодирования на Go для опытных и новичков: профайлинг, тесты, CI

За последние два года Go-сообщество выросло на 55% — с 3 млн до 4,7 млн разработчиков. Многие пришли в Go из других языков или только начинают свой путь в программировании. Без понимания идиоматики и ключевых особенностей языка даже опытные специалисты нередко сталкиваются с медленным кодом, дедлоками и утечками памяти. Так что сегодня разберём, как организовывать пакеты, обрабатывать ошибки, безопасно работать с горутинами и каналами, оптимизировать аллокации и профилировать «горячие» участки через pprof. Советы одинаково пригодятся и опытным Golang-разработчикам, и тем, кто только начинает свой путь в Go.

https://habr.com/ru/companies/netologyru/articles/909672/

#golang #go #практический_гайд #профайлинг #тесты #ci #стресспаузы #pprof #less_is_more #gofmt

Секреты эффективного кодирования на Go для опытных и новичков: профайлинг, тесты, CI

За последние два года Go-сообщество выросло на 55% — с 3 млн до 4,7 млн разработчиков. Многие пришли в Go из других языков или только начинают свой путь в программировании. Без понимания идиоматики и ключевых особенностей языка даже опытные специалисты нередко сталкиваются с медленным кодом, дедлоками и утечками памяти. Так что сегодня разберём, как организовывать пакеты, обрабатывать ошибки, безопасно работать с горутинами и каналами, оптимизировать аллокации и профилировать «горячие» участки через pprof. Советы одинаково пригодятся и опытным Golang-разработчикам, и тем, кто только начинает свой путь в Go.

https://habr.com/ru/companies/netologyru/articles/909672/

#golang #go #практический_гайд #профайлинг #тесты #ci #стресспаузы #pprof #less_is_more #gofmt

Секреты эффективного кодирования на Go для опытных и новичков: профайлинг, тесты, CI

За последние два года Go-сообщество выросло на 55% — с 3 млн до 4,7 млн разработчиков. Многие пришли в Go из других языков или только начинают свой путь в программировании. Без понимания идиоматики и ключевых особенностей языка даже опытные специалисты нередко сталкиваются с медленным кодом, дедлоками и утечками памяти. Так что сегодня разберём, как организовывать пакеты, обрабатывать ошибки, безопасно работать с горутинами и каналами, оптимизировать аллокации и профилировать «горячие» участки через pprof. Советы одинаково пригодятся и опытным Golang-разработчикам, и тем, кто только начинает свой путь в Go.

https://habr.com/ru/companies/netologyru/articles/909672/

#golang #go #практический_гайд #профайлинг #тесты #ci #стресспаузы #pprof #less_is_more #gofmt

[Перевод] CNCF White Paper по observability: инструменты, виды, стратегии и проблемы

В августе 2023 года под руководством группы TAG Observability в экосистеме CNCF была выпущена версия 1.0 документа по наблюдаемости (observability). Компания CNCF — лидер в развитии и продвижении облачных технологий. Она объединяет в себе множество компаний, разработчиков и специалистов с огромным опытом и экспертизой, которые упаковали в этот документ. Наш материал является его переводом.

https://habr.com/ru/companies/flant/articles/781846/

#observability #логи #трейсинг #наблюдаемость #логирование #профилирование #профайлинг #метрики #whitepaper

[Перевод] CNCF White Paper по observability: инструменты, виды, стратегии и проблемы

В августе 2023 года под руководством группы TAG Observability в экосистеме CNCF была выпущена версия 1.0 документа по наблюдаемости (observability). Компания CNCF — лидер в развитии и продвижении облачных технологий. Она объединяет в себе множество компаний, разработчиков и специалистов с огромным опытом и экспертизой, которые упаковали в этот документ. Наш материал является его переводом.

https://habr.com/ru/companies/flant/articles/781846/

#observability #логи #трейсинг #наблюдаемость #логирование #профилирование #профайлинг #метрики #whitepaper