#запросы — Public Fediverse posts

Как обрабатывать 5 млн изменяющихся форм в минуту с SLI 99.99%

Всем привет! Меня зовут Кирилл Грищук , я Tech Lead в команде Инфомодели в Авито . Мы занимаемся тем, что обрабатываем формы от пользователей: от 5 млн до 15 млн форм в минуту, а это более 150 тысяч в секунду. В этой статье на примере Авито я рассказываю, зачем мы стремимся к SLI 99.99%. Внутри — обзор и сравнение решений по доставке неизменных данных, учитывая специфику нашего сервиса. Показываю на примере форм, какие интересные доработки мы придумали, чтобы достичь этих четырёх девяток, и какие ошибки совершали по пути. Статья будет полезна всем, кто хочет погрузиться в проблему раздачи и обработки редко изменяемых данных.

https://habr.com/ru/companies/avito/articles/980696/

#avito #sli #highload #высокая_нагрузка #высоконагруженные_системы #запросы #sql #backend

Как обрабатывать 5 млн изменяющихся форм в минуту с SLI 99.99%

Всем привет! Меня зовут Кирилл Грищук , я Tech Lead в команде Инфомодели в Авито . Мы занимаемся тем, что обрабатываем формы от пользователей: от 5 млн до 15 млн форм в минуту, а это более 150 тысяч в секунду. В этой статье на примере Авито я рассказываю, зачем мы стремимся к SLI 99.99%. Внутри — обзор и сравнение решений по доставке неизменных данных, учитывая специфику нашего сервиса. Показываю на примере форм, какие интересные доработки мы придумали, чтобы достичь этих четырёх девяток, и какие ошибки совершали по пути. Статья будет полезна всем, кто хочет погрузиться в проблему раздачи и обработки редко изменяемых данных.

https://habr.com/ru/companies/avito/articles/980696/

#avito #sli #highload #высокая_нагрузка #высоконагруженные_системы #запросы #sql #backend

Как обрабатывать 5 млн изменяющихся форм в минуту с SLI 99.99%

Всем привет! Меня зовут Кирилл Грищук , я Tech Lead в команде Инфомодели в Авито . Мы занимаемся тем, что обрабатываем формы от пользователей: от 5 млн до 15 млн форм в минуту, а это более 150 тысяч в секунду. В этой статье на примере Авито я рассказываю, зачем мы стремимся к SLI 99.99%. Внутри — обзор и сравнение решений по доставке неизменных данных, учитывая специфику нашего сервиса. Показываю на примере форм, какие интересные доработки мы придумали, чтобы достичь этих четырёх девяток, и какие ошибки совершали по пути. Статья будет полезна всем, кто хочет погрузиться в проблему раздачи и обработки редко изменяемых данных.

https://habr.com/ru/companies/avito/articles/980696/

#avito #sli #highload #высокая_нагрузка #высоконагруженные_системы #запросы #sql #backend

Как обрабатывать 5 млн изменяющихся форм в минуту с SLI 99.99%

Всем привет! Меня зовут Кирилл Грищук , я Tech Lead в команде Инфомодели в Авито . Мы занимаемся тем, что обрабатываем формы от пользователей: от 5 млн до 15 млн форм в минуту, а это более 150 тысяч в секунду. В этой статье на примере Авито я рассказываю, зачем мы стремимся к SLI 99.99%. Внутри — обзор и сравнение решений по доставке неизменных данных, учитывая специфику нашего сервиса. Показываю на примере форм, какие интересные доработки мы придумали, чтобы достичь этих четырёх девяток, и какие ошибки совершали по пути. Статья будет полезна всем, кто хочет погрузиться в проблему раздачи и обработки редко изменяемых данных.

https://habr.com/ru/companies/avito/articles/980696/

#avito #sli #highload #высокая_нагрузка #высоконагруженные_системы #запросы #sql #backend

How To: XML-config для хранимых процедур MS SQL — создание, разбор, развёртывание

Всем привет! Меня зовут Александр Гаврилов, я архитектор баз данных и аналитических систем в GRI. Если вы когда-нибудь пытались выполнить одну и ту же операцию с похожими таблицами в разных базах, да ещё и на разных серверах, то знаете, насколько это может быть мучительно. В этой статье я покажу один из рабочих вариантов, как упростить такую задачу, и заодно расскажу про интересную функцию XQuery, которая может неожиданно помочь.

https://habr.com/ru/companies/gri/articles/975938/

#mssql #tsql #xml #запросы #XQuery #PowerShell #HowTo #deploy

Какие запросы и куда отправляет MAX

Моя вторая статья - анализ сетевых запросов MAX и почему этот анализ - моё самое большое разочарование! Не ожидал я такого конечно, но описал все как есть.

https://habr.com/ru/articles/939550/

#max #мессенджеры #запросы #сетевые_протоколы #национальный_мессенджер #adguard #proxy #трафик #трекер

Какие запросы и куда отправляет MAX

Моя вторая статья - анализ сетевых запросов MAX и почему этот анализ - моё самое большое разочарование! Не ожидал я такого конечно, но описал все как есть.

https://habr.com/ru/articles/939550/

#max #мессенджеры #запросы #сетевые_протоколы #национальный_мессенджер #adguard #proxy #трафик #трекер

Какие запросы и куда отправляет MAX

Моя вторая статья - анализ сетевых запросов MAX и почему этот анализ - моё самое большое разочарование! Не ожидал я такого конечно, но описал все как есть.

https://habr.com/ru/articles/939550/

#max #мессенджеры #запросы #сетевые_протоколы #национальный_мессенджер #adguard #proxy #трафик #трекер

Какие запросы и куда отправляет MAX

Моя вторая статья - анализ сетевых запросов MAX и почему этот анализ - моё самое большое разочарование! Не ожидал я такого конечно, но описал все как есть.

https://habr.com/ru/articles/939550/

#max #мессенджеры #запросы #сетевые_протоколы #национальный_мессенджер #adguard #proxy #трафик #трекер

7 SQL-запросов, которые решают 90% всех задач на работе

Каждый день одно и то же . Открываешь клиент базы данных, чтобы что-то проверить, посчитать или найти. И снова пишешь почти тот же SELECT , что и вчера, с тем же WHERE и JOIN . Знакомо? SQL в большинстве случаях не требует сложные 100-строчные запросы с вложенными подзапросами на три уровня глубины. Чаще всего нам нужны простые, отточенные и, главное, эффективные конструкции. В этой статье я собрал 7 таких запросов-«рабочих лошадок». Это не какой-то там справочник, а готовая шпаргалка для реальных задач.

https://habr.com/ru/companies/timeweb/articles/943298/

#sql #data_base #big_data #базы_данных #запросы #аналитика #timeweb_статьи

weakref.finalize: «почти IDisposable» для Python-объектов

Привет, Хабр! Я не знаю, как у вас, а у меня перед глазами все еще маячат толстенные исходники WinForms-эра на C#, где любой порядочный объект, умеющий держать ручку к файлу или сокету, строго реализует IDisposable . Закрыл — молодец, забыл — получи warning от IDE и пару нехороших утечек в production. В Python, увы-ях, аналогичный контракт традиционно строили на del и контекст-менеджерах. Первый: если объект в циклическом мусоре, финализатор может не вызваться вообще; к тому же при выключении интерпретатора порядок разрушения объектов хаотичен. Второй ( with ... as ) шикарен, но требует явного вызова, а значит — дисциплины. С выходом PEP 442 и появлением weakref.finalize мы получили «почти IDisposable» — финализатор, которому не страшны циклы, и который честно отработает даже на shutdown, если правильно обращаться.

https://habr.com/ru/companies/otus/articles/922874/

#python #чистая_архитектура #flask #SQLAlchemy #тестируемость #запросы #расширяемость

[Перевод] Глубокое погружение в запросы, лимиты и специфику использования CPU в Kubernetes

Джон Такер помогает разобраться с ключевыми аспектами управления ресурсами CPU в Kubernetes. Он объясняет разницу между запросами и лимитами, показывает их влияние на производительность приложений и делится практическими советами по настройке контейнеров. Если хотите улучшить работу кластеров, эта статья станет вашим гидом.

https://habr.com/ru/companies/flant/articles/898190/

#запросы #лимиты #threads #потоки #троттлинг #троттлинг_в_kubernetes #поды #узлы #ноды #cpu

[Перевод] Глубокое погружение в запросы, лимиты и специфику использования CPU в Kubernetes

Джон Такер помогает разобраться с ключевыми аспектами управления ресурсами CPU в Kubernetes. Он объясняет разницу между запросами и лимитами, показывает их влияние на производительность приложений и делится практическими советами по настройке контейнеров. Если хотите улучшить работу кластеров, эта статья станет вашим гидом.

https://habr.com/ru/companies/flant/articles/898190/

#запросы #лимиты #threads #потоки #троттлинг #троттлинг_в_kubernetes #поды #узлы #ноды #cpu

[Перевод] Глубокое погружение в запросы, лимиты и специфику использования CPU в Kubernetes

Джон Такер помогает разобраться с ключевыми аспектами управления ресурсами CPU в Kubernetes. Он объясняет разницу между запросами и лимитами, показывает их влияние на производительность приложений и делится практическими советами по настройке контейнеров. Если хотите улучшить работу кластеров, эта статья станет вашим гидом.

https://habr.com/ru/companies/flant/articles/898190/

#запросы #лимиты #threads #потоки #троттлинг #троттлинг_в_kubernetes #поды #узлы #ноды #cpu

[Перевод] Глубокое погружение в запросы, лимиты и специфику использования CPU в Kubernetes

Джон Такер помогает разобраться с ключевыми аспектами управления ресурсами CPU в Kubernetes. Он объясняет разницу между запросами и лимитами, показывает их влияние на производительность приложений и делится практическими советами по настройке контейнеров. Если хотите улучшить работу кластеров, эта статья станет вашим гидом.

https://habr.com/ru/companies/flant/articles/898190/

#запросы #лимиты #threads #потоки #троттлинг #троттлинг_в_kubernetes #поды #узлы #ноды #cpu

HTTP-запросы: структура, методы, строка статуса и коды состояния

HTTP-запросы: структура, методы, строка статуса и коды состояния Цель: написать небольшую статью, максимально понятным языком, которая дает представление о протоколе http и объясняет структуру http запросов и ответов сервера. В этой статье мы рассмотрим структуру HTTP-запросов, методы, которые используются для выполнения различных операций, статусную строку и коды состояния, которые помогают понять, успешно ли был выполнен запрос. Заголовок: HTTP-запроса: Структура, методы, статусная строка и коды состояния Введение и термины В этой статье мы рассмотрим основные аспекты HTTP-запросов, их структуру, методы и коды состояния. Мы также объясним, что такое строка статуса в ответе сервера. HTTP (HyperText Transfer Protocol) — это протокол прикладного уровня, который используется для передачи данных между веб-сервером и клиентом. Он является основой работы интернета и обеспечивает обмен информацией между различными устройствами и приложениями. Протокол позволяет пользователям запрашивать ресурсы, такие как веб-страницы, изображения и другие файлы, с сервера на свой компьютер. URI (Uniform Resource Identifier) — это уникальный идентификатор, который используется для обозначения ресурсов в интернете. Это может быть веб-страница, файл, изображение и т. д. URI состоит из нескольких частей: Схема. Определяет тип ресурса и протокол, используемый для доступа к нему. Например, «http» для веб-страниц или «ftp» для файлов на FTP-сервере. Хост. Указывает на сервер, на котором находится ресурс. Путь. Описывает расположение ресурса на сервере. Параметры. Дополнительные данные, которые могут быть переданы вместе с запросом на ресурс. Например, URI для этой страницы может выглядеть так: « https://yandex.ru/q/1302754986/» . Здесь «https» — схема, «yandex.ru» — хост, а «q/1302754986» — путь. /

https://habr.com/ru/articles/865040/

#http #запросы #javascript

Чек-лист для ревью SQL-запросов

Представьте ситуацию: вы получаете на ревью SQL-запрос от коллеги, и от его корректности зависит принятие важного бизнес-решения. Ошибки в запросах могут привести к неверным данным, дополнительным затратам времени на исправление, излишней нагрузки на БД, а в последствии и принятия неверных решений заказчиками. В такие моменты важно иметь под рукой четкий и структурированный план проверки, который позволит убедиться, что запрос выполнен правильно и оптимально. Чек-лист станет вашим инструментом для ревью SQL-запросов. Чек-лист — это систематизированный набор шагов или критериев, который помогает структурировать процесс работы и минимизировать вероятность ошибок. Он особенно полезен в сложных или многозадачных процессах, таких как ревью SQL-запросов, где нужно учитывать множество аспектов — от корректности выполнения до оптимизации и читаемости кода. С таким инструментом вы можете быть уверены, что каждый запрос пройдет тщательную проверку, а качество данных повысится. Для джунов, которые только начинают свой путь в аналитике, чек-лист служит важным ориентиром, который помогает структурировать процесс проверки и не упустить важные детали. Это своего рода дорожная карта, которая обеспечивает последовательность действий и снижает стресс, связанный с возможными ошибками. Джунам часто сложно сразу учесть все нюансы при составлении и ревью SQL-запросов, и чек-лист становится их «спасательным кругом». Однако не стоит думать, что чек-листы полезны только новичкам. Опытные аналитики тоже сталкиваются с проблемами, такими как перегрузка информацией, многозадачность и необходимость оперативного принятия решений. В таких условиях даже самые опытные специалисты могут упустить что-то важное. Чек-лист в этом случае действует как инструмент контроля качества, позволяя убедиться, что каждый аспект запроса проверен. Это помогает поддерживать высокие стандарты работы и экономит время, которое могло бы быть потрачено на исправление ошибок.

https://habr.com/ru/articles/837180/

#sql #checklist #чеклист #ревью #ревью_кода #запросы #запросы_sql #оптимизация_запросов

[Перевод] Сравнение алгоритмов ограничения частоты запросов

▍ Зачем ограничивать частоту? Представьте чат в Twitch со множеством активных пользователей и одним спамером. Без ограничения частоты сообщений единственный спамер может запросто заполнить всю беседу сообщениями. При ограничении частоты у каждого пользователя появляется равная возможность участия. Видео Ограничитель частоты позволяет управлять частотой обрабатываемого вашим сервисом трафика, блокируя запросы, превосходящие заданное пороговое значение за период времени. И это полезно не только для борьбы со спамом в чатах. Например, ограничение частоты отправки формы логина позволяет защититься от брутфорс-атак, оставляя при этом пользователю право на ошибку. Конечные точки API тоже часто ограничивают по частоте запросов, чтобы их ресурсы не монополизировал единственный пользователь. Представьте, что вам нужно, чтобы пользователи могли обращаться к затратной конечной точке не чаще ста раз в минуту. Это можно отслеживать при помощи счётчика, обнуляющегося каждую минуту. Все запросы после сотого в пределах этой минуты будут блокироваться. Это один из простейших алгоритмов ограничения частоты, называющийся fixed window limiter (ограничитель с фиксированным окном) . Это распространённый способ управления трафиком к сервису. Но не всегда всё так просто. Когда начинается и заканчивается каждое одноминутное окно? Если я запущу поток запросов ближе к концу окна, смогу ли превысить лимит? Ёмкость окна восстанавливается по одному запросу за раз, или сразу на всё количество? В этом посте мы рассмотрим три самых популярных алгоритма, чтобы ответить на каждый из этих вопросов.

https://habr.com/ru/companies/ruvds/articles/816243/

#ruvds_переводы #ограничение_доступа #ограничение_трафика #запросы #rate_limiter #rate_limiting

[Перевод] Сравнение алгоритмов ограничения частоты запросов

▍ Зачем ограничивать частоту? Представьте чат в Twitch со множеством активных пользователей и одним спамером. Без ограничения частоты сообщений единственный спамер может запросто заполнить всю беседу сообщениями. При ограничении частоты у каждого пользователя появляется равная возможность участия. Видео Ограничитель частоты позволяет управлять частотой обрабатываемого вашим сервисом трафика, блокируя запросы, превосходящие заданное пороговое значение за период времени. И это полезно не только для борьбы со спамом в чатах. Например, ограничение частоты отправки формы логина позволяет защититься от брутфорс-атак, оставляя при этом пользователю право на ошибку. Конечные точки API тоже часто ограничивают по частоте запросов, чтобы их ресурсы не монополизировал единственный пользователь. Представьте, что вам нужно, чтобы пользователи могли обращаться к затратной конечной точке не чаще ста раз в минуту. Это можно отслеживать при помощи счётчика, обнуляющегося каждую минуту. Все запросы после сотого в пределах этой минуты будут блокироваться. Это один из простейших алгоритмов ограничения частоты, называющийся fixed window limiter (ограничитель с фиксированным окном) . Это распространённый способ управления трафиком к сервису. Но не всегда всё так просто. Когда начинается и заканчивается каждое одноминутное окно? Если я запущу поток запросов ближе к концу окна, смогу ли превысить лимит? Ёмкость окна восстанавливается по одному запросу за раз, или сразу на всё количество? В этом посте мы рассмотрим три самых популярных алгоритма, чтобы ответить на каждый из этих вопросов.

https://habr.com/ru/companies/ruvds/articles/816243/

#ruvds_переводы #ограничение_доступа #ограничение_трафика #запросы #rate_limiter #rate_limiting

[Перевод] Сравнение алгоритмов ограничения частоты запросов

▍ Зачем ограничивать частоту? Представьте чат в Twitch со множеством активных пользователей и одним спамером. Без ограничения частоты сообщений единственный спамер может запросто заполнить всю беседу сообщениями. При ограничении частоты у каждого пользователя появляется равная возможность участия. Видео Ограничитель частоты позволяет управлять частотой обрабатываемого вашим сервисом трафика, блокируя запросы, превосходящие заданное пороговое значение за период времени. И это полезно не только для борьбы со спамом в чатах. Например, ограничение частоты отправки формы логина позволяет защититься от брутфорс-атак, оставляя при этом пользователю право на ошибку. Конечные точки API тоже часто ограничивают по частоте запросов, чтобы их ресурсы не монополизировал единственный пользователь. Представьте, что вам нужно, чтобы пользователи могли обращаться к затратной конечной точке не чаще ста раз в минуту. Это можно отслеживать при помощи счётчика, обнуляющегося каждую минуту. Все запросы после сотого в пределах этой минуты будут блокироваться. Это один из простейших алгоритмов ограничения частоты, называющийся fixed window limiter (ограничитель с фиксированным окном) . Это распространённый способ управления трафиком к сервису. Но не всегда всё так просто. Когда начинается и заканчивается каждое одноминутное окно? Если я запущу поток запросов ближе к концу окна, смогу ли превысить лимит? Ёмкость окна восстанавливается по одному запросу за раз, или сразу на всё количество? В этом посте мы рассмотрим три самых популярных алгоритма, чтобы ответить на каждый из этих вопросов.

https://habr.com/ru/companies/ruvds/articles/816243/

#ruvds_переводы #ограничение_доступа #ограничение_трафика #запросы #rate_limiter #rate_limiting

Поток входящих запросов: когда пора менять процесс обработки – на примере запуска первой линии технической поддержки

Привет, Хабр! Меня зовут Дима, я руковожу отделом информационных технологий бэк-офиса в “Петрович-Тех”. Представьте: пользователи не могут начать работу в системе. Не испытывают сложности через день или неделю, а прямо на старте не имеют возможности начать пользоваться продуктами компании. В таких случаях требуется быстрая помощь, а у нас соответствующий специалист занят другой задачей. Пошёл разбирать один запрос, тот оказался трудозатратным, копится очередь недовольных пользователей с проблемами помельче. Нужно как-то повысить скорость обработки входящих запросов, но как именно? В этой статье расскажу, как мы создавали первую линию технической поддержки – какие шаги мы предприняли и что сработало, а что оказалось пустой тратой ресурсов. Надеюсь, наш опыт будет интересен не только тем, кто непосредственно занимается организацией поддержки, но всем, кого интересуют подходы к обработке входящего потока запросов, на уровне команды, отдела, продукта и компании.

https://habr.com/ru/companies/petrovich-tech/articles/804397/

#поддержка #сервисный_подход #процессы #запросы