#высоконагруженные_системы — Public Fediverse posts

Почему нейросети — это тупик? Новый взгляд на архитектуру искусственного интеллекта

Мы живём во времена высоких технологий, ну, по крайней мере, мы так считаем. Но проблема в том, что эти технологии для большинства это так называемые «черные ящики». Спроси у друга, знает ли он, как устроена микроволновка? Скорее всего нет. И это проблема. Но сейчас не о микроволновках, я хочу сфокусировать ваше внимание на искусственном интеллекте. Я бы назвал это вершиной всех «чёрных ящиков», потому что его влияние в современном мире колоссально. К сожалению, авторы выпустили в мир монстра и до сих пор не поняли, насколько он опасен. Мы разберём механику работы ИИ (а точнее проблемы) и начнём выстраивать новый тип модели искуственного интеллекта с помощью выведенных мной систем: ОСНиУ (онтология согласовательной направленности и удержания) и РОА (рефлексивная онтологическая архитектура, второй порядок).

https://habr.com/ru/articles/1032820/

#иимодель #высоконагруженные_системы #анализ_данных #онтология_цифрового_пространства #устойчивость #развитие

Почему нейросети — это тупик? Новый взгляд на архитектуру искусственного интеллекта

Мы живём во времена высоких технологий, ну, по крайней мере, мы так считаем. Но проблема в том, что эти технологии для большинства это так называемые «черные ящики». Спроси у друга, знает ли он, как устроена микроволновка? Скорее всего нет. И это проблема. Но сейчас не о микроволновках, я хочу сфокусировать ваше внимание на искусственном интеллекте. Я бы назвал это вершиной всех «чёрных ящиков», потому что его влияние в современном мире колоссально. К сожалению, авторы выпустили в мир монстра и до сих пор не поняли, насколько он опасен. Мы разберём механику работы ИИ (а точнее проблемы) и начнём выстраивать новый тип модели искуственного интеллекта с помощью выведенных мной систем: ОСНиУ (онтология согласовательной направленности и удержания) и РОА (рефлексивная онтологическая архитектура, второй порядок).

https://habr.com/ru/articles/1032820/

#иимодель #высоконагруженные_системы #анализ_данных #онтология_цифрового_пространства #устойчивость #развитие

Почему нейросети — это тупик? Новый взгляд на архитектуру искусственного интеллекта

Мы живём во времена высоких технологий, ну, по крайней мере, мы так считаем. Но проблема в том, что эти технологии для большинства это так называемые «черные ящики». Спроси у друга, знает ли он, как устроена микроволновка? Скорее всего нет. И это проблема. Но сейчас не о микроволновках, я хочу сфокусировать ваше внимание на искусственном интеллекте. Я бы назвал это вершиной всех «чёрных ящиков», потому что его влияние в современном мире колоссально. К сожалению, авторы выпустили в мир монстра и до сих пор не поняли, насколько он опасен. Мы разберём механику работы ИИ (а точнее проблемы) и начнём выстраивать новый тип модели искуственного интеллекта с помощью выведенных мной систем: ОСНиУ (онтология согласовательной направленности и удержания) и РОА (рефлексивная онтологическая архитектура, второй порядок).

https://habr.com/ru/articles/1032820/

#иимодель #высоконагруженные_системы #анализ_данных #онтология_цифрового_пространства #устойчивость #развитие

Почему нейросети — это тупик? Новый взгляд на архитектуру искусственного интеллекта

Мы живём во времена высоких технологий, ну, по крайней мере, мы так считаем. Но проблема в том, что эти технологии для большинства это так называемые «черные ящики». Спроси у друга, знает ли он, как устроена микроволновка? Скорее всего нет. И это проблема. Но сейчас не о микроволновках, я хочу сфокусировать ваше внимание на искусственном интеллекте. Я бы назвал это вершиной всех «чёрных ящиков», потому что его влияние в современном мире колоссально. К сожалению, авторы выпустили в мир монстра и до сих пор не поняли, насколько он опасен. Мы разберём механику работы ИИ (а точнее проблемы) и начнём выстраивать новый тип модели искуственного интеллекта с помощью выведенных мной систем: ОСНиУ (онтология согласовательной направленности и удержания) и РОА (рефлексивная онтологическая архитектура, второй порядок).

https://habr.com/ru/articles/1032820/

#иимодель #высоконагруженные_системы #анализ_данных #онтология_цифрового_пространства #устойчивость #развитие

Rust: зачем он появился, что умеет и почему компании переписывают на него части своих систем

Эта статья — для тех, кто только присматривается к Rust или слышал о нем лишь обрывки восторженных или невосторженных отзывов. Если вы не до конца понимаете, зачем миру понадобился еще один системный язык, какие «боли» C++ он лечит и где реально используется сегодня, — здесь вы найдете ответы на эти вопросы. Мы постарались структурированно представить информацию, чтобы у вас сложилась полная картина: что это за язык, зачем его учить и с чего начать освоение. Сразу оговоримся: если «The Book» давно стала вашей настольной книгой, вы уже собаку съели на управлении памятью и знаете все о владении и заимствовании, эта статья вряд ли вас удивит. Остальным же — добро пожаловать. В апреле 2026 года произошло сразу два события, заставивших вновь говорить о Rust. 16 апреля вышел очередной стабильный релиз — Rust 1.95.0. А вскоре после этого Илон Маск заявил, что новый мессенджер XChat построен на Rust и «whole new architecture». В этой статье мы попробуем понять, почему для новых систем, где важны скорость, безопасность и надежность, все чаще выбирают Rust?

https://habr.com/ru/articles/1032714/

#rust #java #go #c++ #webassembly #высоконагруженные_системы #надежность #безопасность

Rust: зачем он появился, что умеет и почему компании переписывают на него части своих систем

Эта статья — для тех, кто только присматривается к Rust или слышал о нем лишь обрывки восторженных или невосторженных отзывов. Если вы не до конца понимаете, зачем миру понадобился еще один системный язык, какие «боли» C++ он лечит и где реально используется сегодня, — здесь вы найдете ответы на эти вопросы. Мы постарались структурированно представить информацию, чтобы у вас сложилась полная картина: что это за язык, зачем его учить и с чего начать освоение. Сразу оговоримся: если «The Book» давно стала вашей настольной книгой, вы уже собаку съели на управлении памятью и знаете все о владении и заимствовании, эта статья вряд ли вас удивит. Остальным же — добро пожаловать. В апреле 2026 года произошло сразу два события, заставивших вновь говорить о Rust. 16 апреля вышел очередной стабильный релиз — Rust 1.95.0. А вскоре после этого Илон Маск заявил, что новый мессенджер XChat построен на Rust и «whole new architecture». В этой статье мы попробуем понять, почему для новых систем, где важны скорость, безопасность и надежность, все чаще выбирают Rust?

https://habr.com/ru/articles/1032714/

#rust #java #go #c++ #webassembly #высоконагруженные_системы #надежность #безопасность

Rust: зачем он появился, что умеет и почему компании переписывают на него части своих систем

Эта статья — для тех, кто только присматривается к Rust или слышал о нем лишь обрывки восторженных или невосторженных отзывов. Если вы не до конца понимаете, зачем миру понадобился еще один системный язык, какие «боли» C++ он лечит и где реально используется сегодня, — здесь вы найдете ответы на эти вопросы. Мы постарались структурированно представить информацию, чтобы у вас сложилась полная картина: что это за язык, зачем его учить и с чего начать освоение. Сразу оговоримся: если «The Book» давно стала вашей настольной книгой, вы уже собаку съели на управлении памятью и знаете все о владении и заимствовании, эта статья вряд ли вас удивит. Остальным же — добро пожаловать. В апреле 2026 года произошло сразу два события, заставивших вновь говорить о Rust. 16 апреля вышел очередной стабильный релиз — Rust 1.95.0. А вскоре после этого Илон Маск заявил, что новый мессенджер XChat построен на Rust и «whole new architecture». В этой статье мы попробуем понять, почему для новых систем, где важны скорость, безопасность и надежность, все чаще выбирают Rust?

https://habr.com/ru/articles/1032714/

#rust #java #go #c++ #webassembly #высоконагруженные_системы #надежность #безопасность

Rust: зачем он появился, что умеет и почему компании переписывают на него части своих систем

Эта статья — для тех, кто только присматривается к Rust или слышал о нем лишь обрывки восторженных или невосторженных отзывов. Если вы не до конца понимаете, зачем миру понадобился еще один системный язык, какие «боли» C++ он лечит и где реально используется сегодня, — здесь вы найдете ответы на эти вопросы. Мы постарались структурированно представить информацию, чтобы у вас сложилась полная картина: что это за язык, зачем его учить и с чего начать освоение. Сразу оговоримся: если «The Book» давно стала вашей настольной книгой, вы уже собаку съели на управлении памятью и знаете все о владении и заимствовании, эта статья вряд ли вас удивит. Остальным же — добро пожаловать. В апреле 2026 года произошло сразу два события, заставивших вновь говорить о Rust. 16 апреля вышел очередной стабильный релиз — Rust 1.95.0. А вскоре после этого Илон Маск заявил, что новый мессенджер XChat построен на Rust и «whole new architecture». В этой статье мы попробуем понять, почему для новых систем, где важны скорость, безопасность и надежность, все чаще выбирают Rust?

https://habr.com/ru/articles/1032714/

#rust #java #go #c++ #webassembly #высоконагруженные_системы #надежность #безопасность

Почему NVMe не всегда ускоряет сайт: смотрим на latency, p95/p99 и профиль нагрузки

У дисковой подсистемы слишком хорошая репутация в тарифных таблицах и не самая однозначная в инженерных обсуждениях. В первом случае нам продают гигабайты в секунду, во втором часто говорят, что для веба диск почти не важен. Я работаю контент-маркетологом в Scalehost и по работе регулярно разбираю темы, связанные с производительностью веб-проектов. Вопрос “нужен ли сайту NVMe или это просто маркетинговая галочка” возникает так часто, что мне захотелось собрать его в один технически внятный разбор.

https://habr.com/ru/articles/1031330/

#nvme #sata_ssd #latency #p99 #p95 #ttfb #fio #высоконагруженные_системы #серверная_оптимизация

Почему NVMe не всегда ускоряет сайт: смотрим на latency, p95/p99 и профиль нагрузки

У дисковой подсистемы слишком хорошая репутация в тарифных таблицах и не самая однозначная в инженерных обсуждениях. В первом случае нам продают гигабайты в секунду, во втором часто говорят, что для веба диск почти не важен. Я работаю контент-маркетологом в Scalehost и по работе регулярно разбираю темы, связанные с производительностью веб-проектов. Вопрос “нужен ли сайту NVMe или это просто маркетинговая галочка” возникает так часто, что мне захотелось собрать его в один технически внятный разбор.

https://habr.com/ru/articles/1031330/

#nvme #sata_ssd #latency #p99 #p95 #ttfb #fio #высоконагруженные_системы #серверная_оптимизация

Почему NVMe не всегда ускоряет сайт: смотрим на latency, p95/p99 и профиль нагрузки

У дисковой подсистемы слишком хорошая репутация в тарифных таблицах и не самая однозначная в инженерных обсуждениях. В первом случае нам продают гигабайты в секунду, во втором часто говорят, что для веба диск почти не важен. Я работаю контент-маркетологом в Scalehost и по работе регулярно разбираю темы, связанные с производительностью веб-проектов. Вопрос “нужен ли сайту NVMe или это просто маркетинговая галочка” возникает так часто, что мне захотелось собрать его в один технически внятный разбор.

https://habr.com/ru/articles/1031330/

#nvme #sata_ssd #latency #p99 #p95 #ttfb #fio #высоконагруженные_системы #серверная_оптимизация

Почему NVMe не всегда ускоряет сайт: смотрим на latency, p95/p99 и профиль нагрузки

У дисковой подсистемы слишком хорошая репутация в тарифных таблицах и не самая однозначная в инженерных обсуждениях. В первом случае нам продают гигабайты в секунду, во втором часто говорят, что для веба диск почти не важен. Я работаю контент-маркетологом в Scalehost и по работе регулярно разбираю темы, связанные с производительностью веб-проектов. Вопрос “нужен ли сайту NVMe или это просто маркетинговая галочка” возникает так часто, что мне захотелось собрать его в один технически внятный разбор.

https://habr.com/ru/articles/1031330/

#nvme #sata_ssd #latency #p99 #p95 #ttfb #fio #высоконагруженные_системы #серверная_оптимизация

Scene not Graph

Scene not Graph. Место для запятой выбирайте сами. Scene Graph как концепция появился в академической и промышленной среде, где компьютерная графика использовалась для CAD-систем, научной визуализации и инженерного проектирования, а потом уже пришел в игры. Задачи отрисовки мира и его объектов в CAD были совсем другие и нужно было описывать, например, сложные сборки из деталей, с шестерней в редукторе, редукторе в двигателе, двигателе в машине, и такая модель отражала физическую реальность, которая играм была нужна с приставкой "не". Причины, по которым Scene Graph пришел и остается в играх довольно банальные, этой концепции учат в университете, и многие кто пришел делать игры, естественно знакомились с ней раньше других. На курсе компьютерной графики ИТМО эту модель давали уже на втором месяце и объясняли её полгода, а остальные пять или шесть техник давали всего месяц и в конце года. Но проблема была в том, что в CAD иерархия объектов это буквальное описание устройства изделия, и перенос этой модели в игры в целом и в игровую графику в частности был концептуальной ошибкой с самого начала. Поняли это достаточно поздно, чтобы эта модель успела поселиться в мозгах целого поколения, выпуск OpenGL в 1992 году с принципиально другой моделью (immediate mode) стал первым сигналом что играм надо двигаться в другую сторону, но инерция Scene Graph в движковой архитектуре сохраняется до сих пор.

https://habr.com/ru/articles/1029176/

#программирование #разработка_игр #игры #высоконагруженные_системы

Сравнительный обзор механизмов polling в Kafka и Pub/Sub в RabbitMQ: особенности и области применения

Друзья, привет! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своих проектах и архитектурах мы широко применяем open-source-решения, включая брокеры сообщений, такие как Kafka и RabbitMQ. Совсем недавно я выступил на конференции HighLoad++ Genesis 2025: рассказал про анатомию каждого из этих брокеров, сравнил их по набору критериев и оценил результаты их нагрузочного тестирования. А теперь решил выпустить этот материал в виде статьи в блоге, чтобы читатели Хабра тоже смогли изучить нюансы и понять, на какие задачи заточен каждый из брокеров. Итак, поехали! О брокере Apache Kafka я очень подробно рассказал в своей предыдущей статье . Повторяться и снова разбирать его сегодня я не буду — вы можете перейти по ссылке выше и ознакомиться с материалом, а затем вернуться сюда.

https://habr.com/ru/articles/989590/

#kafka #rabbitmq #messagebroker #highload #highload++ #high_performance #архитектура #высоконагруженные_системы

«Мы падаем, а клиенты не замечают» или подходы к раздаче редко изменяемых данных

Всем привет! Меня зовут Кирилл Грищук, я Tech Lead в команде Инфомодели в Авито . Мы развиваем платформу объявлений и их характеристики. В предыдущей статье я рассказал , как мы строим отказоустойчивые системы при работе с многомиллионным трафиком. В этой статье рассказываю, почему, даже когда всё падает, никто этого не замечает. Статья будет полезна всем, кто хочет погрузиться в проблему раздачи и обработки редко изменяемых данных.

https://habr.com/ru/companies/avito/articles/981608/

#avito #9999 #highload #высокая_нагрузка #высоконагруженные_системы #backend #sli #отказоустойчивые_системы #отказоустойчивые_решения #редко_изменяемые_данные

Как обрабатывать 5 млн изменяющихся форм в минуту с SLI 99.99%

Всем привет! Меня зовут Кирилл Грищук , я Tech Lead в команде Инфомодели в Авито . Мы занимаемся тем, что обрабатываем формы от пользователей: от 5 млн до 15 млн форм в минуту, а это более 150 тысяч в секунду. В этой статье на примере Авито я рассказываю, зачем мы стремимся к SLI 99.99%. Внутри — обзор и сравнение решений по доставке неизменных данных, учитывая специфику нашего сервиса. Показываю на примере форм, какие интересные доработки мы придумали, чтобы достичь этих четырёх девяток, и какие ошибки совершали по пути. Статья будет полезна всем, кто хочет погрузиться в проблему раздачи и обработки редко изменяемых данных.

https://habr.com/ru/companies/avito/articles/980696/

#avito #sli #highload #высокая_нагрузка #высоконагруженные_системы #запросы #sql #backend

Искусственный интеллект и «стены памяти»: начало Software-Defined Memory?

С 1947 года, когда появилась первая память с произвольным доступом — трубка Уильямса, — базовый принцип хранения данных в оперативной памяти фундаментально почти не изменился. За это время процессоры стали на порядки быстрее, но по-прежнему значительную часть времени они тратят на ожидание данных. Этот разрыв известен как «стена памяти» (Memory Wall), и именно он всё сильнее влияет на экономику современной инфраструктуры. Достаточно посмотреть, какую долю в стоимости сервера сегодня занимает RAM. Мы покупаем терабайты памяти, но существенная её часть нередко остаётся «холодной»: ресурсы зарезервированы, потребляют энергию и стоят дорого, но используются далеко не полностью. В эпоху дефицита памяти, in-memory-приложений, искусственного интеллекта и других высоконагруженных систем такая неэффективность обходится слишком дорого. А что, если эффективный объём доступной памяти можно заметно увеличить за считаные минуты — без замены оборудования? В этой статье я коротко пройду по истории RAM, объясню, почему проблема Memory Wall стала особенно острой именно сейчас, и покажу, к какой новой вехе может привести подход, который условно можно назвать Software-Defined Memory. Разберем, как технологии MEXT используют AI для оптимизации инфраструктуры под AI- и data-intensive-нагрузки. Спойлер: иногда, чтобы «увеличить» память, не нужно покупать новую — достаточно радикально лучше использовать ту, что уже установлена.

https://habr.com/ru/articles/1014104/

#Стена_памяти_Memory_Wall #Software_defined_memory #MEXT #зомбипамять #оперативная_память #linux #виртуализация_памяти #высоконагруженные_системы #оптимизация_памяти #artificial_intelligence

Искусственный интеллект и «стены памяти»: начало Software-Defined Memory?

С 1947 года, когда появилась первая память с произвольным доступом — трубка Уильямса, — базовый принцип хранения данных в оперативной памяти фундаментально почти не изменился. За это время процессоры стали на порядки быстрее, но по-прежнему значительную часть времени они тратят на ожидание данных. Этот разрыв известен как «стена памяти» (Memory Wall), и именно он всё сильнее влияет на экономику современной инфраструктуры. Достаточно посмотреть, какую долю в стоимости сервера сегодня занимает RAM. Мы покупаем терабайты памяти, но существенная её часть нередко остаётся «холодной»: ресурсы зарезервированы, потребляют энергию и стоят дорого, но используются далеко не полностью. В эпоху дефицита памяти, in-memory-приложений, искусственного интеллекта и других высоконагруженных систем такая неэффективность обходится слишком дорого. А что, если эффективный объём доступной памяти можно заметно увеличить за считаные минуты — без замены оборудования? В этой статье я коротко пройду по истории RAM, объясню, почему проблема Memory Wall стала особенно острой именно сейчас, и покажу, к какой новой вехе может привести подход, который условно можно назвать Software-Defined Memory. Разберем, как технологии MEXT используют AI для оптимизации инфраструктуры под AI- и data-intensive-нагрузки. Спойлер: иногда, чтобы «увеличить» память, не нужно покупать новую — достаточно радикально лучше использовать ту, что уже установлена.

https://habr.com/ru/articles/1014104/

#Стена_памяти_Memory_Wall #Software_defined_memory #MEXT #зомбипамять #оперативная_память #linux #виртуализация_памяти #высоконагруженные_системы #оптимизация_памяти #artificial_intelligence

Искусственный интеллект и «стены памяти»: начало Software-Defined Memory?

С 1947 года, когда появилась первая память с произвольным доступом — трубка Уильямса, — базовый принцип хранения данных в оперативной памяти фундаментально почти не изменился. За это время процессоры стали на порядки быстрее, но по-прежнему значительную часть времени они тратят на ожидание данных. Этот разрыв известен как «стена памяти» (Memory Wall), и именно он всё сильнее влияет на экономику современной инфраструктуры. Достаточно посмотреть, какую долю в стоимости сервера сегодня занимает RAM. Мы покупаем терабайты памяти, но существенная её часть нередко остаётся «холодной»: ресурсы зарезервированы, потребляют энергию и стоят дорого, но используются далеко не полностью. В эпоху дефицита памяти, in-memory-приложений, искусственного интеллекта и других высоконагруженных систем такая неэффективность обходится слишком дорого. А что, если эффективный объём доступной памяти можно заметно увеличить за считаные минуты — без замены оборудования? В этой статье я коротко пройду по истории RAM, объясню, почему проблема Memory Wall стала особенно острой именно сейчас, и покажу, к какой новой вехе может привести подход, который условно можно назвать Software-Defined Memory. Разберем, как технологии MEXT используют AI для оптимизации инфраструктуры под AI- и data-intensive-нагрузки. Спойлер: иногда, чтобы «увеличить» память, не нужно покупать новую — достаточно радикально лучше использовать ту, что уже установлена.

https://habr.com/ru/articles/1014104/

#Стена_памяти_Memory_Wall #Software_defined_memory #MEXT #зомбипамять #оперативная_память #linux #виртуализация_памяти #высоконагруженные_системы #оптимизация_памяти #artificial_intelligence

Искусственный интеллект и «стены памяти»: начало Software-Defined Memory?

С 1947 года, когда появилась первая память с произвольным доступом — трубка Уильямса, — базовый принцип хранения данных в оперативной памяти фундаментально почти не изменился. За это время процессоры стали на порядки быстрее, но по-прежнему значительную часть времени они тратят на ожидание данных. Этот разрыв известен как «стена памяти» (Memory Wall), и именно он всё сильнее влияет на экономику современной инфраструктуры. Достаточно посмотреть, какую долю в стоимости сервера сегодня занимает RAM. Мы покупаем терабайты памяти, но существенная её часть нередко остаётся «холодной»: ресурсы зарезервированы, потребляют энергию и стоят дорого, но используются далеко не полностью. В эпоху дефицита памяти, in-memory-приложений, искусственного интеллекта и других высоконагруженных систем такая неэффективность обходится слишком дорого. А что, если эффективный объём доступной памяти можно заметно увеличить за считаные минуты — без замены оборудования? В этой статье я коротко пройду по истории RAM, объясню, почему проблема Memory Wall стала особенно острой именно сейчас, и покажу, к какой новой вехе может привести подход, который условно можно назвать Software-Defined Memory. Разберем, как технологии MEXT используют AI для оптимизации инфраструктуры под AI- и data-intensive-нагрузки. Спойлер: иногда, чтобы «увеличить» память, не нужно покупать новую — достаточно радикально лучше использовать ту, что уже установлена.

https://habr.com/ru/articles/1014104/

#Стена_памяти_Memory_Wall #Software_defined_memory #MEXT #зомбипамять #оперативная_память #linux #виртуализация_памяти #высоконагруженные_системы #оптимизация_памяти #artificial_intelligence

Микросервис из 15-летнего монолита: приключение на год

Про выделение микросервисов из монолита рассказывали много, но у каждого свой путь – в статье расскажем про наш. От простейшего выделения сервиса в модуль в начале до решения проблем разрыва транзакций, SQL Join-запросов, задержек асинхронного API и непосредственно выделения нового сервиса. Использование event-driven архитектуры, редизайна модели данных и интеграционного слоя как основных подходов в процессе выделения.

https://habr.com/ru/companies/hh/articles/956102/

#микросервисы #eventdriven #java #highload++ #высоконагруженные_системы #архитектура_системы #распределенные_транзакции #hhru #backend

Геораспределенное резервирование Postgres при помощи Debezium

Всем привет, меня зовут Николай Голубев, я — техлид из компании HFLabs. Эта статья написана по мотивам моего выступления на конференции

https://habr.com/ru/companies/oleg-bunin/articles/1001862/

#highload #PostgreSQL #базы_данных #высоконагруженные_системы #Debezium #хранение_данных #Kafka #релоцирование

Про избыточность WAL в Postgres

WAL — один из ключевых компонентов внутреннего устройства Postgres. Файлы WAL для истории бэкапов ужимаются в несколько раз, что говорит об избыточности. Изменяя физические параметры кластера, можно существенно повысить и эффективность локальной записи, и пропускную способность репликации, а можно создать неприятные инциденты. Привет, Хабр! Я — Андрей Бородин, работаю над Postgres и Apache Cloudberry для Yandex Cloud и вообще. Поддерживаю WAL-G, SPQR, Odyssey и всякое такое. В этой статье на основе доклада для конференции

https://habr.com/ru/companies/oleg-bunin/articles/995820/

#postgres #высоконагруженные_системы #highload #wal #база_данных #PostgreSQL

Платформа для 50000 приложений: как собрать инфраструктуру и выжить

Привет, Хабр! Я — Сева, разработчик в Yandex Infrastructure. Уже больше десяти лет я занимаюсь разработкой внутреннего облака Яндекса, которое охватывает около 150 000 физических хостов и поддерживает все сервисы платформы. Сегодня я представлю вам практический кейс по обеспечению очень высокой надёжности комплексной системы на примере собственного облака Яндекса. Принципы обеспечения надёжности будут продемонстрированы на всех уровнях архитектуры системы, чтобы в итоге сложилась картина, как достичь наивысшей отказоустойчивости. Статья написана по мотивам моего доклада для HighLoad++ .

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/1004584/

#инфраструктура #Отказоустойчивость #высоконагруженные_системы #highload #распределенные_системы

L4-балансировка и защита от DDoS-атак

В высоконагруженных системах балансировка трафика быстро перестаёт быть просто задачей распределения запросов. Сегодня на реальном опыте разбираем путь от BGP Anycast к L4-балансировке и XDP: зачем она понадобилась, как помогла справиться с ограничениями Anycast, повысить отказоустойчивость и производительность, а также почему балансировщик стал точкой входа для защиты от L4-DDoS. Статья будет полезна инженерам, которые проектируют и развивают инфраструктуру под высокий трафик и пиковые нагрузки.

https://habr.com/ru/companies/oleg-bunin/articles/996310/

#ddosатака #DDoS #безопасность #высоконагруженные_системы #highload #backend #SRE #L4

Как добиться 5+ Гбит/с от виртуального NGFW

Всем привет! Долгое время считалось, что виртуальные продукты не способны сравниться по производительности с аппаратными аналогами. Особенно остро эта проблема проявляется в сегменте NGFW, где высокий трафик и глубокий анализ требуют значительных ресурсов. Но так ли это на самом деле? Действительно ли виртуальный межсетевой экран не способен обеспечить производительность в 5 Гбит/с и более, необходимую для современных корпоративных сетей и высоконагруженных систем? Данная статья призвана ответить на этот вопрос. На примере PT NGFW мы не только продемонстрируем потенциал виртуальных межсетевых экранов, но и дадим практические рекомендации по настройке виртуальной инфраструктуры, а также подсветим важные нюансы, которые стоит учесть при использовании NGFW в виртуальной среде.

https://habr.com/ru/companies/pt/articles/929910/

#ngfw #next_generation_firewall #межсетевые_экраны #межсетевой_экран_нового_поколения #виртуальная_инфраструктура #виртуальная_машина #гипервизор #нагрузочное_тестирование #сетевой_трафик #высоконагруженные_системы

Как сэкономить гигабайты памяти в Istio Sidecars

В Istio всё начинается с маленькой «удобной» идеи — прокси рядом с каждым подом. А заканчивается тем, что XDS разносит по кластеру тонны Listener’ов, Route’ов и Cluster’ов, дублируя конфиги для сервисов, которые вы даже не трогаете. Память тает, GC злится, а апдейты сервисов превращаются в шторм. В статье пойдет речь о том, как мы в проде с 20K+ подов «урезали аппетит» сайдкаров на гигабайты. Обсудим, где работает жёсткое ограничение видимости, когда спасает Ambient Mesh, зачем нужен ленивый XDS и почему «волшебной кнопки» нет — но есть комбинации, дающие двузначную экономию. Эта статья написана по мотивам моего доклада для конференции

https://habr.com/ru/companies/oleg-bunin/articles/968652/

#конференции #platform_engineering #highload #highload++ #высоконагруженные_системы #service_mesh #istio #kubernetes

[Перевод] Шаблоны проектирования поглощения данных-01: пакетная обработка, потоковая передача и CDC — практическое руководство

Привет, Хаброжители! От выбора подхода к поглощению данных может зависеть успех или провал работы конвейера данных Получив опыт создания конвейеров данных, которые ежедневно обрабатывают сотни миллионов записей, я понял, что именно на уровне поглощения данных решается успех или провал большинства проектов в области инженерии данных. Если здесь допустить ошибку, то придется месяцами бороться с проблемами, возникающими c производительностью, качеством данных и недовольством заинтересованных сторон. Если все сделать правильно, то ваш конвейер станет надежной основой для принятия важных бизнес-решений.

https://habr.com/ru/companies/piter/articles/996148/

#анализ_и_проектирование_систем #высоконагруженные_системы #big_data

Когда Seq Scan не миновать: Data Skipping в новом колоночном движке Tarantool

Привет, Хабр! Меня зовут Андрей Саранчин, и я разработчик СУБД Tarantool в VK Tech. Вот уже полтора года мы строим MemCS — новый колоночный движок Tarantool для HTAP. И вот парадокс: даже с индексами иногда не уйти от сплошного прохода таблицы. Поделюсь, почему мы не смогли миновать Sequential Scan и как мы смягчили эту проблему с помощью Data Skipping. Эта статья написана по мотивам доклада для

https://habr.com/ru/companies/vk/articles/966082/

#Tarantool #архитектура #отказоустойчивость #data_skipping #колонки #высоконагруженные_системы #highload #highload++ #data #vk_tech

Развёртывание боевого кластера Cassandra. Часть 4

Это продолжение цикла, рассказывающего о практике развёртывания небольшого, но вполне производственного кластера Cassandra. В первой , второй и третьей частях мы продвинулись вперед вот по такому плану: 1. Анализ рабочей нагрузки и требований 2. Разработка схемы данных 3. Настройка хостовых машин 4. Настройка конфигурации Cassandra 5. Настройка топологии кластера = ВЫ НАХОДИТЕСЬ ЗДЕСЬ = 6. Подключение Prometheus Cassandra Exporter 7. Подключение Prometheus Node Exporter 8. Вывод всех метрик в Grafana 9. Проведение нагрузочного тестирования 10. Дополнительный тюнинг по результатам теста В этой части мы возьмём простой советский...

https://habr.com/ru/articles/957238/

#cassandra #базы_данных #инфраструктура #highload #развертывание_кластера #деплой #высоконагруженные_системы

Next Best Action: от задолженности к прибыли через персонализацию коммуникаций

Привет, Хабр! На связи — Ольга Кравченко, техдиректор по разработке моделей Газпромбанк.Тех. Сегодня я поделюсь кейсом, как наша команда создала инструмент, позволяющий нам продвигаться от просроченной задолженности к прибыли через персонализацию коммуникаций. Эта статья основана на моём выступлении на

https://habr.com/ru/companies/oleg-bunin/articles/1014750/

#Data_Engineering #высоконагруженные_системы #искусственный_интеллект #Next_Best_Action #ml #данные #большие_данные

Мифы про REST API. Часть 1

Как говорится, в споре рождается истина. И этот случай не стал исключением. Часто проектирую запросы, консультирую аналитиков, сама консультируюсь у разработчиков и заметила, что иногда мы по-разному понимаем некоторые аспекты REST. Когда я стала погружаться в тему, то материала набралось столько, что одной статьей не обойтись. Понимание мифов позволяет делать более осознанный выбор при проектировании. С вами Дарья Борисова, системный аналитик из ПСБ, и я начинаю цикл статей «Мифы о REST».

https://habr.com/ru/companies/psb/articles/976722/

#проектирование_систем #api #rest #rest_api #restful #высоконагруженные_системы #json #xml

Шпаргалка по работе с PostgreSQL для бэкенд-разработчиков

Лайфхаки для миграций, оптимизации и избегания граблей Реальные лайфхаки и проверенные практики по миграциям, оптимизации запросов, управлению индексами и обратной совместимости кода. Узнайте, как: - Не сломать прод при миграции. - Избежать N+1 и других проблем SQL-запросов. - Планировать откаты и работать безопасно на высоконагруженных БД.

https://habr.com/ru/companies/beget/articles/920772/

#postgresql_naming_conventions #postgresql_performance #высоконагруженные_системы #миграции_базы_данных #лучшие_практики_orm_или_sql

Повышение эффективности аналитических баз данных: кейс «Комус» и Arenadata

Хабр, привет! Современные высоконагруженные системы требуют точной настройки и регулярного мониторинга, чтобы обеспечить стабильную производительность в условиях постоянно растущих объёмов данных. Когда речь идёт о крупной аналитической базе данных, развёрнутой в облачной среде, оптимизация её работы становится критически важной задачей. В прошлой статье мы уже рассказывали о типичных ошибках при работе с Arenadata DB (ADB), о том, как их избежать и значительно повысить производительность кластера. Сегодня же поделимся реальным опытом на примере компании «Комус» — лидера в области B2B-ритейла, которая обратилась к Arenadata за проведением комплексного аудита своего кластера ADB. В этой статье мы детально разобрали, как с помощью анализа и оптимизации удалось выявить точки роста, подготовить кластер к текущим и будущим нагрузкам и предложить план улучшений. Мы рассмотрим технические детали аудита, проблемы, с которыми пришлось столкнуться, и эффективные практики, позволившие повысить производительность аналитической базы данных. Что там с нагрузкой на кластер?

https://habr.com/ru/companies/arenadata/articles/887792/

#arenadata_db #оптимизация_базы_данных #etl #высоконагруженные_системы #highload #партиционирование #аудит #data_analysis #базы_данных #аналитические_базы_данных

Кастомные memory pools в Golang

Привет, Хабр! В этой статье рассмотрим, почему стандартный sync.Pool в Go не всегда спасает, когда речь идёт о высоконагруженных сервисах, и как кастомные memory pools позволяют взять под контроль работу с памятью.

https://habr.com/ru/companies/otus/articles/888554/

#otus #memory_pools #работа_с_памятью #высоконагруженные_системы

Кастомные memory pools в Golang

Привет, Хабр! В этой статье рассмотрим, почему стандартный sync.Pool в Go не всегда спасает, когда речь идёт о высоконагруженных сервисах, и как кастомные memory pools позволяют взять под контроль работу с памятью.

https://habr.com/ru/companies/otus/articles/888554/

#otus #memory_pools #работа_с_памятью #высоконагруженные_системы

Кастомные memory pools в Golang

Привет, Хабр! В этой статье рассмотрим, почему стандартный sync.Pool в Go не всегда спасает, когда речь идёт о высоконагруженных сервисах, и как кастомные memory pools позволяют взять под контроль работу с памятью.

https://habr.com/ru/companies/otus/articles/888554/

#otus #memory_pools #работа_с_памятью #высоконагруженные_системы

Кастомные memory pools в Golang

Привет, Хабр! В этой статье рассмотрим, почему стандартный sync.Pool в Go не всегда спасает, когда речь идёт о высоконагруженных сервисах, и как кастомные memory pools позволяют взять под контроль работу с памятью.

https://habr.com/ru/companies/otus/articles/888554/

#otus #memory_pools #работа_с_памятью #высоконагруженные_системы

Высоконагруженный reverse-proxy на YARP

Привет, Хабр! Сегодня поговорим о том, как на практике построить высоконагруженный обратный прокси-сервер на основе YARP, отличной библиотеки от Microsoft для .NET. К статье

https://habr.com/ru/companies/otus/articles/960358/

#C# #ASPNET #обратный_прокси #высокая_нагрузка #балансировка_нагрузки #высоконагруженные_системы #YARP #отказоустойчивость

Портируем ML на RISC-V: как не потерять производительность

Современные ML-системы опираются на CPU и ускорители — тензорные или графические. Но их производительность часто ограничена пропускной способностью шины между CPU и GPU: данные приходится постоянно перегонять туда-сюда, и выигрыш от ускорителя нередко тает. Что если есть архитектура, где этого узкого места нет? RISC-V предоставляет гетерогенность принципиально нового уровня, объединяя ключевые компоненты устройства на одном кристалле, что снимает одно из главные ограничений производительности в ML. Но одних процессоров здесь мало — нужна еще экосистема библиотек.

https://habr.com/ru/companies/oleg-bunin/articles/963216/

#riscv #linear_algebra #ml #RVV #optimization #алгоритмы #highload #highload++ #C++ #высоконагруженные_системы

Главные проблемы сайта, которые показывает нагрузочное тестирование
Всем привет! На связи ITSumma.За 15 лет, что мы делаем нагрузочное тестирование, у нас накопился список самых распространенных ошибок, которые совершают, когда строят и отлаживают инфраструктуру. Ну список и список скажете вы, но в этой статье мы хотим поделиться не только самими ошибками, но и инструкциями, как их найти. Так что не будем затягивать предисловие и сразу перейдем к делу.
#devops #системное_администрирование #инфраструктура #высоконагруженные_проекты #высоконагруженные_системы #высоконагруженные_приложения #ecommerce #нагрузочное_тестирование #performance_testing #performance_analysis
https://habr.com/ru/companies/itsumma/articles/774628/

Как сэкономить гигабайты памяти в Istio Sidecars

В Istio всё начинается с маленькой «удобной» идеи — прокси рядом с каждым подом. А заканчивается тем, что XDS разносит по кластеру тонны Listener’ов, Route’ов и Cluster’ов, дублируя конфиги для сервисов, которые вы даже не трогаете. Память тает, GC злится, а апдейты сервисов превращаются в шторм. В статье пойдет речь о том, как мы в проде с 20K+ подов «урезали аппетит» сайдкаров на гигабайты. Обсудим, где работает жёсткое ограничение видимости, когда спасает Ambient Mesh, зачем нужен ленивый XDS и почему «волшебной кнопки» нет — но есть комбинации, дающие двузначную экономию. Эта статья написана по мотивам моего доклада для конференции

https://habr.com/ru/companies/oleg-bunin/articles/968652/

#конференции #platform_engineering #highload #highload++ #высоконагруженные_системы #service_mesh #istio #kubernetes

Как сэкономить гигабайты памяти в Istio Sidecars

В Istio всё начинается с маленькой «удобной» идеи — прокси рядом с каждым подом. А заканчивается тем, что XDS разносит по кластеру тонны Listener’ов, Route’ов и Cluster’ов, дублируя конфиги для сервисов, которые вы даже не трогаете. Память тает, GC злится, а апдейты сервисов превращаются в шторм. В статье пойдет речь о том, как мы в проде с 20K+ подов «урезали аппетит» сайдкаров на гигабайты. Обсудим, где работает жёсткое ограничение видимости, когда спасает Ambient Mesh, зачем нужен ленивый XDS и почему «волшебной кнопки» нет — но есть комбинации, дающие двузначную экономию. Эта статья написана по мотивам моего доклада для конференции

https://habr.com/ru/companies/oleg-bunin/articles/968652/

#конференции #platform_engineering #highload #highload++ #высоконагруженные_системы #service_mesh #istio #kubernetes

Как сэкономить гигабайты памяти в Istio Sidecars

В Istio всё начинается с маленькой «удобной» идеи — прокси рядом с каждым подом. А заканчивается тем, что XDS разносит по кластеру тонны Listener’ов, Route’ов и Cluster’ов, дублируя конфиги для сервисов, которые вы даже не трогаете. Память тает, GC злится, а апдейты сервисов превращаются в шторм. В статье пойдет речь о том, как мы в проде с 20K+ подов «урезали аппетит» сайдкаров на гигабайты. Обсудим, где работает жёсткое ограничение видимости, когда спасает Ambient Mesh, зачем нужен ленивый XDS и почему «волшебной кнопки» нет — но есть комбинации, дающие двузначную экономию. Эта статья написана по мотивам моего доклада для конференции

https://habr.com/ru/companies/oleg-bunin/articles/968652/

#конференции #platform_engineering #highload #highload++ #высоконагруженные_системы #service_mesh #istio #kubernetes

Высоконагруженный reverse-proxy на YARP

Привет, Хабр! Сегодня поговорим о том, как на практике построить высоконагруженный обратный прокси-сервер на основе YARP, отличной библиотеки от Microsoft для .NET. К статье

https://habr.com/ru/companies/otus/articles/960358/

#C# #ASPNET #обратный_прокси #высокая_нагрузка #балансировка_нагрузки #высоконагруженные_системы #YARP #отказоустойчивость

Высоконагруженный reverse-proxy на YARP

Привет, Хабр! Сегодня поговорим о том, как на практике построить высоконагруженный обратный прокси-сервер на основе YARP, отличной библиотеки от Microsoft для .NET. К статье

https://habr.com/ru/companies/otus/articles/960358/

#C# #ASPNET #обратный_прокси #высокая_нагрузка #балансировка_нагрузки #высоконагруженные_системы #YARP #отказоустойчивость

Высоконагруженный reverse-proxy на YARP

Привет, Хабр! Сегодня поговорим о том, как на практике построить высоконагруженный обратный прокси-сервер на основе YARP, отличной библиотеки от Microsoft для .NET. К статье

https://habr.com/ru/companies/otus/articles/960358/

#C# #ASPNET #обратный_прокси #высокая_нагрузка #балансировка_нагрузки #высоконагруженные_системы #YARP #отказоустойчивость

Мы запускали майнинг-пул на десятки тысяч ASIC-ов. Вот что пошло не так (и почему это было гениально)

Запускать в 2025 году свой майнинг-пул? Серьёзно? Все крупные игроки уже поделены, битва за хешрейт давно закончилась. Но наш клиент пришёл не за «очередным пулом». У него был парк в десятки тысяч ASIC-ов, разбросанных по разным уголкам планеты , и конкретная бизнес-задача — не просто майнить, а делать это с максимальной эффективностью и контролем. И он понимал, что типовые решения его не устраивают. Вот тут-то и началось самое интересное.

https://habr.com/ru/articles/950432/

#майнинг_биткойнов #майнинг_пулы #asic #stratum #высоконагруженные_системы #grafana #clickhouse

Запустили векторный поиск в YDB: рассказываем, как он работает

В новой версии YDB теперь доступны две версии векторного поиска — точный и приближённый. Приближённый поиск может работать с миллиардами векторов, если использовать векторный индекс. Такая технология есть у небольшого количества технологических компаний в мире. Новый релиз СУБД Яндекса делает векторный поиск доступным для всех. Статья под катом написана по мотивам моего доклада на конференции HighLoad++, с которым я выступил 23 июня в Питере. В ней я расскажу про векторный поиск, индекс, RAG и о том, как эти технологии применяются в Алисе.

https://habr.com/ru/companies/yandex/articles/926724/

#ydb #базы_данных #поиск #векторный_поиск #llm #машинное_обучение #высоконагруженные_системы #нейросети #работа_с_данными

Почему в космосе (пока) нет дата-центров. Часть вторая: защита, обслуживание и связь

В первой части мы разобрали базовые задачи спутников, энергообеспечение и охлаждение — всё то, без чего невозможно построить орбитальный дата-центр. Но даже если с энергией и теплом удастся справиться, остаются не менее жёсткие барьеры: радиация, обслуживание и связь. Именно они определяют, как долго прослужит «космическое железо» и сможет ли оно вообще обмениваться данными с Землёй. На связи Александр Токарев, CTO группы компаний Voxys. В этой статье — подробнее о главных ограничениях, мешающих запустить дата-центры в космосе.

https://habr.com/ru/companies/oleg-bunin/articles/947132/

#датацентр #космос #связь #высоконагруженные_системы #космонавтика #лазерные_каналы