#анализ_и_проектирование_систем — Public Fediverse posts

[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 3. Траснформеры

Это продолжение цикла статей о масштабировании тренировки и инференса LLM. Предыдущая статья А теперь перейдем к чему-то более практическому, а именно к тому, сколько нужно FLOPs и байт для работы трансформера. Подразумевается, что у вас уже есть представление о том, что такое архитектура трансформера, как работает механизм внимания и т.д. Давайте начнем с векторов x, y и матриц A, B, имеющих вот такие размеры, допустим один элемент занимает при этом один байт.

https://habr.com/ru/articles/1039208/

#ai #ml #gpu #gpu_вычисления #трансформеры #анализ_и_проектирование_систем

Проектирование архитектуры в нотации ArchiMate с использованием ИИ. Часть 2

Всем привет! Меня зовут Владимир Зуев, я руководитель разработки JAVA-практики в компании Axenix. Сегодня я хочу представить новую часть из цикла статей о нотации ArchiMate. В этой части мы продолжим проектирование системы управления беспилотным грузовым автотранспортом для междугородних перевозок. Мы попытаемся получить ответ на главный вопрос – что же мы хотим получить? Для этого подробно разберем требования к системе, составим перечень прецедентов использования, а также сформируем техническое задание. Для решения всех задач будем использовать ИИ.

https://habr.com/ru/companies/axenix/articles/1038916/

#проектирование_систем #архитектура_приложений #archimate #искусственный_интеллект #genai #анализ_и_проектирование_систем #natural_language_processing #беспилотный_автомобиль #ватс

Проектирование архитектуры в нотации ArchiMate с использованием ИИ. Часть 2

Всем привет! Меня зовут Владимир Зуев, я руководитель разработки JAVA-практики в компании Axenix. Сегодня я хочу представить новую часть из цикла статей о нотации ArchiMate. В этой части мы продолжим проектирование системы управления беспилотным грузовым автотранспортом для междугородних перевозок. Мы попытаемся получить ответ на главный вопрос – что же мы хотим получить? Для этого подробно разберем требования к системе, составим перечень прецедентов использования, а также сформируем техническое задание. Для решения всех задач будем использовать ИИ.

https://habr.com/ru/companies/axenix/articles/1038916/

#проектирование_систем #архитектура_приложений #archimate #искусственный_интеллект #genai #анализ_и_проектирование_систем #natural_language_processing #беспилотный_автомобиль #ватс

Проектирование архитектуры в нотации ArchiMate с использованием ИИ. Часть 2

Всем привет! Меня зовут Владимир Зуев, я руководитель разработки JAVA-практики в компании Axenix. Сегодня я хочу представить новую часть из цикла статей о нотации ArchiMate. В этой части мы продолжим проектирование системы управления беспилотным грузовым автотранспортом для междугородних перевозок. Мы попытаемся получить ответ на главный вопрос – что же мы хотим получить? Для этого подробно разберем требования к системе, составим перечень прецедентов использования, а также сформируем техническое задание. Для решения всех задач будем использовать ИИ.

https://habr.com/ru/companies/axenix/articles/1038916/

#проектирование_систем #архитектура_приложений #archimate #искусственный_интеллект #genai #анализ_и_проектирование_систем #natural_language_processing #беспилотный_автомобиль #ватс

Проектирование архитектуры в нотации ArchiMate с использованием ИИ. Часть 2

Всем привет! Меня зовут Владимир Зуев, я руководитель разработки JAVA-практики в компании Axenix. Сегодня я хочу представить новую часть из цикла статей о нотации ArchiMate. В этой части мы продолжим проектирование системы управления беспилотным грузовым автотранспортом для междугородних перевозок. Мы попытаемся получить ответ на главный вопрос – что же мы хотим получить? Для этого подробно разберем требования к системе, составим перечень прецедентов использования, а также сформируем техническое задание. Для решения всех задач будем использовать ИИ.

https://habr.com/ru/companies/axenix/articles/1038916/

#проектирование_систем #архитектура_приложений #archimate #искусственный_интеллект #genai #анализ_и_проектирование_систем #natural_language_processing #беспилотный_автомобиль #ватс

[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 2. Шардинг

Это продолжение цикла статей о масштабировании тренировки и инференса LLM. Предыдущая глава находится по этой ссылке . Итак, с основами разобрались, давайте теперь разбираться с тем, как распихать матрицы по нескольким чипам, перемножить, а затем собрать это все в удобоваримый результат. По-умному это называется шардинг . Для начала давайте определимся, зачем этот шардинг вообще нужен. А нужен он потому что, как я уже писал в предыдущей статье, при работе с действительно большими нейронками матрицы и вектора практически никогда целиком не влезают в память одного GPU/TPU, поэтому их приходится разделять или шардировать. От того, насколько грамотно произведен шардинг, зависит то, насколько эффективно используется наш массив ускорителей, а следовательно и скорость тренировки, эффективность расхода вычислительных ресурсов и т.д. Возьмем для примера матрицу A размера [I, J] и распределим ее на 4 ускорителя:

https://habr.com/ru/articles/1037918/

#ai #ml #gpu #gpu_вычисления #анализ_и_проектирование_систем

Версионирование таблиц репозитория метаданных Sigla Vision

Продолжаем серию публикаций «Адаптивное администрирование Sigla Vision» . В предыдущей статье мы изложили основную концепцию построения объектной модели (ОМ), подробно разобрали сборку данных таблиц и привели код для ее развертывания. В этом материале расскажем, как построить систему версионирования для репозитория метаданных Sigla Vision (БД FineDB). Самой FineDB такая информация недоступна — там в основном данные только о текущем состоянии системы. Версионирование помогает оценить реальное использование таблиц и увидеть динамику объектов. На основе исторических данных у нас построено несколько системных отчетов, которые мы регулярно используем в работе. Описанный подход не привязан к Sigla Vision — он применим к любой аналитической системе, где метаданные хранятся во внешней СУБД с поддержкой триггеров.

https://habr.com/ru/companies/gazprombank/articles/1036472/

#Системное_администрирование #визуализация_данных #sql #анализ_и_проектирование_систем #Business_Intelligence #FineBI #Sigla_Vision #дашборды #бизнесаналитика #PostgreSQL

ИИ разработке нужны не спецификации, а полноценная трассировка требований

Разработка - это инженерная задача! Где-то полгода назад я понял, что меня так смущает в инфополе касательно ИИ-разработки. Все меряются количеством PR, написанных строк кода, ругают качество, безопасность и стандартные ошибки. Но когда на ретро мы обсуждаем, почему спринт получился не таким, как мы хотели, самая частая причина — не то, что что-то сложно технически. Жалобы в основном на то, что нам приходится оценивать задачу исходя из требований, которые не очень четкие; наши архитектурные решения, принятые до этого, не учли чего-то; стейкхолдеры не отвечают так быстро, как хотелось бы; технический долг накапливается — в общем, все, что мы с вами знаем. Но весь мир так увлекся, что сложная когнитивная задача (написание кода) может быть решена машиной, что, как мне кажется, решает не ту проблему. В моем представлении, разработка программного обеспечения или иных программных решений — это инженерная задача. Когда-то давно один из архитекторов сказал мне: чтобы “кодить”, достаточно средне-специального образования. А вот чтобы разрабатывать ПО, нужно много чего уметь и знать; написание кода — это приятный бонус. Положив руку на сердце, я хочу сказать, что ИИ достаточно хорошо решает задачу написания кода. Только вот он решает не ту задачу.

https://habr.com/ru/articles/1036800/

#ИИ #разработка_по #анализ_и_проектирование_систем #управление_проектами #управление_разработкой

[Перевод] Идемпотентность в System Design: полный пример

Идемпотентность в System Design: полный пример Идемпотентность часто упоминается при проектировании систем (system design). Ниже будет простыми словами объяснено, что это такое, далее мы разберём основные детали идемпотентности, часто понимаемые неверно и, наконец, проиллюстрируем её на полном примере. Что такое идемпотентность? Операция является идемпотентной, если при однократном или многократном выполнении она всякий раз даёт один и тот же результат.

https://habr.com/ru/companies/piter/articles/1034544/

#распределенные_системы #python #параллельное_программирование #анализ_и_проектирование_систем

Почему бенчмарки в AI сломались — и что с этим делать в понедельник

Числовая оценка идеальна для закрытых задач. Аморфная нужна для открытых. AI за пятнадцать лет переехал из первого класса во второй — а инструмент оценки остался прежним. В условиях высокого темпа этот разрыв не нейтрален. Команды, которые оптимизируют правильный класс свойств, накапливают то, что конкурент не измеряет — а значит, не строит. Преимущество аккумулируется асимметрично, в категориях, которых ещё нет в сравнительных таблицах. Почему бенчмарки в AI сломались, и что с этим делать в следующий понедельник. Читать полностью

https://habr.com/ru/articles/1034014/

#llm #бенчмарки #оценка_LLM #агентные_системы #aiагенты #закон_гудхарта #метрики_качества #анализ_и_проектирование_систем #критическое_мышление #нейросети

Почему бенчмарки в AI сломались — и что с этим делать в понедельник

Числовая оценка идеальна для закрытых задач. Аморфная нужна для открытых. AI за пятнадцать лет переехал из первого класса во второй — а инструмент оценки остался прежним. В условиях высокого темпа этот разрыв не нейтрален. Команды, которые оптимизируют правильный класс свойств, накапливают то, что конкурент не измеряет — а значит, не строит. Преимущество аккумулируется асимметрично, в категориях, которых ещё нет в сравнительных таблицах. Почему бенчмарки в AI сломались, и что с этим делать в следующий понедельник. Читать полностью

https://habr.com/ru/articles/1034014/

#llm #бенчмарки #оценка_LLM #агентные_системы #aiагенты #закон_гудхарта #метрики_качества #анализ_и_проектирование_систем #критическое_мышление #нейросети

Почему бенчмарки в AI сломались — и что с этим делать в понедельник

Числовая оценка идеальна для закрытых задач. Аморфная нужна для открытых. AI за пятнадцать лет переехал из первого класса во второй — а инструмент оценки остался прежним. В условиях высокого темпа этот разрыв не нейтрален. Команды, которые оптимизируют правильный класс свойств, накапливают то, что конкурент не измеряет — а значит, не строит. Преимущество аккумулируется асимметрично, в категориях, которых ещё нет в сравнительных таблицах. Почему бенчмарки в AI сломались, и что с этим делать в следующий понедельник. Читать полностью

https://habr.com/ru/articles/1034014/

#llm #бенчмарки #оценка_LLM #агентные_системы #aiагенты #закон_гудхарта #метрики_качества #анализ_и_проектирование_систем #критическое_мышление #нейросети

Почему бенчмарки в AI сломались — и что с этим делать в понедельник

Числовая оценка идеальна для закрытых задач. Аморфная нужна для открытых. AI за пятнадцать лет переехал из первого класса во второй — а инструмент оценки остался прежним. В условиях высокого темпа этот разрыв не нейтрален. Команды, которые оптимизируют правильный класс свойств, накапливают то, что конкурент не измеряет — а значит, не строит. Преимущество аккумулируется асимметрично, в категориях, которых ещё нет в сравнительных таблицах. Почему бенчмарки в AI сломались, и что с этим делать в следующий понедельник. Читать полностью

https://habr.com/ru/articles/1034014/

#llm #бенчмарки #оценка_LLM #агентные_системы #aiагенты #закон_гудхарта #метрики_качества #анализ_и_проектирование_систем #критическое_мышление #нейросети

Проектирование архитектуры в нотации ArchiMate с использованием ИИ. Часть 1

Всем привет! Меня зовут Владимир Зуев, я руководитель разработки JAVA-практики в компании Axenix. Сегодня я хочу рассказать о нотации ArchiMate, используемой для разработки и моделирования информационных систем. Несмотря на свои уникальные возможности, нотация ArchiMate не получила широкого распространения. Даже среди практикующих архитекторов распространенность нотации не превышает 25%. Отчасти это связано со скудным описанием в официальной документации и отсутствием практических руководств. Я хочу исправить эту ужасную несправедливость и показать сильные стороны ArchiMate, подробно разобрав ее использование на практическом примере, а так же показать как применение ИИ может помочь архитектору.

https://habr.com/ru/companies/axenix/articles/1032160/

#проектирование_систем #архитектура_приложений #archimate #искусственный_интеллект #genai #анализ_и_проектирование_систем #natural_language_processing #беспилотный_автомобиль #ватс

Проектирование архитектуры в нотации ArchiMate с использованием ИИ. Часть 1

Всем привет! Меня зовут Владимир Зуев, я руководитель разработки JAVA-практики в компании Axenix. Сегодня я хочу рассказать о нотации ArchiMate, используемой для разработки и моделирования информационных систем. Несмотря на свои уникальные возможности, нотация ArchiMate не получила широкого распространения. Даже среди практикующих архитекторов распространенность нотации не превышает 25%. Отчасти это связано со скудным описанием в официальной документации и отсутствием практических руководств. Я хочу исправить эту ужасную несправедливость и показать сильные стороны ArchiMate, подробно разобрав ее использование на практическом примере, а так же показать как применение ИИ может помочь архитектору.

https://habr.com/ru/companies/axenix/articles/1032160/

#проектирование_систем #архитектура_приложений #archimate #искусственный_интеллект #genai #анализ_и_проектирование_систем #natural_language_processing #беспилотный_автомобиль #ватс

Проектирование архитектуры в нотации ArchiMate с использованием ИИ. Часть 1

Всем привет! Меня зовут Владимир Зуев, я руководитель разработки JAVA-практики в компании Axenix. Сегодня я хочу рассказать о нотации ArchiMate, используемой для разработки и моделирования информационных систем. Несмотря на свои уникальные возможности, нотация ArchiMate не получила широкого распространения. Даже среди практикующих архитекторов распространенность нотации не превышает 25%. Отчасти это связано со скудным описанием в официальной документации и отсутствием практических руководств. Я хочу исправить эту ужасную несправедливость и показать сильные стороны ArchiMate, подробно разобрав ее использование на практическом примере, а так же показать как применение ИИ может помочь архитектору.

https://habr.com/ru/companies/axenix/articles/1032160/

#проектирование_систем #архитектура_приложений #archimate #искусственный_интеллект #genai #анализ_и_проектирование_систем #natural_language_processing #беспилотный_автомобиль #ватс

Проектирование архитектуры в нотации ArchiMate с использованием ИИ. Часть 1

Всем привет! Меня зовут Владимир Зуев, я руководитель разработки JAVA-практики в компании Axenix. Сегодня я хочу рассказать о нотации ArchiMate, используемой для разработки и моделирования информационных систем. Несмотря на свои уникальные возможности, нотация ArchiMate не получила широкого распространения. Даже среди практикующих архитекторов распространенность нотации не превышает 25%. Отчасти это связано со скудным описанием в официальной документации и отсутствием практических руководств. Я хочу исправить эту ужасную несправедливость и показать сильные стороны ArchiMate, подробно разобрав ее использование на практическом примере, а так же показать как применение ИИ может помочь архитектору.

https://habr.com/ru/companies/axenix/articles/1032160/

#проектирование_систем #архитектура_приложений #archimate #искусственный_интеллект #genai #анализ_и_проектирование_систем #natural_language_processing #беспилотный_автомобиль #ватс

Продолжение про БАН соискателей на hh или killer фича

Начну с того, что тема является общественно важной и содержит информацию, связанную с потенциально дискриминирующим функционалом топ платформы, а также который противоречит оплаченным пользователями-соискателями услугам. К сожалению, Хабр считает иначе, так как удалил предыдущий мини обзор на функции сервисов hh. Поделитесь, считаете ли вы обзоры таких функций важными? Оказывается, кнопка с баном соискателей была и ранее (что пугает еще больше, возможно, вы давно в бане... ), но она была еле заметной. Нашла единственное упоминание в сети от 2020 года со скрином, где коллега по цеху делится, что не использует её. 31 марта 2026 года hh обновил инструкцию для работодателей ( см. тут ), а killer фичу я нашла при тестировании в режиме 2х аккаунтов соискатель - работодатель, и руки к ней сами потянулись. Что нового? Теперь killer фича очень бросается в глаза . Что это означает с точки зрения поведения пользователя (продакты, поправьте, если ошибаюсь)? Желание нажать ее может возникать чаще . В бан вы можете попасть, например, при покупке автооткликов через hh PRO, т.к. можете надоесть работодателю количеством откликов. Да, за ваши же деньги, получается, вы отправляетесь в бан.

https://habr.com/ru/articles/1029310/

#поиск_работы #hh #карьера #анализ_и_проектирование_систем

Два пути к идеальному DatePicker: классический промптинг или системный подход по работе с AI

Привет, коллеги! Сегодня мы копнем в самую суть инженерного подхода. На повестке дня - сравнение двух кардинально разных философий создания сложного UI-компонента. Это не просто рассказ о DatePicker, это анализ стратегического выбора, который каждая команда делает каждый день: скорость в ущерб предсказуемости или наоборот? Исходный код доступен по ссылке: https://github.com/Codesrc-public-ru/ralf-datapicker За основу мы возьмем два реальных кейса. Первый - «AI-драфтинг» , отлично описанный нашей статье " Создаем WCAG-доступный DatePicker на React: как Claude пишет основу, а мы доводим до ума ". Идея: получить 80% кода от нейросети, а остальное довести вручную. Это путь быстрых итераций и реактивного решения проблем. Второй - «Системный инжиниринг» , подход описан в этой документации к инструменту https://github.com/snarktank/ralph . Идея: сначала детальное проектирование, потом итеративная работа модели. Это путь проактивного управления сложностью. Оба приводят к результату. Но какой ценой? И что скрывается под капотом каждого из них? Давайте разберем.

https://habr.com/ru/articles/1028440/

#TypeScript #WCAG #ARIA #DatePicker #доступный_интерфейс #WAIARIA_APG #Claude_AI #клавиатурная_навигация #frontend_компоненты #Анализ_и_проектирование_систем

Два пути к идеальному DatePicker: классический промптинг или системный подход по работе с AI

Привет, коллеги! Сегодня мы копнем в самую суть инженерного подхода. На повестке дня - сравнение двух кардинально разных философий создания сложного UI-компонента. Это не просто рассказ о DatePicker, это анализ стратегического выбора, который каждая команда делает каждый день: скорость в ущерб предсказуемости или наоборот? Исходный код доступен по ссылке: https://github.com/Codesrc-public-ru/ralf-datapicker За основу мы возьмем два реальных кейса. Первый - «AI-драфтинг» , отлично описанный нашей статье " Создаем WCAG-доступный DatePicker на React: как Claude пишет основу, а мы доводим до ума ". Идея: получить 80% кода от нейросети, а остальное довести вручную. Это путь быстрых итераций и реактивного решения проблем. Второй - «Системный инжиниринг» , подход описан в этой документации к инструменту https://github.com/snarktank/ralph . Идея: сначала детальное проектирование, потом итеративная работа модели. Это путь проактивного управления сложностью. Оба приводят к результату. Но какой ценой? И что скрывается под капотом каждого из них? Давайте разберем.

https://habr.com/ru/articles/1028440/

#TypeScript #WCAG #ARIA #DatePicker #доступный_интерфейс #WAIARIA_APG #Claude_AI #клавиатурная_навигация #frontend_компоненты #Анализ_и_проектирование_систем

Два пути к идеальному DatePicker: классический промптинг или системный подход по работе с AI

Привет, коллеги! Сегодня мы копнем в самую суть инженерного подхода. На повестке дня - сравнение двух кардинально разных философий создания сложного UI-компонента. Это не просто рассказ о DatePicker, это анализ стратегического выбора, который каждая команда делает каждый день: скорость в ущерб предсказуемости или наоборот? Исходный код доступен по ссылке: https://github.com/Codesrc-public-ru/ralf-datapicker За основу мы возьмем два реальных кейса. Первый - «AI-драфтинг» , отлично описанный нашей статье " Создаем WCAG-доступный DatePicker на React: как Claude пишет основу, а мы доводим до ума ". Идея: получить 80% кода от нейросети, а остальное довести вручную. Это путь быстрых итераций и реактивного решения проблем. Второй - «Системный инжиниринг» , подход описан в этой документации к инструменту https://github.com/snarktank/ralph . Идея: сначала детальное проектирование, потом итеративная работа модели. Это путь проактивного управления сложностью. Оба приводят к результату. Но какой ценой? И что скрывается под капотом каждого из них? Давайте разберем.

https://habr.com/ru/articles/1028440/

#TypeScript #WCAG #ARIA #DatePicker #доступный_интерфейс #WAIARIA_APG #Claude_AI #клавиатурная_навигация #frontend_компоненты #Анализ_и_проектирование_систем

Два пути к идеальному DatePicker: классический промптинг или системный подход по работе с AI

Привет, коллеги! Сегодня мы копнем в самую суть инженерного подхода. На повестке дня - сравнение двух кардинально разных философий создания сложного UI-компонента. Это не просто рассказ о DatePicker, это анализ стратегического выбора, который каждая команда делает каждый день: скорость в ущерб предсказуемости или наоборот? Исходный код доступен по ссылке: https://github.com/Codesrc-public-ru/ralf-datapicker За основу мы возьмем два реальных кейса. Первый - «AI-драфтинг» , отлично описанный нашей статье " Создаем WCAG-доступный DatePicker на React: как Claude пишет основу, а мы доводим до ума ". Идея: получить 80% кода от нейросети, а остальное довести вручную. Это путь быстрых итераций и реактивного решения проблем. Второй - «Системный инжиниринг» , подход описан в этой документации к инструменту https://github.com/snarktank/ralph . Идея: сначала детальное проектирование, потом итеративная работа модели. Это путь проактивного управления сложностью. Оба приводят к результату. Но какой ценой? И что скрывается под капотом каждого из них? Давайте разберем.

https://habr.com/ru/articles/1028440/

#TypeScript #WCAG #ARIA #DatePicker #доступный_интерфейс #WAIARIA_APG #Claude_AI #клавиатурная_навигация #frontend_компоненты #Анализ_и_проектирование_систем

Квантовые данные для ML-инженера: без формул, но с реальными примерами

Доброго времени суток, уважаемые хаброжители! Сегодня поговорим о данных — о той самой основе, без которой в классическом машинном обучении да и в deeplearning, по большому счёту, не происходит вообще ничего, от слова совсем: ни обучения моделей, ни проверки гипотез, ни сколько-нибудь осмысленных выводов, ни построение пайплайнов. И в квантовом машинном обучении история, в сущности, та же самая. Только вот сами данные здесь устроены несколько иначе — и вот здесь как раз начинается самое интересное ;) Когда впервые слышишь словосочетание квантовые данные, реакция, как правило, одна из двух: либо это звучит как что-то из научной фантастики, где сейчас из-за угла выйдет кот Шрёдингера и испортит вам датасет, либо как "ну хорошо, ещё один датасет, просто теперь с модной квантовой приставкой" и всякими наворотами. Сразу скажу: на практике всё интереснее и более вариативно. Именно, последнее и приобретает особо важную роль в современном мире ИИ. В этой статье мы разберём следующие важные положения:

https://habr.com/ru/articles/1021412/

#квантовые_вычисления #квантовые_алгоритмы #квантовый_компьютер #машинное+обучение #оптимизация #системный_анализ #разработка #аналитика #анализ_данных #анализ_и_проектирование_систем

Квантовые данные для ML-инженера: без формул, но с реальными примерами

Доброго времени суток, уважаемые хаброжители! Сегодня поговорим о данных — о той самой основе, без которой в классическом машинном обучении да и в deeplearning, по большому счёту, не происходит вообще ничего, от слова совсем: ни обучения моделей, ни проверки гипотез, ни сколько-нибудь осмысленных выводов, ни построение пайплайнов. И в квантовом машинном обучении история, в сущности, та же самая. Только вот сами данные здесь устроены несколько иначе — и вот здесь как раз начинается самое интересное ;) Когда впервые слышишь словосочетание квантовые данные, реакция, как правило, одна из двух: либо это звучит как что-то из научной фантастики, где сейчас из-за угла выйдет кот Шрёдингера и испортит вам датасет, либо как "ну хорошо, ещё один датасет, просто теперь с модной квантовой приставкой" и всякими наворотами. Сразу скажу: на практике всё интереснее и более вариативно. Именно, последнее и приобретает особо важную роль в современном мире ИИ. В этой статье мы разберём следующие важные положения:

https://habr.com/ru/articles/1021412/

#квантовые_вычисления #квантовые_алгоритмы #квантовый_компьютер #машинное+обучение #оптимизация #системный_анализ #разработка #аналитика #анализ_данных #анализ_и_проектирование_систем

Квантовые данные для ML-инженера: без формул, но с реальными примерами

Доброго времени суток, уважаемые хаброжители! Сегодня поговорим о данных — о той самой основе, без которой в классическом машинном обучении да и в deeplearning, по большому счёту, не происходит вообще ничего, от слова совсем: ни обучения моделей, ни проверки гипотез, ни сколько-нибудь осмысленных выводов, ни построение пайплайнов. И в квантовом машинном обучении история, в сущности, та же самая. Только вот сами данные здесь устроены несколько иначе — и вот здесь как раз начинается самое интересное ;) Когда впервые слышишь словосочетание квантовые данные, реакция, как правило, одна из двух: либо это звучит как что-то из научной фантастики, где сейчас из-за угла выйдет кот Шрёдингера и испортит вам датасет, либо как "ну хорошо, ещё один датасет, просто теперь с модной квантовой приставкой" и всякими наворотами. Сразу скажу: на практике всё интереснее и более вариативно. Именно, последнее и приобретает особо важную роль в современном мире ИИ. В этой статье мы разберём следующие важные положения:

https://habr.com/ru/articles/1021412/

#квантовые_вычисления #квантовые_алгоритмы #квантовый_компьютер #машинное+обучение #оптимизация #системный_анализ #разработка #аналитика #анализ_данных #анализ_и_проектирование_систем

Квантовые данные для ML-инженера: без формул, но с реальными примерами

Доброго времени суток, уважаемые хаброжители! Сегодня поговорим о данных — о той самой основе, без которой в классическом машинном обучении да и в deeplearning, по большому счёту, не происходит вообще ничего, от слова совсем: ни обучения моделей, ни проверки гипотез, ни сколько-нибудь осмысленных выводов, ни построение пайплайнов. И в квантовом машинном обучении история, в сущности, та же самая. Только вот сами данные здесь устроены несколько иначе — и вот здесь как раз начинается самое интересное ;) Когда впервые слышишь словосочетание квантовые данные, реакция, как правило, одна из двух: либо это звучит как что-то из научной фантастики, где сейчас из-за угла выйдет кот Шрёдингера и испортит вам датасет, либо как "ну хорошо, ещё один датасет, просто теперь с модной квантовой приставкой" и всякими наворотами. Сразу скажу: на практике всё интереснее и более вариативно. Именно, последнее и приобретает особо важную роль в современном мире ИИ. В этой статье мы разберём следующие важные положения:

https://habr.com/ru/articles/1021412/

#квантовые_вычисления #квантовые_алгоритмы #квантовый_компьютер #машинное+обучение #оптимизация #системный_анализ #разработка #аналитика #анализ_данных #анализ_и_проектирование_систем

Не гадайте на кофейной гуще: как понять, что редизайн действительно работает — кейс сайта «Халвы»

Привет, Хабр! Я Виктория Левена, руководитель отдела аналитики в AGIMA . По моему опыту редизайн часто начинается с ощущения, что что-то не так. Кажется, наш сайт выглядит устаревшим. Кажется, технологии и пользовательские привычки меняются — и нам тоже надо. Кажется, никому в команде не нравится сайт, но никто не может объяснить, почему. С такими ощущениями сложно работать: непонятно, что менять, и главное, как потом доказать, что стало лучше, а не просто по-другому. На проекте по редизайну сайта «Халвы» мы как раз оказались в этой точке. И в этой статье я хочу поговорить не столько про дизайн, сколько про измерение его результата . Как понять, что пользовательский опыт действительно стал лучше? Какие метрики помогают это увидеть, а какие создают ложное чувство уверенности? И почему цифры иногда обманывают — даже когда выглядят убедительно?

https://habr.com/ru/companies/agima/articles/1012590/

#редизайн #анализ_и_проектирование_систем #uxопросы

Не гадайте на кофейной гуще: как понять, что редизайн действительно работает — кейс сайта «Халвы»

Привет, Хабр! Я Виктория Левена, руководитель отдела аналитики в AGIMA . По моему опыту редизайн часто начинается с ощущения, что что-то не так. Кажется, наш сайт выглядит устаревшим. Кажется, технологии и пользовательские привычки меняются — и нам тоже надо. Кажется, никому в команде не нравится сайт, но никто не может объяснить, почему. С такими ощущениями сложно работать: непонятно, что менять, и главное, как потом доказать, что стало лучше, а не просто по-другому. На проекте по редизайну сайта «Халвы» мы как раз оказались в этой точке. И в этой статье я хочу поговорить не столько про дизайн, сколько про измерение его результата . Как понять, что пользовательский опыт действительно стал лучше? Какие метрики помогают это увидеть, а какие создают ложное чувство уверенности? И почему цифры иногда обманывают — даже когда выглядят убедительно?

https://habr.com/ru/companies/agima/articles/1012590/

#редизайн #анализ_и_проектирование_систем #uxопросы

Не гадайте на кофейной гуще: как понять, что редизайн действительно работает — кейс сайта «Халвы»

Привет, Хабр! Я Виктория Левена, руководитель отдела аналитики в AGIMA . По моему опыту редизайн часто начинается с ощущения, что что-то не так. Кажется, наш сайт выглядит устаревшим. Кажется, технологии и пользовательские привычки меняются — и нам тоже надо. Кажется, никому в команде не нравится сайт, но никто не может объяснить, почему. С такими ощущениями сложно работать: непонятно, что менять, и главное, как потом доказать, что стало лучше, а не просто по-другому. На проекте по редизайну сайта «Халвы» мы как раз оказались в этой точке. И в этой статье я хочу поговорить не столько про дизайн, сколько про измерение его результата . Как понять, что пользовательский опыт действительно стал лучше? Какие метрики помогают это увидеть, а какие создают ложное чувство уверенности? И почему цифры иногда обманывают — даже когда выглядят убедительно?

https://habr.com/ru/companies/agima/articles/1012590/

#редизайн #анализ_и_проектирование_систем #uxопросы

Не гадайте на кофейной гуще: как понять, что редизайн действительно работает — кейс сайта «Халвы»

Привет, Хабр! Я Виктория Левена, руководитель отдела аналитики в AGIMA . По моему опыту редизайн часто начинается с ощущения, что что-то не так. Кажется, наш сайт выглядит устаревшим. Кажется, технологии и пользовательские привычки меняются — и нам тоже надо. Кажется, никому в команде не нравится сайт, но никто не может объяснить, почему. С такими ощущениями сложно работать: непонятно, что менять, и главное, как потом доказать, что стало лучше, а не просто по-другому. На проекте по редизайну сайта «Халвы» мы как раз оказались в этой точке. И в этой статье я хочу поговорить не столько про дизайн, сколько про измерение его результата . Как понять, что пользовательский опыт действительно стал лучше? Какие метрики помогают это увидеть, а какие создают ложное чувство уверенности? И почему цифры иногда обманывают — даже когда выглядят убедительно?

https://habr.com/ru/companies/agima/articles/1012590/

#редизайн #анализ_и_проектирование_систем #uxопросы

Специфические методы шардирования

Для обычного пользователя разрешать уходить в минус по балансу - не может позволить себе ни одна организация, как говорилось в одном известном фильме - утром деньги, вечером стулья. Но для больших корпораций остановка платежей даже на секунду - это уже не проблема корпорации, а всего государства. Невозможно приостановить работу концерна (например Росатом) только потому, что в данный момент у него нет средств. На перезапуск может уйти куда как больше ресурсов. Поэтому пора исправлять эту проблему в MireaPay и наконец-то добавить работу с крупными юр. лицами, которые будут называться корпоративными пользователями! Пройти в комнату шардирования

https://habr.com/ru/articles/1011106/

#java #анализ_и_проектирование_систем #базы_данных #микросервисы #платежная_система

[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 1. Теоретические основы

Недавно прочитал цикл статей о масшабировании LLM от Jax , в котором очень подробно и во всех нюансах разжеван процесс тренировки и инференса LLM на разных масштабах. Мне он показался очень полезным, поэтому я решил подготовить цикл статей на русском, являющихся не столько переводом, сколько научно-популярным пересказом того, что там написано, поскольку оригинальный текст рассчитан в основном на специалистов, и неспециалисту многие моменты в нем могут показаться сложными и не очевидными. Также планирую добавить информацию из других источников, например вот этой замечательной книги для ML-инженера или этой книги HuggingFace, посвященной тренировке языковой модели .

https://habr.com/ru/articles/1008206/

#ai #ml #gpu #gpu_вычисления #анализ_и_проектирование_систем

[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 1. Теоретические основы

Недавно прочитал цикл статей о масшабировании LLM от Jax , в котором очень подробно и во всех нюансах разжеван процесс тренировки и инференса LLM на разных масштабах. Мне он показался очень полезным, поэтому я решил подготовить цикл статей на русском, являющихся не столько переводом, сколько научно-популярным пересказом того, что там написано, поскольку оригинальный текст рассчитан в основном на специалистов, и неспециалисту многие моменты в нем могут показаться сложными и не очевидными. Также планирую добавить информацию из других источников, например вот этой замечательной книги для ML-инженера или этой книги HuggingFace, посвященной тренировке языковой модели .

https://habr.com/ru/articles/1008206/

#ai #ml #gpu #gpu_вычисления #анализ_и_проектирование_систем

[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 1. Теоретические основы

Недавно прочитал цикл статей о масшабировании LLM от Jax , в котором очень подробно и во всех нюансах разжеван процесс тренировки и инференса LLM на разных масштабах. Мне он показался очень полезным, поэтому я решил подготовить цикл статей на русском, являющихся не столько переводом, сколько научно-популярным пересказом того, что там написано, поскольку оригинальный текст рассчитан в основном на специалистов, и неспециалисту многие моменты в нем могут показаться сложными и не очевидными. Также планирую добавить информацию из других источников, например вот этой замечательной книги для ML-инженера или этой книги HuggingFace, посвященной тренировке языковой модели .

https://habr.com/ru/articles/1008206/

#ai #ml #gpu #gpu_вычисления #анализ_и_проектирование_систем

[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 1. Теоретические основы

Недавно прочитал цикл статей о масшабировании LLM от Jax , в котором очень подробно и во всех нюансах разжеван процесс тренировки и инференса LLM на разных масштабах. Мне он показался очень полезным, поэтому я решил подготовить цикл статей на русском, являющихся не столько переводом, сколько научно-популярным пересказом того, что там написано, поскольку оригинальный текст рассчитан в основном на специалистов, и неспециалисту многие моменты в нем могут показаться сложными и не очевидными. Также планирую добавить информацию из других источников, например вот этой замечательной книги для ML-инженера или этой книги HuggingFace, посвященной тренировке языковой модели .

https://habr.com/ru/articles/1008206/

#ai #ml #gpu #gpu_вычисления #анализ_и_проектирование_систем

Как за 22 часа я собрала полноценный UI-прототип корпоративной системы с помощью ИИ

Всем привет и приятно познакомиться! Меня зовут Азалия Мухаярова, я работаю системным аналитиком в «Технократии» . И в этом тексте расскажу вам, как с помощью Figma Make и AI-ассистента сделать рабочий прототип корпоративной системы за 20 с небольшим часов.

https://habr.com/ru/companies/technokratos/articles/1008644/

#аналитика #анализ_и_проектирование_систем #ии #искусственный_интеллект #системный_анализ

Когда 200+ бэкенд-разработчиков меняют 400 микросервисов: зачем нужно архитектурное ревью

Что будет, если больше 200 бэкенд‑разработчиков вносят изменения 2–3 раза в неделю в более чем 400 микросервисов, написанных на пяти разных языках — C++, Go, Python, Java и PHP? Ответ хорошо знаком любому, кто сталкивался с быстрорастущей распределённой системой: хаос появляется быстрее, чем успеваешь его отлавливать. И в какой‑то момент становится очевидно, что нужна надёжная точка контроля, чтобы поддерживать архитектуру в рабочем состоянии. В Яндекс Еде этой точкой стало архитектурное ревью — процесс, который постепенно вырос из локальной инициативы в полноценный инструмент управления сложной системой. В этой статье я расскажу, как эволюционировало архревью, какие инсайты появились по пути и как этот процесс выглядит сегодня.

https://habr.com/ru/companies/yandex/articles/1003700/

#яндекс #анализ_и_проектирование_систем #ревью_архитектуры #микросервисная_архитектура #микросервисное_взаимодействие #бэкендразработка

Как и зачем мы следим за качеством руды от забоя до сепаратора

Как мы добываем железо из руды? Бурим горную породу и руду в карьере, закладываем взрывчатку и взрываем, чтобы экскаватор мог зачерпнуть породу. Огромные куски до 1,2 метра вывозим на БелАЗах на перегрузочные пункты, затем перегружаем в железнодорожные думпкары, потом дробим до состояния пыли, отсеиваем вскрышу и извлекаем железо. Работа у нас масштабная: экскаваторы высотой с четырёхэтажный дом, 240-тонные БелАЗы и много взрывов. При этом мы имеем одно из самых низких в отрасли содержаний (в процентном соотношении) железа в руде. Поэтому просто бурить, взрывать и возить недостаточно. Эффективность начинается с качества руды, которое мы отслеживаем буквально в каждом ковше экскаватора. Меня зовут Вячеслав Загирный, я руководитель проектов в ЕВРАЗе. Мы стали первыми в России, кто создал IT-систему, позволяющую прослеживать качественные показатели руды от блочной геологической модели до дробильно-обогатительной фабрики. Проект называется «Геометаллургия». В этой статье расскажу, как всё устроено.

https://habr.com/ru/companies/evraz/articles/1004138/

#программирование #промышленное_программирование #анализ_и_проектирование_систем #инженерные_системы

Как и зачем мы следим за качеством руды от забоя до сепаратора

Как мы добываем железо из руды? Бурим горную породу и руду в карьере, закладываем взрывчатку и взрываем, чтобы экскаватор мог зачерпнуть породу. Огромные куски до 1,2 метра вывозим на БелАЗах на перегрузочные пункты, затем перегружаем в железнодорожные думпкары, потом дробим до состояния пыли, отсеиваем вскрышу и извлекаем железо. Работа у нас масштабная: экскаваторы высотой с четырёхэтажный дом, 240-тонные БелАЗы и много взрывов. При этом мы имеем одно из самых низких в отрасли содержаний (в процентном соотношении) железа в руде. Поэтому просто бурить, взрывать и возить недостаточно. Эффективность начинается с качества руды, которое мы отслеживаем буквально в каждом ковше экскаватора. Меня зовут Вячеслав Загирный, я руководитель проектов в ЕВРАЗе. Мы стали первыми в России, кто создал IT-систему, позволяющую прослеживать качественные показатели руды от блочной геологической модели до дробильно-обогатительной фабрики. Проект называется «Геометаллургия». В этой статье расскажу, как всё устроено.

https://habr.com/ru/companies/evraz/articles/1004138/

#программирование #промышленное_программирование #анализ_и_проектирование_систем #инженерные_системы

Как и зачем мы следим за качеством руды от забоя до сепаратора

Как мы добываем железо из руды? Бурим горную породу и руду в карьере, закладываем взрывчатку и взрываем, чтобы экскаватор мог зачерпнуть породу. Огромные куски до 1,2 метра вывозим на БелАЗах на перегрузочные пункты, затем перегружаем в железнодорожные думпкары, потом дробим до состояния пыли, отсеиваем вскрышу и извлекаем железо. Работа у нас масштабная: экскаваторы высотой с четырёхэтажный дом, 240-тонные БелАЗы и много взрывов. При этом мы имеем одно из самых низких в отрасли содержаний (в процентном соотношении) железа в руде. Поэтому просто бурить, взрывать и возить недостаточно. Эффективность начинается с качества руды, которое мы отслеживаем буквально в каждом ковше экскаватора. Меня зовут Вячеслав Загирный, я руководитель проектов в ЕВРАЗе. Мы стали первыми в России, кто создал IT-систему, позволяющую прослеживать качественные показатели руды от блочной геологической модели до дробильно-обогатительной фабрики. Проект называется «Геометаллургия». В этой статье расскажу, как всё устроено.

https://habr.com/ru/companies/evraz/articles/1004138/

#программирование #промышленное_программирование #анализ_и_проектирование_систем #инженерные_системы

Как и зачем мы следим за качеством руды от забоя до сепаратора

Как мы добываем железо из руды? Бурим горную породу и руду в карьере, закладываем взрывчатку и взрываем, чтобы экскаватор мог зачерпнуть породу. Огромные куски до 1,2 метра вывозим на БелАЗах на перегрузочные пункты, затем перегружаем в железнодорожные думпкары, потом дробим до состояния пыли, отсеиваем вскрышу и извлекаем железо. Работа у нас масштабная: экскаваторы высотой с четырёхэтажный дом, 240-тонные БелАЗы и много взрывов. При этом мы имеем одно из самых низких в отрасли содержаний (в процентном соотношении) железа в руде. Поэтому просто бурить, взрывать и возить недостаточно. Эффективность начинается с качества руды, которое мы отслеживаем буквально в каждом ковше экскаватора. Меня зовут Вячеслав Загирный, я руководитель проектов в ЕВРАЗе. Мы стали первыми в России, кто создал IT-систему, позволяющую прослеживать качественные показатели руды от блочной геологической модели до дробильно-обогатительной фабрики. Проект называется «Геометаллургия». В этой статье расскажу, как всё устроено.

https://habr.com/ru/companies/evraz/articles/1004138/

#программирование #промышленное_программирование #анализ_и_проектирование_систем #инженерные_системы

О дивный новый код

Продолжение моей статьи Мечтают ли архитекторы об электроовцах? , в которой я обещал привести практический пример.

https://habr.com/ru/articles/1002000/

#LLM #net #анализ_и_проектирование_систем

Разобрать по косточкам. «Песочницы» и бенчмарки для оценки качества кода, сгенерированного системой ИИ

Код, сгенерированный нейросетями, нередко содержит уязвимости, ошибки и скрытые недочеты, поэтому его важно проверять на безопасность и корректность. Мы в

https://habr.com/ru/companies/beeline_cloud/articles/1001188/

#beeline_cloud #агентные_системы #системы_ии #анализ_и_проектирование_систем #era #continuouseval #codeprism #gitai #minish #arianadebugger

Разобрать по косточкам. «Песочницы» и бенчмарки для оценки качества кода, сгенерированного системой ИИ

Код, сгенерированный нейросетями, нередко содержит уязвимости, ошибки и скрытые недочеты, поэтому его важно проверять на безопасность и корректность. Мы в

https://habr.com/ru/companies/beeline_cloud/articles/1001188/

#beeline_cloud #агентные_системы #системы_ии #анализ_и_проектирование_систем #era #continuouseval #codeprism #gitai #minish #arianadebugger

Разобрать по косточкам. «Песочницы» и бенчмарки для оценки качества кода, сгенерированного системой ИИ

Код, сгенерированный нейросетями, нередко содержит уязвимости, ошибки и скрытые недочеты, поэтому его важно проверять на безопасность и корректность. Мы в

https://habr.com/ru/companies/beeline_cloud/articles/1001188/

#beeline_cloud #агентные_системы #системы_ии #анализ_и_проектирование_систем #era #continuouseval #codeprism #gitai #minish #arianadebugger

Разобрать по косточкам. «Песочницы» и бенчмарки для оценки качества кода, сгенерированного системой ИИ

Код, сгенерированный нейросетями, нередко содержит уязвимости, ошибки и скрытые недочеты, поэтому его важно проверять на безопасность и корректность. Мы в

https://habr.com/ru/companies/beeline_cloud/articles/1001188/

#beeline_cloud #агентные_системы #системы_ии #анализ_и_проектирование_систем #era #continuouseval #codeprism #gitai #minish #arianadebugger

Универсальный сервис динамического шардирования

Продолжаем прорабатывать методы шардирования. В прошлой статье было предложено простое, но крайне трудозатратное решение по реализации динамического шардирования (когда ассоциация ключа и шарда лежат в отдельном сервисе, а не вычисляется при помощи функции). В этой статье предлагается универсальное решение, которое позволяет гибко настраивать параметры шардирования и при этом не быть перегруженной возможностями, из-за которых производительность неуклонно снизится. Проснуться

https://habr.com/ru/articles/1001098/

#шардирование #java #анализ_и_проектирование_систем #динамическое_шардирование

[Перевод] Шаблоны проектирования поглощения данных-01: пакетная обработка, потоковая передача и CDC — практическое руководство

Привет, Хаброжители! От выбора подхода к поглощению данных может зависеть успех или провал работы конвейера данных Получив опыт создания конвейеров данных, которые ежедневно обрабатывают сотни миллионов записей, я понял, что именно на уровне поглощения данных решается успех или провал большинства проектов в области инженерии данных. Если здесь допустить ошибку, то придется месяцами бороться с проблемами, возникающими c производительностью, качеством данных и недовольством заинтересованных сторон. Если все сделать правильно, то ваш конвейер станет надежной основой для принятия важных бизнес-решений.

https://habr.com/ru/companies/piter/articles/996148/

#анализ_и_проектирование_систем #высоконагруженные_системы #big_data

[Перевод] Шаблоны проектирования поглощения данных-01: пакетная обработка, потоковая передача и CDC — практическое руководство

Привет, Хаброжители! От выбора подхода к поглощению данных может зависеть успех или провал работы конвейера данных Получив опыт создания конвейеров данных, которые ежедневно обрабатывают сотни миллионов записей, я понял, что именно на уровне поглощения данных решается успех или провал большинства проектов в области инженерии данных. Если здесь допустить ошибку, то придется месяцами бороться с проблемами, возникающими c производительностью, качеством данных и недовольством заинтересованных сторон. Если все сделать правильно, то ваш конвейер станет надежной основой для принятия важных бизнес-решений.

https://habr.com/ru/companies/piter/articles/996148/

#анализ_и_проектирование_систем #высоконагруженные_системы #big_data

Байки математика: как русские хакеры Трампу помогали

На дворе шел 2016 год и из каждого утюга кричали, что русские хакеры помогли Трампу избраться, а моя маленькая (очень) команда, была привлечена к безнадёжному проекту,... правда мы поняли об этом потом. Маленькая предыстория - в тот момент большой канадский гигант SIP телефонии решил выпустить первый телефон под Андроидом, но, не просто выпустить под AOSP, а так, что бы все гугловые сервисы были доступны. Это требовало пройти полное тестирование по GTS (Google Test Suite). Проект разрабатывался израильской командой канадского вендора и командой нашей компании, которая имела давние связи с канадцами. Приём сертификационных заявок, на прохождение GTS заканчивался в начале ноября, а летом, хитрая израильская команда, предложила нашему архитектору, поменяться задачками - баш-на-баш. Архитектор проведя поверхностный анализ, не нашёл подвоха и... согласился,... как потом оказалось - зря, стоило анализ провести получше. Первый "подход к снаряду" был ещё летом, но, что-то пошло не так, интеграция не задалась, и... задачу отложили на потом. Когда же на дворе стоял конец сентября, о ней вспомнили,... и вот тут - всех накрыло... и не зря - нужно было интегрировать WideVine... Тогда подключили мою "команду спасателей" - меня и моего разработчика (Вовка, ты крут). Задача на словах звучала просто (как всегда):

https://habr.com/ru/articles/991796/

#анализ_и_проектирование_систем #ошибки_управления