#конвейер — Public Fediverse posts

Как ускорить обработку данных. Часть 2: распараллеливание цифровых схем по зависимым операциям

Привет, Хабр! Меня зовут Кирилл Алексеев, я ведущий инженер в отделе интеграции систем на кристалле радиочастотного центра YADRO. В прошлых статьях я рассказывал о процедурных и конвейерных вычислениях и распараллеливании цифровых схем по независимым операциям . Сегодня продолжим тему и разберем, как получить конвейерную реализацию КИХ-фильтра через распараллеливание схемы MAC-операции по зависимым операциям. В статье рассмотрим простейшие способы оптимизации цифровых схем, связанные с методом распараллеливания, сравним полученные схемы между собой и со схемами из предыдущих статей. Расскажу, в каких случаях какие методы распараллеливания использовать, чтобы получить максимум производительности при минимуме аппаратного ресурса. Статья будет полезна молодым специалистам, которые только начинают работу с ПЛИС, опытным инженерам и архитекторам вычислительных устройств: приглашаю обменяться опытом в комментариях.

https://habr.com/ru/companies/yadro/articles/1094238/

#fpga #параллелизм #конвейер #распараллеливание #плис #asic #микроархитектура #плис_начинающим #плис_технологии #архитектура_цифровых_устройств

Как ускорить обработку данных. Часть 1: распараллеливание цифровых схем по независимым операциям

Привет, Хабр! Меня зовут Кирилл Алексеев, я ведущий инженер в отделе интеграции систем на кристалле радиочастотного центра YADRO. Сегодня снова поговорим «за разработку под ПЛИС». Есть множество способов распараллеливания одного и того же алгоритма, а значит, и огромное количество вариантов его реализации в виде цифровой схемы. Задача инженера — выбрать одну конфигурацию схемы, подходящую под заданные условия. В этой статье разберем основные виды параллелизма цифровых схем, которые (естественно) сильно отличаются от видов распараллеливания программ. Как и в предыдущем моем тексте , виды параллелизма сравним на примере распараллеливания микроархитектуры КИХ-фильтра , реализованной с использованием MAC-операции . Я отвечу на вопрос, какой вид стоит использовать, когда ключевой критерий — пропускная способность схемы throughput ,то есть определена скорость поступления и обработки данных. Материал будет полезен тем, кто только начал работу с ПЛИС: сможете применить новые знания для реализации цифровых схем на практике. Опытные инженеры и архитекторы специализированных вычислительных устройств тоже смогут открыть для себя что-то новое и полезное. Для обсуждения приглашаю всех в комментарии.

https://habr.com/ru/companies/yadro/articles/1085248/

#плис_начинающим #fpga #asic #плис_технологии #плис #архитектура_цифровых_устройств #микроархитектура #распараллеливание #параллелизм #конвейер

Кодирование ускорилось в разы, а проекты – нет. Куда пропал выигрыш?

Привет, Хабр! Меня зовут Александр Сахаров, я директор по работе с партнерами компании «Диасофт». Помимо очевидных обязанностей по работе с заказчиками, я отвечаю за то, чтобы мы выпускали решения, готовые к реальной работе у клиентов. Примерно с марта 2026 года мы перестраиваем разработку вокруг ИИ-агентов. Мы решили выйти за рамки помощи программисту в IDE и пересобрать весь процесс: от первого запроса клиента до запуска готовой системы. Для этого мы разобрали привычный порядок работы на отдельные шаги и передали большую часть из них агентам. Получившуюся цепочку мы называем «конвейером». Про него я уже рассказывал во время дискуссии на тг-канале «Департамент разработки» , но здесь разберемся детальнее.

https://habr.com/ru/companies/diasoft_company/articles/1084898/

#диасофт #digital_q #ide #агент #harness_engineering #harness #конвейер #вайбкодинг #качество_кода #ускорение_разработки

Как взрослеет DevOps на потоке: от информирующих сканов к risk-based gate'ам

Привет, Хабр! На связи Илья Виссарионов, директор департамента «Аппаратно‑системная платформа» компании «Диасофт». Про DevSecOps написаны тонны текстов, но почти все они – про инструменты: какой SAST выбрать, куда «воткнуть» Trivy, как подружить сканеры с GitLab. Реальная проблема 2026 года в другом. Сканеры давно стоят на всех стадиях пайплайна, базы уязвимостей обновляются ежедневно, а криты все равно доезжают до заказчика. Проблема сместилась в другую плоскость: как приоритизировать, чинить и ретестить находки, когда у тебя 2000+ развертываний в день и больше сотни команд. Проще говоря – как управлять security-долгом на конвейере. Этот текст – результат внутренней дискуссии, в которой участвуют три стороны: те, кто отвечает за конвейер и инструменты выпуска, те, кто пишет продукты, и те, кто несет эти продукты заказчикам и первыми улавливают требования рынка. У каждой стороны своя правда, и мы решили не сглаживать углы, а честно показать, как выглядит взросление DevSecOps изнутри – со всеми компромиссами, экономическими выкладками и парадоксами, о которых обычно не пишут.

https://habr.com/ru/companies/diasoft_company/articles/1074766/

#devops #devsecops #высоконагруженные_системы #конвейер #devopsконвейер #devopsинструменты

Безопасность как часть конвейера разработки

Безопасность — неотъемлемая часть конвейера разработки, который работает под высокой нагрузкой и круглые сутки должен быть в состоянии обслуживать много пользователей. В большом продукте конвейер разработки никогда не останавливается: команды выпускают новые модули и обновления, собирают контейнеры, разворачивают сервисы в облаке. Безопасность должна работать в том же ритме. В статье разберём, как устроен такой подход на практике.

https://habr.com/ru/companies/bitrix/articles/1071010/

#информационная_безопасность #конвейер #битрикс #защита_данных

Почему слабым местом кредитного конвейера может оказаться не только ставка, но и плохой OCR

Привет, Хабр! Кредиты и все, что с ними связано – тема для многих весьма чувствительная. Мы в Smart Engines выступаем за то, чтобы сделать самые раздражающие процессы удобными и быстрыми. И в этом смысле распознавание документов – это редкий пример технологии, где интересы банка (сократить издержки), сотрудника (меньше рутины) и клиента (не ждать решение неделями) действительно совпадают. Под катом рассказываем, как автоматическое распознавание документов может трансформировать процесс кредитования в банках и как такие технологии становятся ключевым звеном кредитного конвейера.

https://habr.com/ru/companies/smartengines/articles/1067038/

#конвейер #распознавание_документов #ocr #ocrтехнологии #кредитный_конвейер #кредитный_скоринг #банки #кредитование #распознавание_изображений #кредиты

2000+ развертываний в день: как мы строили DevOps-конвейер для 300 микросервисов и куда идем дальше

Мы в Диасофт несколько лет назад начали строить Digital Q.DevOps — внутренний конвейер сборки, тестирования, доставки и развёртывания, — и сейчас через него проходит больше 2000 развёртываний в сутки. На прошлой неделе собрали внутренний митап с разработчиками, тестировщиками и DevOps-инженерами, чтобы честно разобрать, что в продукте получилось, что до сих пор болит, и куда мы движемся.

https://habr.com/ru/companies/diasoft_company/articles/1056910/

#devops #digital_qdevops #высоконагруженные_системы #конвейер #devopsинструменты #devopsконвейер

«РБПО для бедных»: собираем CI/CD-конвейер безопасной разработки

В прошлой статье мы завершили настройку нашего стенда РБПО: подготовили GitLab и GitLab Runner, настроили Nexus, Vault, DefectDojo и Dependency-Track, а также создали все необходимые учетные записи, роли и переменные для будущего конвейера безопасной разработки. Теперь настало время собрать все эти инструменты в единый пайплайн. В этой статье напишем GitLab CI/CD-конвейер, который автоматизирует сборку приложения, проверки безопасности, генерацию SBOM и публикацию результатов в настроенные ранее сервисы. Другими словами, именно здесь наш стенд начнет выполнять ту работу, ради которой мы собирали его на протяжении предыдущих частей цикла.

https://habr.com/ru/companies/bastion/articles/1041724/

#рбпо #конвейер #пайплайн #безопасная_разработка #devsecops #gitlab #ci_cd

«РБПО для бедных»: сказ о том, как стартап безопасность прикручивал

Сказка — ложь, да в ней намек, разработчикам урок. В некотором опенспейсе, в некотором коворкинге завелся один стартап. С кофе-машиной, горящими дедлайнами и вечными созвонами. Решили там сделать ПОшечку невиданную — чтобы пользователи радовались, инвесторы кивали одобрительно, а деньги сами шли в кассу. И закипела работа, и стартовали один за другим спринты. Фичи выкатывались, метрики росли, разработчики героически коммитили по ночам. Вот только о безопасности в стартапе вспоминали примерно никогда. Некому было охранять секреты пользовательские, деньги виртуальные да API-ключи заветные. А хранилось всё это, прямо скажем, не самым надежным образом. На ту беду нашлись хакеры с купленным эксплойтом, и наступили у стартапа времена невеселые. Третьи точки горели, базы данных утекали, пользователи разбегались, а данные разлетались по самым темным уголкам интернета. Позвали тогда богатыря бывалого — эксперта по безопасной разработке. Ну, то есть меня. И попросили научить разработчиков код проверять, секреты хранить да конвейеры защищенные строить. В общем, построить РБПО, но без бюджетов размером с ВВП сказочного государства. Так появился этот цикл статей — про то, как собрать на коленке минимальный, но рабочий конвейер безопасной разработки. Долго сказка сказывается, да только CI/CD-пайплайн собирается еще дольше. Так что устраивайтесь поудобнее — расскажу, как строил «РБПО для бедных».

https://habr.com/ru/companies/bastion/articles/1038686/

#рбпо #безопасная_разработка #стартапы #конвейер #DevSecOps_для_стартапов #ci_cd #appsec #разработка_безопасного_по #внедрение_РБПО

Почему 10× от AI могут дать только лояльные сотрудники

В прошлой статье я говорил, что конвейерная модель производства софта несовместима с AI, и что вместо конвейера нужен дирижёр — сильный инженер с продуктовым мышлением, управляющий оркестром агентов. Ту статью многие прочитали как «вот и хорошо, нанимаем нескольких сеньоров, увольняем середину, экономим на FTE». Это понятно с точки зрения CFO — но это полупонимание. Дирижёр без мотивации — это не дирижёр. Это дорогой пассивный наблюдатель. AI рядом с ним даст ровно ноль ускорения. Сегодня — про вторую половину. Кто реально получает 10× от AI и почему это вопрос лояльности, а не технологии.

https://habr.com/ru/articles/1037540/

#AI #GenAI #AI_Transformation #лояльность #CTO #AIагенты #Engineering_Management #AI_Native #10x #конвейер

Дирижёр вместо конвейера: как AI ломает классический pipeline разработки

Мы все привыкли строить производство софта как конвейер. Продакт берёт идею, отдаёт аналитику. Аналитик пишет требования, отдаёт разработчику. Разработчик пишет код, отдаёт QA. QA проверяет, отдаёт DevOps. DevOps выкатывает в прод. Каждый знает свой участок. Каждый передаёт результат дальше. Лента сама довозит результат до пользователя. Так работало 30 лет. И вот в каждый из этих участков пришёл AI-агент. И конвейер начал барахлить. Починить конвейер? Или заменить? Узнаем!

https://habr.com/ru/articles/1037510/

#AI #GenAI #AI_Transformation #CTO #AIагенты #AI_Native #конвейер #дирижёр #разработка #AInative

Три мифа, на которых горит dev-бизнес: почему армия джунов и магия ИИ не спасут ваш проект

Привет, Хабр! Часто, заходя в крупные ИТ-проекты, мы наблюдаем одну и ту же картину: заказчики выбирают «странные пути», которые кажутся логичными на бумаге, но на практике сжигают миллионы рублей и годы времени. Это не просто ошибки планирования, а фундаментальные мифы, которые до сих пор живут в головах топ-менеджмента. Недавно мы собрались с коллегами, чтобы препарировать эти заблуждения. Если вам ближе видеоформат, полную версию нашего разговор можно посмотреть на Youtube , а обсудить технические нюансы мы всегда готовы в Telegram-канале Департамент разработки .

https://habr.com/ru/companies/diasoft_company/articles/1028262/

#diasoft #digital_q #платформы #разработка_программного_обеспечения #искусственный_интеллект #конвейер #найм_разработчиков #управление_проектами #управление_разработкой #lowcode

Архитектор-методолог: от Discovery и Delivery к IT-Governance через TOGAF и Change Management

В своей практике я часто вижу одну и ту же проблему. Корпоративные архитекторы проектируют схемы целевой архитектуры (в лучшем случае - в репозитории в ArchiMate, но чаще просто в PowerPoint) , Solution и Software-архитекторы принимают тактические решения, а итоговая архитектура реализованного решения всё равно "плывёт" и не соответствует задуманному. Стратегия остаётся слайдами в PowerPoint. Принципы — просто слова на виртуальной доске. Команды разрабатывают "как удобно" (или "как быстрее), а не "как задумано". Почему так происходит? Потому что между стратегией и реализацией есть разрыв, т.к. между ролями участников ИТ-производства нет чётких процессов взаимодействия на уровне конкретных объектов управления и зон ответственности. Преодоление этого разрыва — зона ответственности архитектора-методолога. В этой статье я разберу несколько ключевых концепций, которые помогают этот разрыв закрыть: Discovery и Delivery, TOGAF ADM и Change Management. А в финале покажу, как они агрегируются в IT-Governance — и почему архитектор-методолог (такую роль можно встретить очень редко в виде чётко сформулированного запроса) находится в центре этого агрегатора. Узнать больше

https://habr.com/ru/articles/1013640/

#методология #управление_требованиями #управление_производством #конвейер #archimate #togaf #governance #change_management #discovery #delivery

Процессор в вашем компьютере угадывает будущее. И ошибается в 5% случаев

В прошлую пятницу я объяснял джуну, почему его код на отсортированном массиве работает в шесть раз быстрее, чем на неотсортированном. Тот же массив, тот же алгоритм, и те же данные. Просто в другом порядке. Джун смотрел на меня как на сумасшедшего и, честно говоря, я его понимаю. Потому что ответ звучит безумно: процессор внутри вашего ноутбука постоянно пытается предсказать будущее. Буквально. Он гадает, какая ветка if выполнится ещё до того, как условие будет вычислено. И на отсортированных данных ему угадывать проще. Ну, давайте разбираться.

https://habr.com/ru/articles/1013098/

#branch_prediction #предсказание_ветвлений #оптимизация_кода #cpu #производительность #алгоритмы #архитектура_процессоров #spectre #конвейер

Как часто вы думаете о Римской империи?

Привет, Хабр! Некоторое время назад я заметил, что #архитектура создаваемых решений сама собой структурируетcя в конвейер-пайплайн, например что-то вроде . Термин, кстати, идёт от БЭСМ-6 . У подобных конвейеров управляемость выше, чем у полносвязных клубочков, где связи между компонентами не ограничены, что приводит к неожиданным взаимодействиям. Сейчас я переживаю бурный месяц в клауде. И с клаудами связан один интересный вопрос. Ресурсы в веб-консоли управления собраны по типам: базы, контейнеры, функции, джобы/флоу, бакеты/их фолдеры, и т.п. И возникает проблема навигации среди них. Целый день щёлкаешь по табочкам, ищешь объекты по спискам… (Кстати, надо будет перечитать что-нибудь вроде этого .)

https://habr.com/ru/companies/reksoft/articles/992158/

#архитектура #облака_и_данные #конвейерпайплайн #конвейер #поиск #поисковые_алгоритмы

Галлюцинации ИИ — это не баг, а фича разработчика. Почему вайб-кодинг не заменит программистов

Недавно провели стрим, где собрались специалисты, у которых ИИ не в презентациях, а в production. Провели разговор про галлюцинации моделей и про будущее разработки с ИИ. Ниже основные мысли — получился материал про три уровня работы с ИИ (вайб-кодинг, ИИ-ассистированная разработка и промышленный конвейер), про экономику вопроса и про то, почему галлюцинации — это не приговор, а управляемый риск.

https://habr.com/ru/articles/974264/

#программирование #вайбкодинг #вайбпрограммирование #языковые_модели #llmмодели #галлюцинации_ии #программирование_для_начинающих #экономика #itобразование #конвейер

Избавляемся от хаоса в проектировании ИТ-решений: формируем команду с помощью ArchiMate

«Ну ты же компьютерщик!» — многим из ИТ-сферы знакома эта фраза из прошлого. Ей обосновывали, почему именно вы должны сделать почти всё: от настройки принтера до разработки и тестирования систем. Казалось бы, эта эпоха позади. ИТ и бизнес стали единым целым, а роли и специализации — общепринятой нормой. Но на смену старой проблеме пришла новая. Появилось множество методологий, фреймворков и новых ролей, однако единой и понятной модели так и не сложилось. Неопределённость сохраняется — особенно в названиях архитектурных ролей и их обязанностях, что отлично видно на порталах с вакансиями. На практике это порождает новую версию старой фразы: «Ты же архитектор? Вот и придумай, как это сделать, собери требования, спроектируй данные и проверь, чтобы влезло в бюджет» . В этой статье я разберу роли этапа проектирования ИТ-решений и покажу инструмент для формирования команды, которая совместной работой обеспечивает качественные требования. Иными словами, постараюсь ответить на вопрос: как побороть разрозненность требований через чёткое распределение ролей и ответственности. Узнать больше

https://habr.com/ru/articles/965318/

#методология #проектирование #конвейер #управление_требованиями #управление_проектами #постановка_задач #итпроцессы #корпоративная_архитектура #управление_качеством

Архитектура Kappa: передовой подход к проектированию данных

​В этой статье разработчики компании DST Global рассмотрят архитектуру Kappa и ее ключевые особенности, которые делают ее передовым подходом к проектированию данных.

В современном быстро меняющемся мире больших данных инженерия данных стала критически...

#DST #DSTGlobal #ДСТ #ДСТГлобал #DSTplatform #Архитектура #Большиеданные #Обработкаданных #Инженерия #Каппа #Apache #Kafka #Kappa #конвейер #Lambda

Источник: https://dstglobal.ru/club/1108-arhitektura-kappa-peredovoi-podhod-k-proektirovaniyu-dannyh

Что такое конвейер данных? И почему вы должны это знать

Конвейер данных ( Data Pipeline) - это последовательность шагов для обработки данных. Если данные еще не присутствуют в платформе данных, они поступают в начале конвейера. Затем конвейер обрабатывает данные через ряд этапов, где выход каждого этапа становится входом следующего. Этот процесс продолжается до тех пор, пока конвейер не будет завершен. В некоторых случаях независимые этапы могут выполняться одновременно.

https://habr.com/ru/articles/900640/

#конвейер #данные #пайтон #бэкенд #программирование

Обучение моделей timm. Связка с fastai

Разберемся как обучать модели timm с использованием Fastai! Покажу как я решил эту задачу с примером кода и объяснениями.

https://habr.com/ru/articles/883874/

#машинное_обучение #искусственный_интеллект #искусственные_нейронные_сети #конвейер

Конвейеризация: универсальный способ повышения пропускной способности

Что общего между стиральной машиной, CPU и микросервисами? Все они выигрывают от «конвейеризации» (англ. pipelining). В этой статье мы соберем информацию из разных сфер, и увидим, насколько универсален принцип конвейеризации. Получим интуитивное понимание терминов «задержка» (англ. latency) и «пропускная способность» (англ. throughput). А также научимся увеличивать пропускную способность в своих бизнес-процессах, компьютерных системах, и просто в повседневной жизни.

https://habr.com/ru/articles/863198/

#архитектура_процессоров #архитектура_систем #архитектура_приложений #микросервисы #golang #pipeline #пропускная_способность #throughput #latency #конвейер

Запуск I2S Трансивера на Artery [часть 2] (DMA FSM, Pipeline)

В этом тексте вы узнаете, что общего между I2S трансивером и оладьями . Да... Именно так. А также зачем программисту микроконтроллеров конвейеры и цифровые фильтры . В тексте изложено про то, как источать звук при помощи I2S + DMA.

https://habr.com/ru/articles/834304/

#DMA #i2s #конвейер #fsm #hiload #конечные_автоматы #pipeline #wm8731 #artery #fullduplex

Использование WFM в производстве

Эффективное управление производственными процессами требует точного учета, планирования и организации всех ресурсов предприятия, в т.ч. и персонала. В планы производства на предприятиях регулярно вносятся коррективы и для их выполнения требуется иметь возможно оперативно и оптимально перераспределить имеющиеся ресурсы для выполнения измененной производственной программы. В этой статье мы рассмотрим, как организовать и автоматизировать планирование расписания персонала в системе управления рабочей силой WFM TARGControl, исходя из актуального производственного плана предприятия.

https://habr.com/ru/articles/833376/

#wfm #планирование #производительность #производство #конвейер #расписание #вебсервисы #управление_людьми #1с #api