home.social

#фильтрация — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #фильтрация, aggregated by home.social.

fetched live
  1. Как устроена сеть фильтрации CURATOR: путь трафика, BGP, VRF и централизованное управление

    Две недели назад в новости попал провайдер облака непрерывной доступности Curator, у которого впервые за десятилетие произошел сбой, приведший к полной недоступности всей сети фильтрации. Сегодня они у себя в блоге опубликовали подробный разбор этого инцидента, предварив его наглядным разбором архитектуры совей сети. Я законспектировал именно эту часть: как трафик проходит через узлы защиты, зачем нужны два контекста маршрутизации, какую роль играют BGP и watchdog.

    habr.com/ru/articles/1097506/

    #безопасность #фильтрация #ddos #bgp #waf #curator #антибот #антиботзащита

  2. Кривые Безье для обработки звука

    Казалось бы, в чём связь между графикой и звуком? Продолжая тему расчёта цифровых фильтров, постараемся дать ответ на этот вопрос.

    habr.com/ru/articles/1097110/

    #фильтрация #звук #исходный_код #цифровая_обработка_сигналов #преобразование_фурье #dsp #безье #эквалайзер #кихфильтр #ачх

  3. Робот в тумане: лошадь оставить, туман удалить

    Утром SpeedyBot отказался ехать: вокруг препятствия, хотя перед ним свободно. Протёрли лидар — не помогло. За призрачным кольцом оказался туман. Мы записали 5,81 миллиона точек, отправили робота к скамейке и устроили ему «Матрицу» из виртуальных столбов и сеток. Почему подавить 97% шума мало и как убрать кольцо, сохранив тонкие препятствия.

    habr.com/ru/articles/1095696/

    #фильтрация #навигация #робототехника #ros #туман #lidar #облако_точек #costmap

  4. Обработка цифрового звука фильтрами

    В данном материале в максимально простой форме изложены основы обработки цифрового звука, без подробного погружения в теорию цифровой обработки сигналов. Прилагается готовый код на C++ для расчета цифровых фильтров и собственно обработки звука.

    habr.com/ru/articles/1088440/

    #звук #dsp #цифровая_обработка_сигналов #преобразование_фурье #кихфильтр #нч #вч #ачх #исходный_код #фильтрация

  5. BitRank: Битовая система ранжирования на C++20

    В этой статье рассмотрим создание легковесной, типобезопасной библиотеки для ранжирования объектов по множеству критериев с использованием битовых масок. Библиотека bitrank позволяет оценивать объекты, присваивая им битовый ранг, где каждый бит соответствует выполнению определенного правила.

    habr.com/ru/articles/1064706/

    #шаблоны #битовые_маски #ранжирование #фильтрация #метапрограммирование

  6. Бесплатная защита от спама на почте с помощью ИИ фильтрации без VPN: многоуровневый метод с BERT и 550 МБ RAM

    Вас тоже достаёт спам и реклама? Рекламу я блокирую через свой DNS сервер и локальными CSS фильтрами, а вот для почты пришлось придумать что-то другое. Схема многоступенчатая. Первыми срабатывают фильтры Яндекса и Mail — что-то они отсеивают сами, ещё до пересылки. То, что прошло через них, падает на мой сервер, где стоит SpamAssassin. Ловит ещё часть. Но после двух уровней всё равно что-то просачивается, спамеры же не сидят без дела. И вот этот остаток доезжает до Gmail и что-то оседает в папке Спам, а что-то попадает во входящие и приходит раздражающее уведомление. Хотелось, чтобы со временем не накапливался мусор в папках, который надо разгребать вручную. Особенно важно заблокировать то, что не является полностью спамом: приглашения на конференции, партнёрские предложения, кредиты — формально не нарушение, поэтому байесовский фильтр такие вещи плохо ловит. Локальная BERT-модель закрыла обе проблемы. Взял ruBert-base-antispam с HuggingFace — файн-тюн на базе DeepPavlov/rubert-base-cased-conversational. 177 миллионов параметров, 12 слоёв трансформера, 768 hidden size. Физически не принимает больше 512 токенов на вход. В памяти занимает около 550 МБ, ответ приходит за 100-200 миллисекунд. Бинарный классификатор — текст на входе, 0 или 1 на выходе, никаких промптов и reasoning. Идеально!

    habr.com/ru/articles/1055518/

    #спам #email #BERT #AI #exim #dovecot #spamassassin #фильтрация #python #почта

  7. История о том, как мультикаст IGMP‑запрос перестал быть запросом и стал broadcast‑штормом Иногда сетевой инцид...

    #мультикаст #IGMP #Intel #X710 #сетевая #карта #аппаратная #фильтрация #broadcast-шторм #FreeBSD #драйверы

    Origin | Interest | Match
  8. За горизонтом «Белого списка»: Инженерный гид по связи в условиях жесткой фильтрации и шатдаунов Привет, Ха...

    #mesh-сети #dpi #белые #списки #фильтрация #трафика #delta #chat #meshtastic #lora #briar

    Origin | Interest | Match
  9. Метеостанция на Аtmega328 и NRF24L01 с выносным датчиком

    Казалось бы, простой проект метеостанции. Но при чем тут линейная интерполяция, хорды Архимеда, прочностный расчет, а также ошибки с разделением земли? Читайте в статье!

    habr.com/ru/articles/1013452/

    #печатная_плата #atmega328p #nrf24l01 #метеостанция #метеостанция_с_датчиками #автономность #энергосбережение #фильтрация #diyпроекты #ошибки_и_грабли

  10. Как мы отсеиваем 95% мусора из Telegram-чатов до того, как сообщение попадёт в LLM

    Привет, Хабр! Меня зовут Артём, я фаундер Leadl.ai . Мы строим AI-агента для поиска b2b-клиентов, и одна из его ключевых задач это мониторинг чатов и различных источников. Звучит просто, пока не сталкиваешься с масштабом. У нас в пуле 20000+ чатов в 15 источниках. Суммарно около 1000 000 000 сообщений в сутки. Из них реально полезных (запросы на услуги, поиск подрядчиков, вакансии) от силы 3-5%. Остальное: флуд, криптоспам, «доброе утро», мемы и бесконечные стикеры. Задача: вытащить эти 3-5% качественных сообщений. Первой мыслью было отдать всё на откуп большой LLM типа GPT-4o. Посчитали. Среднее сообщение 50 токенов. 100 000 сообщений 50 токенов/сообщение ($10 / 1M токенов) = $50 в день только на input. Добавьте сюда output и prompt — и счёт легко перевалит за $100-150/день или $3000-4500/месяц. Для стартапа это путь в никуда. Нам нужен был pipeline, который бы отсеивал мусор на ранних этапах, чтобы до дорогого LLM-скоринга доходило не более 5-10% от всего потока. Вот как мы его построили, через какие грабли прошли и что из этого вышло.

    habr.com/ru/articles/1010890/

    #скоринг #фильтрация #лиды

  11. Как мы отсеиваем 95% мусора из Telegram-чатов до того, как сообщение попадёт в LLM Привет, Хабр! Меня зовут Артём, я ф...

    #скоринг #фильтрация #лиды

    Origin | Interest | Match
  12. 18 решений для фильтрации и сортировки товаров в интернет-магазине, которые упростят выбор и повысят конверсию

    Всем привет! Меня зовут Саша, и последние 12 лет моя жизнь — это дизайн. Сегодня я руковожу дизайн-командой в KISLOROD, а в прошлом — помогал крупным брендам и миллионным сервисам обрести их уникальный голос и форму. Сегодня расскажу о реализации удобного функционала фильтрации и сортировки товаров. Выбирая и сравнивая товары, пользователь чаще всего опирается на информацию в категориях со списком товаров — листингах. Функционал фильтрации на страницах листинга призван упрощать выбор, но содержание и логика работы фильтров не всегда отвечают ожиданиям пользователей, что может негативно сказаться на конверсии.

    habr.com/ru/articles/1003946/

    #дизайн_студия #дизайн_интерфейсов #дизайн_сайтов #вебдизайн #вебсервисы #ux #ui #usability #вебприложения #фильтрация

  13. LLM не понимает намерение пользователя? На днях вышла новая статья "Beyond Context: Large Language Models Failure to Grasp Users Intent"...

    #интенты #llm-модели #контроль #поведения #фильтрация #ответов #prompt #engineering #intent #recognition

    Origin | Interest | Match
  14. Water Filtration Admission From Wildlife Survival Experts
    Прием фильтрaции воды от экспертов по выживанию в дикой природе

    #water #filtration #wildlife #survival #вода #фильтрация #advice #interesting #tips #интересно #советы #видео #video

  15. Qwen3Guard: следующий шаг в модерации и контроле контента Всем привет! Меня зовут Миша Мартьянов, я инженер по ис...

    #llm #ai #модерация #контента #безопасность #данных #qwen3 #bert #контент #фильтрация #rnd

    Origin | Interest | Match
  16. Qwen3Guard: следующий шаг в модерации и контроле контента Всем привет! Меня зовут Миша Мартьянов, я инженер по ис...

    #llm #ai #модерация #контента #безопасность #данных #qwen3 #bert #контент #фильтрация #rnd

    Origin | Interest | Match
  17. Как приручить бассейн: фильтрация, нагрев и химия без участия человека

    Бассейн — это целый набор инженерных систем: циркуляция и фильтрация воды, ее подогрев, контроль pH и окислительно-восстановительного потенциала (ORP), дозировка реагентов, система автодолива, освещение, а ещё и защита от протечек. Всё это должно работать согласованно, круглосуточно и без участия человека. В статье расскажем, как автоматизировали частный бассейн: какие задачи стояли, какое оборудование использовали и как всё это работает в реальной эксплуатации. Мы сразу отказались от «коробочной» автоматики, которую предлагали установщики бассейна: у нее не было дистанционного управления, интерфейс для пользователя был крайне неудобным, а возможности интеграции в общую систему — минимальными. Поэтому оставили только чашу и ее обвязку. Цель была в том, чтобы построить полностью автономную систему, которая живёт сама по себе и требует минимального внимания.

    habr.com/ru/companies/wirenboa

    #Wiren_Board #BARY #бассейн #хлор #насос #умный_дом #химия #фильтрация #нагрев #фильтры

  18. Как построить модель цифровых раций DMR в Engee

    Эта статья — подробный разбор того, как мы смоделировали современный стандарт профессиональной цифровой радиосвязи Digital Mobile Radio (DMR) на отечественной инженерной платформе Engee . Digital Mobile Radio (DMR) — это не просто «цифровая рация». Это международный открытый стандарт, который за счёт использования двухслотового TDMA позволяет удвоить ёмкость канала по сравнению с аналоговыми системами, сохраняя ту же полосу частот (12.5 кГц). DMR поддерживает не только голос, но и передачу данных, текстовых сообщений, GPS и обеспечивает надёжную, энергоэффективную связь для промышленности, служб быстрого реагирования и бизнеса. Если вы хотите заглянуть «под капот» цифровой радиосвязи и понять, как отечественный инструмент позволяет решать сложные задачи верификации протоколов, добро пожаловать! Заглянуть под капот!

    habr.com/ru/companies/etmc_exp

    #цос #фильтрация #fsk

  19. Разграничение доступа к данным дашборда в Superset с помощью фильтрации на основе логина (снова Jinja)

    Сегодня мы рассмотрим достаточное простое решение, как ограничить доступ к любому вашему дашборду на Суперсете, зная лишь емейл или логин пользователя , без использования стандартных не самых удобных прав пользователя «зашитых» в Superset.

    habr.com/ru/articles/938924/

    #superset #jinja #ограничение_прав #фильтрация #ограничение_доступа

  20. PM — Как фильтр для команды

    Всем привет! Сделайте, пожалуйста, это - супер срочно. А вот ещё одна функция, без которой мы жить не можем. А, ну и вот это тоже поправьте, пожалуйста. Знакомо? Если да - скорее всего, вы работаете в проекте, где нет фильтрации задач. Или уже пожинаете плоды её отсутствия.

    habr.com/ru/articles/901754/

    #проект #фильтрация

  21. Дома заклинило все донные клапаны в раковинах разом, после того как с женой скатались за город на пару дней. Странная херня, подумал я и вызвал сантехника. Тот всё снял, показывая и объясняя, что делает, чудесный мужик. Они всё ещё клинят чутка, но я знаю как их снять и как чинить (кинуть полежать в лимонную кислоту).

    Раз уж вызвал, нашёл ему ещё одно дело, которому я на тот момент ещё не успел обучиться - поменять картриджи в магистральных фильтрах. В процессе выяснили, что картриджи были установлены неправильно: недокручен один болтик и из-за этого #фильтры по сути ничего особо не фильтровали, но грязь копили (не были прижаты уплотнительные кольца). Ещё выяснили, что и картриджи были подобраны не совсем верно. Грубой очистки стоял универсальный на горячуюи холодную воду, хотя можно ставить просто на холодную. Тонкой очистки стоял не для магистральных, а для фильтров "под раковину". Вдобавок у меня стоял с серебром, а не комбинированный и поэтому он (не) работал с биологией, а не с отложениями минералов (ржавчина, известь итд).

    И вишенкой на торте оказалось то, что грубую очистку надо менять раз в месяц, тонкую - раз в три месяца. Сейчас принимаю ванну и фигею с того, какая кристально чистая #вода. А я-то думал что "блин, ну дойдут у меня руки ванну помыть, дойдут..."

    #водопровод #сантехника #фильтрация #лытдыбр

  22. Проверка на (не)вхождение строк через разные инструменты в PostgreSQL

    Сравниваем использование IN , EXISTS и JOIN для нахождения вхождений и рассматриваем их планы выполнения для разных ситуаций. Найти вхождение (◕‿◕)

    habr.com/ru/articles/878574/

    #Exists #IN #JOIN #Вхождение #Фильтрация

  23. Как мы перешли с оффсетной пагинации на курсорную, или о проблемах динамической фильтрации

    Привет, меня зовут Надежда и я Backend-разработчик в HiFi-стриминге Звук ! Занимаюсь всем, что связано с подкастами и немузыкальным контентом (а вы знаете, что в Звуке есть аудиокниги? Разработка нашей команды! PodcaTS, привет!). Какое-то время я также техлидила сервисы, которые отвечали за отдачу мета-информации и всего, что связано с аудио (артисты, релизы, треки, подкасты, аудиокниги) в Звуке. В процессе работы нашей команде пришлось споткнуться о проблему динамической фильтрации. Сначала мы получали данные, потом их фильтровали, но не знали, сколько отдадим в итоге. Для Звука и отдачи мета-информации эта проблема оказалась очень актуальной. В русскоязычном сегменте IT то ли никому не приходилось сталкиваться с этой ситуацией, то ли никто не выносил её на обсуждение, поэтому это решили сделать мы. Хочется поделиться своим опытом, помочь кому-то с аналогичными проблемами, а, может, и похоливарить на тему того, как ещё эту проблему можно решить.

    habr.com/ru/companies/zvuk/art

    #python #пагинация #backendразработка #offset #фильтрация

  24. Долгая дорога к дому: как вода очищается на пути из скважины в частный коттедж

    О том, как очищается вода на пути в частные квартиры, на Хабре писали уже довольно много. Эта вода приходит в водопровод уже частично очищенной местным поставщиком. А потом дополнительно фильтруется системами фильтрации на вход, стоящими в квартире, — и становится питьевой. В частном доме чистую воду получить сложнее — придя из скважины, она не очистится простым фильтром-кувшином или трехступенчатой конструкцией под раковиной. Подготовкой воды придется заниматься самостоятельно, иначе даже для бытовых нужд, вроде стирки, она будет непригодна. Мы в БАРЬЕР много лет изучаем этот путь воды и стараемся его облегчить, совершенствуя собственные системы фильтрации для коттеджей. Под катом мы проследим путь воды из скважины к потребителю в частном доме на примере нашей коттеджной системы очистки, покажем состав воды из скважины до и после фильтрации, и подробно расскажем про каждый этап. Пройти путь воды

    habr.com/ru/specials/808317/

    #очистка #научпоп #научнопопулярное #фильтрация #вода #экология #химия #барьер

  25. Клетка ХIV. Гомеостаз и метаболизм

    Гомеоста́з — саморегуляция, способность открытой системы сохранять постоянство своего внутреннего состояния посредством скоординированных реакций. Наш организм устроен так, что отклонение от нормального функционирования в любой, сколь бы она не была малой его области, обнаруживается, фиксируется, и возникает реакция, направленная на устранение таких отклонений. Обеспечивается это кровеносной, лимфатической и нервной системами во взаимодействии со множеством других, которые распределены по всему объему организма. Желательно, чтобы контроль состояния всего организма и возникающие возмущения нормы в той или иной области выполнялись бы непрерывно, но за это приходится платить ресурсами и очень дорого. Поэтому и в технических системах, и в живых организмах такой контроль осуществляется повсеместно, но периодически (дискретно, не непрерывно). Все системы контроля и управления в организме устроены очень разумно (хотя и не идеально), и достаточно сложно. Кровь по сосудам перемещается непрерывно благодаря насосу-сердцу и по всему организму. Кровоток (как и ток лимфы, или нервный импульс) удобный транспорт, который захватывает частицы, например, «изломанных» белков, от которых избавляются клетки, выделяемые гормоны, избыток веществ (солей натрия, калия, мочевины), лишней жидкости и др. Если на пути кровотока поставить фильтр-регулятор (это как раз почки), то кровь, и ее плазма будут очищаться, обломки белков разлагаться до аминокислот, вредные (ядовитые) вещества удаляться, а полезные – возвращаться в кровоток с целью доставки, туда, где они нужны, и повторного использования. Задача удаления вредного и ненужного возлагается на естественную выделительную систему, а в случае ее отказа на искусственную почку (ИП), которая также устроена весьма непросто.

    habr.com/ru/articles/806329/

    #гомеостаз #метаболизм #фильтрация #осмос #почки #кровь #лимфатическая_система #нервная_система #гемодиализ

Share on Mastodon

Enter the server where you have an account.