#краулер — Public Fediverse posts

Как отделить сквозные ссылки от контекстных, не парся вёрстку

Обошли краулером два сайта, посчитали PageRank и получили ровную кашу: у каждой страницы из меню сто с лишним входящих, у каждой вне меню две. Меню и подвал забивают весь граф, а редакционные ссылки в нём тонут. Разбираю способ отделить одни от других, не трогая разметку: тридцать строк кода, работает одинаково на Webflow и WordPress и переживает смену темы. Внутри замеры на двух живых сайтах, разбор ограничений и история про то, как этот метод один раз обманул меня самого.

https://habr.com/ru/articles/1088276/

#pagerank #перелинковка #граф_ссылок #краулер #seo #python #внутренние_ссылки #структура_сайта

Сколько страниц на SPA, или Как мы реализовали динамический краулер

Всем привет! Я Владимир Гринчуков, в Positive Technologies мы с командой PT BlackBox разрабатываем сканер безопасности. На вход он получает URL приложения, а после сканирования возвращает список уязвимостей. Как и любой анализ чёрным ящиком, он работает по простому принципу: сначала собирает поверхность атаки – список всех эндпойнтов приложения, их методов и параметров, – а потом ищет на них уязвимости. Сбор поверхности – это непростая задача, в решении которой мы набили много шишек. Компонент, который обходит приложение и фиксирует все входные точки, называется краулер – это неотъемлемая часть DAST-инструментов. Концептуально он работает очень просто: открыть страницу, найти все ссылки, перейти по ним и повторить, пока ссылки не закончатся. Чтобы быть пригодным для сканера уязвимостей, он, помимо основной функциональности, должен ещё отвечать требованиям воспроизводимости, автономности, конечности и скорости. Такой краулер называют статическим , и на практике его часто не хватает. В этой статье я расскажу о том, как мы разрабатывали динамический краулер , какие интересные проблемы решали и какие компромиссы приняли.

https://habr.com/ru/companies/pt/articles/1074820/

#анализ_безопасности #краулер #сканер_уязвимостей #pt_blackbox #поверхность_атаки #поиск_уязвимостей

Гибридный поиск по коду в GitLab: как я ускорил поиск по 100+ GitLab-проектам с часов до минут

Когда проектов в GitLab становится много, довольно быстро появляется одна и та же задача: найти, где используется конкретный API, URL, env-переменная или конфигурационный параметр. Пока репозиториев мало, всё просто: открыл поиск, ввел строку, получил результат. Но когда проектов уже больше сотни, а нужные вхождения лежат не только в коде, но и в YAML-конфигах, Helm-чартах, .env и JSON-файлах, жизнь становится менее романтичной. Первый лобовой вариант — просто скачать все проекты локально и искать по ним через grep , ripgrep или IDE. Работает, но тащить 100+ репозиториев на локальную машину ради одной проверки — идея так себе. Ноутбук, скорее всего, энтузиазма не разделит. Мне хотелось искать прямо поверх GitLab, без локального зеркала всей группы репозиториев. Я начал с просмотра готовых вариантов, а в итоге пришёл к своему гибридному краулеру: код ищется через GitLab API, а конфиги добираются отдельным глубоким обходом файлов. В результате поиск по 100+ проектам сократился с часов до нескольких минут.

https://habr.com/ru/articles/1019332/

#краулер #поиск #проект #гитлаб

Вайбкодинг для маркетплейсов

Как удалось с помощью GitHub Copilot автоматизировать отслеживание изменений в базе знаний Ozon. Мой опыт создания собственного сервиса для мониторинга и сравнения обновлений без знаний программирования, с пошаговым описыванием создания архитектуры процесса. Вайбкодить далее

https://habr.com/ru/articles/929754/

#вайбкодинг #вайбкодинг #github_pages #cursor #github_copilot #ozon #автоматизация #парсер #краулер

«Атака ботов»: как ИИ-краулеры ддосят онлайн-проекты

DDoS-атаки становятся масштабнее и опаснее. О «самом-самом»

https://habr.com/ru/companies/mws/articles/878074/

#DDoS #MWS #ИИ #robotstxt #краулер #поисковый_робот