#краулер — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #краулер, aggregated by home.social.
-
Гибридный поиск по коду в GitLab: как я ускорил поиск по 100+ GitLab-проектам с часов до минут
Когда проектов в GitLab становится много, довольно быстро появляется одна и та же задача: найти, где используется конкретный API, URL, env-переменная или конфигурационный параметр. Пока репозиториев мало, всё просто: открыл поиск, ввел строку, получил результат. Но когда проектов уже больше сотни, а нужные вхождения лежат не только в коде, но и в YAML-конфигах, Helm-чартах, .env и JSON-файлах, жизнь становится менее романтичной. Первый лобовой вариант — просто скачать все проекты локально и искать по ним через grep , ripgrep или IDE. Работает, но тащить 100+ репозиториев на локальную машину ради одной проверки — идея так себе. Ноутбук, скорее всего, энтузиазма не разделит. Мне хотелось искать прямо поверх GitLab, без локального зеркала всей группы репозиториев. Я начал с просмотра готовых вариантов, а в итоге пришёл к своему гибридному краулеру: код ищется через GitLab API, а конфиги добираются отдельным глубоким обходом файлов. В результате поиск по 100+ проектам сократился с часов до нескольких минут.
-
Вайбкодинг для маркетплейсов
Как удалось с помощью GitHub Copilot автоматизировать отслеживание изменений в базе знаний Ozon. Мой опыт создания собственного сервиса для мониторинга и сравнения обновлений без знаний программирования, с пошаговым описыванием создания архитектуры процесса. Вайбкодить далее
https://habr.com/ru/articles/929754/
#вайбкодинг #вайбкодинг #github_pages #cursor #github_copilot #ozon #автоматизация #парсер #краулер
-
«Атака ботов»: как ИИ-краулеры ддосят онлайн-проекты
DDoS-атаки становятся масштабнее и опаснее. О «самом-самом»