#защита_от_ботов — Public Fediverse posts

Парсинг тарифов интернета и ТВ. Selenium + BeautifulSoup: трудности динамического контента и защиты от ботов

На этапе тестирования я отобрал 6 городов (Москва, Санкт-Петербург, Новосибирск, Екатеринбург, Казань, Красноярск) и двух крупнейших провайдеров России - Ростелеком и Дом.ру. В планах масштабирование на большее количество городов и операторов. Для парсинга тарифов у провайдеров применял связку Python + Selenium + BeautifulSoup, через хранимую процедуру складывал полученные данные в базу PostgreSQL.

https://habr.com/ru/articles/1017230/

#парсинг #Selenium #BeautifulSoup #PostgreSQL #динамические_сайты #защита_от_ботов #Python #тарифы

Парсинг тарифов интернета и ТВ. Selenium + BeautifulSoup: трудности динамического контента и защиты от ботов

На этапе тестирования я отобрал 6 городов (Москва, Санкт-Петербург, Новосибирск, Екатеринбург, Казань, Красноярск) и двух крупнейших провайдеров России - Ростелеком и Дом.ру. В планах масштабирование на большее количество городов и операторов. Для парсинга тарифов у провайдеров применял связку Python + Selenium + BeautifulSoup, через хранимую процедуру складывал полученные данные в базу PostgreSQL.

https://habr.com/ru/articles/1017230/

#парсинг #Selenium #BeautifulSoup #PostgreSQL #динамические_сайты #защита_от_ботов #Python #тарифы

Парсинг тарифов интернета и ТВ. Selenium + BeautifulSoup: трудности динамического контента и защиты от ботов

На этапе тестирования я отобрал 6 городов (Москва, Санкт-Петербург, Новосибирск, Екатеринбург, Казань, Красноярск) и двух крупнейших провайдеров России - Ростелеком и Дом.ру. В планах масштабирование на большее количество городов и операторов. Для парсинга тарифов у провайдеров применял связку Python + Selenium + BeautifulSoup, через хранимую процедуру складывал полученные данные в базу PostgreSQL.

https://habr.com/ru/articles/1017230/

#парсинг #Selenium #BeautifulSoup #PostgreSQL #динамические_сайты #защита_от_ботов #Python #тарифы

Парсинг тарифов интернета и ТВ. Selenium + BeautifulSoup: трудности динамического контента и защиты от ботов

На этапе тестирования я отобрал 6 городов (Москва, Санкт-Петербург, Новосибирск, Екатеринбург, Казань, Красноярск) и двух крупнейших провайдеров России - Ростелеком и Дом.ру. В планах масштабирование на большее количество городов и операторов. Для парсинга тарифов у провайдеров применял связку Python + Selenium + BeautifulSoup, через хранимую процедуру складывал полученные данные в базу PostgreSQL.

https://habr.com/ru/articles/1017230/

#парсинг #Selenium #BeautifulSoup #PostgreSQL #динамические_сайты #защита_от_ботов #Python #тарифы

Нейрокраулеры и DDoS-защита: как дать доступ ботам нейросетей и сохранить устойчивость сайта

Когда на сайте усиливают защиту от ботов и аномальной нагрузки, под ограничения часто попадают не только злоумышленники, но и легитимные краулеры – поисковые роботы и клиенты генеративных систем, которые читают публичные страницы как источники. Итог: нагрузка частично снизилась, но одновременно ухудшилась индексация, доступность контента и шансы быть источником в «ответном слое». Важно: это статья не о том, что «боты нейросетей опасны». Она о более распространенном сценарии: защита от L7-злоупотреблений включается так, что вместе с атакующим трафиком перекрывается чтение публичных страниц – и это не всегда заметно, пока не просядет индексация/видимость/цитируемость. В статье – практический разбор, как избежать такого сценария:

https://habr.com/ru/articles/995718/

#нейросети #защита_от_ddos #защита_от_ботов #поисковые_системы

Да кто это такой, ваш RPS? Как рассчитать емкость сайта для защиты от веб-атак

Всем привет! Сегодня любое развитие онлайн-бизнеса, его процессы и выручка напрямую зависят от бесперебойной работы сайтов и веб-приложений. Тут же возникает риск кражи персональных данных и чувствительной информации из хранилищ веб-сайтов и приложений. Еще хуже, если злоумышленники взломают онлайн-ресурс, а затем продолжат развитие атаки уже внутри инфраструктуры компании. Чтобы избежать кибератак, приводящим к потере прибыли и штрафам за утечки данных, нужно заняться защитой своих веб-приложений. Чаще всего для защиты от атак на сайты и веб-приложения используют сервис WAF . Один нюанс – при подключении такого сервиса требуется грамотно рассчитать основной параметр емкости – Requests Per Second (RPS). Это нужно, чтобы WAF обладал емкостью, которой будет хватать для стабильной работы онлайн-ресурса, и при этом его владелец не переплачивал за лишние мощности. В этой статье мы расскажем, как рассчитать RPS четырьмя разными способами, чтобы успешно защитить свой онлайн-бизнес от хакеров.

https://habr.com/ru/companies/solarsecurity/articles/960572/

#вебатаки #waf #rps #защита_от_атак #защита_от_ботов #защита_от_копирования #информационная_безопасность #cybersecurity #rb #кибербезопасность

Да кто это такой, ваш RPS? Как рассчитать емкость сайта для защиты от веб-атак

Всем привет! Сегодня любое развитие онлайн-бизнеса, его процессы и выручка напрямую зависят от бесперебойной работы сайтов и веб-приложений. Тут же возникает риск кражи персональных данных и чувствительной информации из хранилищ веб-сайтов и приложений. Еще хуже, если злоумышленники взломают онлайн-ресурс, а затем продолжат развитие атаки уже внутри инфраструктуры компании. Чтобы избежать кибератак, приводящим к потере прибыли и штрафам за утечки данных, нужно заняться защитой своих веб-приложений. Чаще всего для защиты от атак на сайты и веб-приложения используют сервис WAF . Один нюанс – при подключении такого сервиса требуется грамотно рассчитать основной параметр емкости – Requests Per Second (RPS). Это нужно, чтобы WAF обладал емкостью, которой будет хватать для стабильной работы онлайн-ресурса, и при этом его владелец не переплачивал за лишние мощности. В этой статье мы расскажем, как рассчитать RPS четырьмя разными способами, чтобы успешно защитить свой онлайн-бизнес от хакеров.

https://habr.com/ru/companies/solarsecurity/articles/960572/

#вебатаки #waf #rps #защита_от_атак #защита_от_ботов #защита_от_копирования #информационная_безопасность #cybersecurity #rb #кибербезопасность

Да кто это такой, ваш RPS? Как рассчитать емкость сайта для защиты от веб-атак

Всем привет! Сегодня любое развитие онлайн-бизнеса, его процессы и выручка напрямую зависят от бесперебойной работы сайтов и веб-приложений. Тут же возникает риск кражи персональных данных и чувствительной информации из хранилищ веб-сайтов и приложений. Еще хуже, если злоумышленники взломают онлайн-ресурс, а затем продолжат развитие атаки уже внутри инфраструктуры компании. Чтобы избежать кибератак, приводящим к потере прибыли и штрафам за утечки данных, нужно заняться защитой своих веб-приложений. Чаще всего для защиты от атак на сайты и веб-приложения используют сервис WAF . Один нюанс – при подключении такого сервиса требуется грамотно рассчитать основной параметр емкости – Requests Per Second (RPS). Это нужно, чтобы WAF обладал емкостью, которой будет хватать для стабильной работы онлайн-ресурса, и при этом его владелец не переплачивал за лишние мощности. В этой статье мы расскажем, как рассчитать RPS четырьмя разными способами, чтобы успешно защитить свой онлайн-бизнес от хакеров.

https://habr.com/ru/companies/solarsecurity/articles/960572/

#вебатаки #waf #rps #защита_от_атак #защита_от_ботов #защита_от_копирования #информационная_безопасность #cybersecurity #rb #кибербезопасность

Да кто это такой, ваш RPS? Как рассчитать емкость сайта для защиты от веб-атак

Всем привет! Сегодня любое развитие онлайн-бизнеса, его процессы и выручка напрямую зависят от бесперебойной работы сайтов и веб-приложений. Тут же возникает риск кражи персональных данных и чувствительной информации из хранилищ веб-сайтов и приложений. Еще хуже, если злоумышленники взломают онлайн-ресурс, а затем продолжат развитие атаки уже внутри инфраструктуры компании. Чтобы избежать кибератак, приводящим к потере прибыли и штрафам за утечки данных, нужно заняться защитой своих веб-приложений. Чаще всего для защиты от атак на сайты и веб-приложения используют сервис WAF . Один нюанс – при подключении такого сервиса требуется грамотно рассчитать основной параметр емкости – Requests Per Second (RPS). Это нужно, чтобы WAF обладал емкостью, которой будет хватать для стабильной работы онлайн-ресурса, и при этом его владелец не переплачивал за лишние мощности. В этой статье мы расскажем, как рассчитать RPS четырьмя разными способами, чтобы успешно защитить свой онлайн-бизнес от хакеров.

https://habr.com/ru/companies/solarsecurity/articles/960572/

#вебатаки #waf #rps #защита_от_атак #защита_от_ботов #защита_от_копирования #информационная_безопасность #cybersecurity #rb #кибербезопасность

Ловись, вирус, большой да маленький: топ антивирусов в России

Мы регулярно анализируем статистику продаж в разных продуктовых сегментах и делимся своими результатами. Но, помимо «традиционных» для сети «М.Видео‑Эльдорадо» сегментов вроде компьютеров или телевизоров, мы подводим итоги и в других. Сегодня расскажем, как продавались в России антивирусы. Рынок информационной безопасности (ИБ), конечно, гораздо шире, нежели сегмент антивирусов. Но антивирусы — индикатор, по которому можно судить о состоянии рынка в целом.

https://habr.com/ru/companies/mvideo/articles/900786/

#МВидео #Эльдорадо #антивирусы #защита #защита_информации #защита_данных #защита_персональных_данных #защита_от_ботов #защита_прав_потребителей #защита_от_ddos

Защита от DDoS или как нам «впаривают» страх

Вокруг DDoS-атак и защиты от них сформировался целый рынок страха, где услуги нередко продаются втридорога, а реальная потребность большинства сайтов в дорогих анти-DDoS-решениях сильно преувеличена. В этой статье я разберу, как устроены DDoS-атаки, почему большинство сайтов не нуждаются в дорогостоящей защите и как можно эффективно и недорого обезопасить свой ресурс. По полочкам: - Чего действительно стоит бояться, а что — просто маркетинг; - «Бесплатный анти-DDoS» — провайдер защищает себя, но, типа, нас; - 1000 скачиваний одной картинки — это и есть DDoS от которого падают наши сайты; - Как отсеивать HTTP-бото-мусор одной проверкой JavaScript; - Как развернуть страницу верификации на своем сервере и эффективно отсеивать ботов;

https://habr.com/ru/articles/915514/

#ddos #ddosзащита #ddosатака #защита_от_ботов #waf #web_application_firewall

Как обезопасить веб-сайт от атак ботов через Cloudflare

Сегодня расскажу как быстро и просто можно заблокировать вредных ботов через Cloudflare и дать дорогу полезным ботам от Google и Яндекс.

https://habr.com/ru/articles/795225/

#защита_сайта #защита_от_ddos #защита_от_ботов #защита

Как защитить свой VDS сервер: 53 000 попыток взлома за 5 дней

Как защитить свой VDS сервер: 53 000 попыток взлома за 5 дней Представьте себе: вы арендовали скромный VDS, чтобы поэкспериментировать. Ничего грандиозного — пара тестовых сайтов, простенький веб-сервер на nginx, пара скриптов в cron для автоматизации рутины, SSH для удалённого доступа. Обычная песочница для разработчика, никому, казалось бы, не интересная. Сервер тихо живёт своей жизнью где-то в облаке, отдаёт странички, выполняет задачи, ждёт ваших команд. Вы даже не подозреваете, что за этой тишиной уже разворачивается настоящая цифровая охота. За два года работы в технической поддержке облачного хостинга я видел множество взломов, помогал клиентам с восстановлением серверов. Видел всё: от примитивных майнеров до полностью стёртых проектов без бэкапов. Сейчас я работаю инженером технической поддержки в компании CleverData (входит в холдинг LANSOFT). Однажды, ради чистого любопытства, я решил заглянуть в логи свежеиспечённого VDS, созданного всего пять дней назад...

https://habr.com/ru/companies/lansoft_career/articles/956730/

#информационная_безопасность #хостинг #vds #защита_от_ботов

Пока Путин и Трамп делят влияние, мы режем ботов до их вторжения в наши умы

90% ботов на BAS, Zenoposter и прочем Win-софте светят порты 47001 и 5985. В статье — инструкция, как вычислять таких «твиттерных комментаторов» и вычищать их из чатов и рекламных кампаний. Читай, чтобы понять, как интернет-хомячки манипулируют твоим мнением и цифрами в аналитике.

https://habr.com/ru/articles/936204/

#спамфильтр #спам #боты #выявление_атак #защита_от_ботов #rdp #влияние_на_массы

Прощай, reCAPTCHA! Как я защитил формы входа с помощью бесплатной и невидимой CAPTCHA от Cloudflare

Привет, Хабр! На связи разработчик Peakline — аналитической платформы для Strava. Сегодня я хочу поделиться опытом внедрения Cloudflare Turnstile в веб-приложение на FastAPI. Это решение позволило мне отказаться от назойливых CAPTCHA, улучшить пользовательский опыт и при этом надежно защитить формы регистрации и входа от ботов.

https://habr.com/ru/articles/925310/

#Cloudflare_Turnstile #fastapi #Python #CAPTCHA #captcha_защита #ux #защита_от_ботов #туториал #веббезопасность #аутентификация_пользователей

7 Дыр Я.Директ. Новогодний обзор фишек за которые платишь ты

Ты узнаешь, как настроить склик с одного рабочего места — ровно так, как это делают твои конкуренты. Спам-заявки, битые номера, нулевые визиты — всё это последствие идейного подхода системы защиты. Вот реальные проблемы: - Имя и телефон "его", но заявку никто не оставлял. - Телефон не существует. - Деньги списаны, а визитов в Метрике — ноль. Как работают клик-фермы и как создать свою — читай в статье.

https://habr.com/ru/articles/869184/

#Янедкс_Директ #скликивание #защита_от_ботов #защита_сайта #прокси_фермы

Защита сайта от накрутки ПФ: превращаем ботов в тормоза для их серверов

В этой статье мы перегрузим сервер бота ресурсоемким скриптом - чтобы боту было дорого и больно заходить на сайт. Боту проще не иметь дело с таким сайтом чем покупать отдельный сервер для его поддержки. Как заставить бота не заходить на сайт, с инструкцией, кейсом и примером кода читайте далее.

https://habr.com/ru/articles/861448/

#защита_сайта #защита_от_ботов #поведенческие_факторы #защита_от_накрутки

ПО шагам: Защищаем сайт от парсеров и поведенческих ботов с помощью DNS-прокси

- контент не будет спаршен - с ВПН работает - выявит высокоуровневых JS ботов - реальных не заблокирует - фиксирование только настоящих просмотров - рекомендательная система будет работать изумительно Как интегрировать защиту, как выявить фейковых http ботов, как написать свой код верификации пользователя на прокси сервере и еще читайте далее.

https://habr.com/ru/articles/851698/

#защита_от_парсинга #защита_от_ботов #защита_сайта #dns

Слепок Браузера: альтернативный подход для борьбы с вредоносным трафиком

Я расскажу как по слепку браузера выявлять вредоносный трафик. В статье дам ссылку по которой можно посмотреть слепок своего браузера и любой другой бот программы: желающие могут "поиграть" на досуге.

https://habr.com/ru/articles/830998/

#защита_от_ботов #антифрод #защита_сайта

1 строчка кода для решения проблемы ПФ

Вот подскажите, что бы вы сделали в этом случае? На сайт, было 100 качественных переходов от верифицированных пользователей из поиска. Но всем этим 100 "качественным" пользователям была показана капча. Т.е. у меня трафик из 100%-в капча-пользователей. Что делать? Кончено же! - "Повысить ранжирование сайта в поисковой выдаче!" - Оригинально(. - Как сделать чтобы рекламная сеть работала без антифрода? - На чем должна быть основана работа настоящего антифрода? - У них нужно учиться: Алгоритм работы антифрода Cимиларвеб.

https://habr.com/ru/articles/814803/

#повышение_конверсии #яндекс_директ #боты #фрод #кликфрод #защита_от_ботов #антифрод #поведенческие_факторы

Как DDoS-атаки стали для нас рутиной и как ML помогает их отражать

Несколько лет назад увидеть DDoS-атаку было целым событием. Если такое и случалось, то инцидент тщательно анализировала целая команда специалистов, а каждая извлечённая крупица информации использовалась для обучения моделей, формирования новых факторов и улучшения подходов для защиты от новых потенциальных атак. Но постепенно число атак увеличивалось, и в какой-то момент отбить очередной DDoS стало обычным делом. Только за прошедший 2023 год мы в Яндексе отразили 1002 атаки. В этом нам помогло инхаус-решение — Антиробот, который работает на уровне L7 сетевой модели OSI. В этом посте я хочу рассказать о том, как работает, на чём обучается Антиробот и с какими атаками ему приходится иметь дело. А ещё расскажу, почему важно системно подходить к анализу каждой атаки и как ML помогает отражать их.

https://habr.com/ru/companies/yandex/articles/796497/

#антифрод #ddos #ddosатаки #ddosзащита #информационная_безопасность #яндекс #smartcaptcha #капча #защита_сайта #защита_от_ботов

1 строчка кода для решения проблемы ПФ

Вот подскажите, что бы вы сделали в этом случае? На сайт, было 100 качественных переходов от верифицированных пользователей из поиска. Но всем этим 100 "качественным" пользователям была показана капча. Т.е. у меня трафик из 100%-в капча-пользователей. Что делать? Кончено же! - "Повысить ранжирование сайта в поисковой выдаче!" - Оригинально(. - Как сделать чтобы рекламная сеть работала без антифрода? - На чем должна быть основана работа настоящего антифрода? - У них нужно учиться: Алгоритм работы антифрода Cимиларвеб.

https://habr.com/ru/articles/814803/

#повышение_конверсии #яндекс_директ #боты #фрод #кликфрод #защита_от_ботов #антифрод #поведенческие_факторы

1 строчка кода для решения проблемы ПФ

Вот подскажите, что бы вы сделали в этом случае? На сайт, было 100 качественных переходов от верифицированных пользователей из поиска. Но всем этим 100 "качественным" пользователям была показана капча. Т.е. у меня трафик из 100%-в капча-пользователей. Что делать? Кончено же! - "Повысить ранжирование сайта в поисковой выдаче!" - Оригинально(. - Как сделать чтобы рекламная сеть работала без антифрода? - На чем должна быть основана работа настоящего антифрода? - У них нужно учиться: Алгоритм работы антифрода Cимиларвеб.

https://habr.com/ru/articles/814803/

#повышение_конверсии #яндекс_директ #боты #фрод #кликфрод #защита_от_ботов #антифрод #поведенческие_факторы

Как DDoS-атаки стали для нас рутиной и как ML помогает их отражать

Несколько лет назад увидеть DDoS-атаку было целым событием. Если такое и случалось, то инцидент тщательно анализировала целая команда специалистов, а каждая извлечённая крупица информации использовалась для обучения моделей, формирования новых факторов и улучшения подходов для защиты от новых потенциальных атак. Но постепенно число атак увеличивалось, и в какой-то момент отбить очередной DDoS стало обычным делом. Только за прошедший 2023 год мы в Яндексе отразили 1002 атаки. В этом нам помогло инхаус-решение — Антиробот, который работает на уровне L7 сетевой модели OSI. В этом посте я хочу рассказать о том, как работает, на чём обучается Антиробот и с какими атаками ему приходится иметь дело. А ещё расскажу, почему важно системно подходить к анализу каждой атаки и как ML помогает отражать их.

https://habr.com/ru/companies/yandex/articles/796497/

#антифрод #ddos #ddosатаки #ddosзащита #информационная_безопасность #яндекс #smartcaptcha #капча #защита_сайта #защита_от_ботов

Как DDoS-атаки стали для нас рутиной и как ML помогает их отражать

Несколько лет назад увидеть DDoS-атаку было целым событием. Если такое и случалось, то инцидент тщательно анализировала целая команда специалистов, а каждая извлечённая крупица информации использовалась для обучения моделей, формирования новых факторов и улучшения подходов для защиты от новых потенциальных атак. Но постепенно число атак увеличивалось, и в какой-то момент отбить очередной DDoS стало обычным делом. Только за прошедший 2023 год мы в Яндексе отразили 1002 атаки. В этом нам помогло инхаус-решение — Антиробот, который работает на уровне L7 сетевой модели OSI. В этом посте я хочу рассказать о том, как работает, на чём обучается Антиробот и с какими атаками ему приходится иметь дело. А ещё расскажу, почему важно системно подходить к анализу каждой атаки и как ML помогает отражать их.

https://habr.com/ru/companies/yandex/articles/796497/

#антифрод #ddos #ddosатаки #ddosзащита #информационная_безопасность #яндекс #smartcaptcha #капча #защита_сайта #защита_от_ботов