#bot_detection — Public Fediverse posts

По обе стороны антибота: как я имитирую Chrome при скрейпинге и ловлю ботов по тем же сигналам

Я собираю афишу города в одну карту из пяти источников. Два из них — Яндекс.Афиша и afisha.ru — собирать себя не хотят. И режут не так, как ждешь: ни логина, ни капчи на входе, ни «подтвердите, что вы не робот». Мой requests.get(...) ловит 403 — даже когда заголовки скопированы из Chrome один в один . Первая мысль была дурацкая: где-то не хватает куки или очередного sec-ch-ua . Оказалось — проблема раньше. К тому моменту, когда сервер читает мой браузерный User-Agent , он уже успел посмотреть, как именно клиент открыл защищенное соединение . Питоновский клиент палится ровно тем, как он здоровается.

https://habr.com/ru/articles/1063180/

#TLS_fingerprint #JA3 #JA4 #curl_cffi #антибот #парсинг #BoringSSL #fraud_score #bot_detection #http2