#web_scraping — Public Fediverse posts

Как мы форкнули undetected-chromedriver и добавили SOCKS5, мультипроцессинг и модуль капчи

Устали от блокировок CloudFlare и капч? Показываю библиотеку rtfox-browser — готовое решение для автоматизации Chrome с прокси и решением капчи «из коробки». Установка, настройка, примеры кода и создание своих солверов.

https://habr.com/ru/articles/1030550/

#rtfoxbrowser #undetectedchromedriver #selenium #python #парсинг #web_scraping #обход_cloudflare #captcha_solving #socks5_proxy #chromedriver

Как мы форкнули undetected-chromedriver и добавили SOCKS5, мультипроцессинг и модуль капчи

Устали от блокировок CloudFlare и капч? Показываю библиотеку rtfox-browser — готовое решение для автоматизации Chrome с прокси и решением капчи «из коробки». Установка, настройка, примеры кода и создание своих солверов.

https://habr.com/ru/articles/1030550/

#rtfoxbrowser #undetectedchromedriver #selenium #python #парсинг #web_scraping #обход_cloudflare #captcha_solving #socks5_proxy #chromedriver

Как мы форкнули undetected-chromedriver и добавили SOCKS5, мультипроцессинг и модуль капчи

Устали от блокировок CloudFlare и капч? Показываю библиотеку rtfox-browser — готовое решение для автоматизации Chrome с прокси и решением капчи «из коробки». Установка, настройка, примеры кода и создание своих солверов.

https://habr.com/ru/articles/1030550/

#rtfoxbrowser #undetectedchromedriver #selenium #python #парсинг #web_scraping #обход_cloudflare #captcha_solving #socks5_proxy #chromedriver

Как мы форкнули undetected-chromedriver и добавили SOCKS5, мультипроцессинг и модуль капчи

Устали от блокировок CloudFlare и капч? Показываю библиотеку rtfox-browser — готовое решение для автоматизации Chrome с прокси и решением капчи «из коробки». Установка, настройка, примеры кода и создание своих солверов.

https://habr.com/ru/articles/1030550/

#rtfoxbrowser #undetectedchromedriver #selenium #python #парсинг #web_scraping #обход_cloudflare #captcha_solving #socks5_proxy #chromedriver

I haven't paid much attention to what Anthropic does in regards to scraping the Internet to train their #LLM models ... but this is quite a bold statement:

You may not access or use, or help another person to access or use, our Services in the following ways: [...] To crawl, scrape, or otherwise harvest data or information from our Services other than as permitted under these Terms.

#AI #web_scraping #claude

Как экспортировать плейлист из Яндекс Музыки за 10 секунд

Иногда хочется выгрузить список треков из плейлиста Яндекс Музыки — например чтобы: • сохранить треклист • перенести музыку в другой сервис • сделать бэкап • проанализировать плейлист Ещё одна причина — изменения в версиях треков. В некоторых случаях в каталоге Яндекс Музыки используются отредактированные версии песен (например, с запиканной ненормативной лексикой или изменёнными фрагментами текста). Поэтому иногда хочется сохранить оригинальный список треков из плейлиста, чтобы при необходимости найти альтернативные или оригинальные версии композиций в других сервисах. Но у Яндекс Музыки нет функции экспорта .

https://habr.com/ru/articles/1013718/

#yandex_music #яндекс_музыка #экспорт_плейлиста #javascript #web_scraping #playlist_export

Как экспортировать плейлист из Яндекс Музыки за 10 секунд

Иногда хочется выгрузить список треков из плейлиста Яндекс Музыки — например чтобы: • сохранить треклист • перенести музыку в другой сервис • сделать бэкап • проанализировать плейлист Ещё одна причина — изменения в версиях треков. В некоторых случаях в каталоге Яндекс Музыки используются отредактированные версии песен (например, с запиканной ненормативной лексикой или изменёнными фрагментами текста). Поэтому иногда хочется сохранить оригинальный список треков из плейлиста, чтобы при необходимости найти альтернативные или оригинальные версии композиций в других сервисах. Но у Яндекс Музыки нет функции экспорта .

https://habr.com/ru/articles/1013718/

#yandex_music #яндекс_музыка #экспорт_плейлиста #javascript #web_scraping #playlist_export

Как экспортировать плейлист из Яндекс Музыки за 10 секунд

Иногда хочется выгрузить список треков из плейлиста Яндекс Музыки — например чтобы: • сохранить треклист • перенести музыку в другой сервис • сделать бэкап • проанализировать плейлист Ещё одна причина — изменения в версиях треков. В некоторых случаях в каталоге Яндекс Музыки используются отредактированные версии песен (например, с запиканной ненормативной лексикой или изменёнными фрагментами текста). Поэтому иногда хочется сохранить оригинальный список треков из плейлиста, чтобы при необходимости найти альтернативные или оригинальные версии композиций в других сервисах. Но у Яндекс Музыки нет функции экспорта .

https://habr.com/ru/articles/1013718/

#yandex_music #яндекс_музыка #экспорт_плейлиста #javascript #web_scraping #playlist_export

Как экспортировать плейлист из Яндекс Музыки за 10 секунд

Иногда хочется выгрузить список треков из плейлиста Яндекс Музыки — например чтобы: • сохранить треклист • перенести музыку в другой сервис • сделать бэкап • проанализировать плейлист Ещё одна причина — изменения в версиях треков. В некоторых случаях в каталоге Яндекс Музыки используются отредактированные версии песен (например, с запиканной ненормативной лексикой или изменёнными фрагментами текста). Поэтому иногда хочется сохранить оригинальный список треков из плейлиста, чтобы при необходимости найти альтернативные или оригинальные версии композиций в других сервисах. Но у Яндекс Музыки нет функции экспорта .

https://habr.com/ru/articles/1013718/

#yandex_music #яндекс_музыка #экспорт_плейлиста #javascript #web_scraping #playlist_export

Автоматизация рутины на hh.ru: Как мы учили Headless Chrome притворяться живым человеком (RPA против Anti-Fraud)

С инженерной точки зрения поиск работы — это процесс с низкой энтропией. Есть входящий поток данных (JSON с вакансиями) и есть необходимость отправить ответный сигнал (POST-запрос с откликом). Задача кажется тривиальной для автоматизации: написал парсер, настроил cron, пошел пить кофе. Однако, если вы попробуете автоматизировать отклики на крупных job-board платформах (особенно на hh.ru ) в 2026 году, вы столкнетесь с серьезным противодействием. WAF (Web Application Firewall), анализ TLS-отпечатков, поведенческая биометрия и теневые баны — это реальность, которая убивает скрипты на requests за пару часов. В этой статье разберем архитектуру решения, которое позволяет автоматизировать процесс отклика, используя подходы RPA (Robotic Process Automation), мимикрию под поведение пользователя (Human Mimicry) и LLM для обхода смысловых фильтров. (Дисклеймер: Статья носит исследовательский характер. Мы не призываем нарушать правила площадок, а разбираем технические методы эмуляции браузера).

https://habr.com/ru/articles/983318/

#Искусственный_интеллект #RPA #Playwright #Selenium #Парсинг #AntiFraud #Fingerprinting #Web_Scraping #LLM #Автоматизация_рутины

Автоматизация рутины на hh.ru: Как мы учили Headless Chrome притворяться живым человеком (RPA против Anti-Fraud)

С инженерной точки зрения поиск работы — это процесс с низкой энтропией. Есть входящий поток данных (JSON с вакансиями) и есть необходимость отправить ответный сигнал (POST-запрос с откликом). Задача кажется тривиальной для автоматизации: написал парсер, настроил cron, пошел пить кофе. Однако, если вы попробуете автоматизировать отклики на крупных job-board платформах (особенно на hh.ru ) в 2026 году, вы столкнетесь с серьезным противодействием. WAF (Web Application Firewall), анализ TLS-отпечатков, поведенческая биометрия и теневые баны — это реальность, которая убивает скрипты на requests за пару часов. В этой статье разберем архитектуру решения, которое позволяет автоматизировать процесс отклика, используя подходы RPA (Robotic Process Automation), мимикрию под поведение пользователя (Human Mimicry) и LLM для обхода смысловых фильтров. (Дисклеймер: Статья носит исследовательский характер. Мы не призываем нарушать правила площадок, а разбираем технические методы эмуляции браузера).

https://habr.com/ru/articles/983318/

#Искусственный_интеллект #RPA #Playwright #Selenium #Парсинг #AntiFraud #Fingerprinting #Web_Scraping #LLM #Автоматизация_рутины

Автоматизация рутины на hh.ru: Как мы учили Headless Chrome притворяться живым человеком (RPA против Anti-Fraud)

С инженерной точки зрения поиск работы — это процесс с низкой энтропией. Есть входящий поток данных (JSON с вакансиями) и есть необходимость отправить ответный сигнал (POST-запрос с откликом). Задача кажется тривиальной для автоматизации: написал парсер, настроил cron, пошел пить кофе. Однако, если вы попробуете автоматизировать отклики на крупных job-board платформах (особенно на hh.ru ) в 2026 году, вы столкнетесь с серьезным противодействием. WAF (Web Application Firewall), анализ TLS-отпечатков, поведенческая биометрия и теневые баны — это реальность, которая убивает скрипты на requests за пару часов. В этой статье разберем архитектуру решения, которое позволяет автоматизировать процесс отклика, используя подходы RPA (Robotic Process Automation), мимикрию под поведение пользователя (Human Mimicry) и LLM для обхода смысловых фильтров. (Дисклеймер: Статья носит исследовательский характер. Мы не призываем нарушать правила площадок, а разбираем технические методы эмуляции браузера).

https://habr.com/ru/articles/983318/

#Искусственный_интеллект #RPA #Playwright #Selenium #Парсинг #AntiFraud #Fingerprinting #Web_Scraping #LLM #Автоматизация_рутины

Автоматизация рутины на hh.ru: Как мы учили Headless Chrome притворяться живым человеком (RPA против Anti-Fraud)

С инженерной точки зрения поиск работы — это процесс с низкой энтропией. Есть входящий поток данных (JSON с вакансиями) и есть необходимость отправить ответный сигнал (POST-запрос с откликом). Задача кажется тривиальной для автоматизации: написал парсер, настроил cron, пошел пить кофе. Однако, если вы попробуете автоматизировать отклики на крупных job-board платформах (особенно на hh.ru ) в 2026 году, вы столкнетесь с серьезным противодействием. WAF (Web Application Firewall), анализ TLS-отпечатков, поведенческая биометрия и теневые баны — это реальность, которая убивает скрипты на requests за пару часов. В этой статье разберем архитектуру решения, которое позволяет автоматизировать процесс отклика, используя подходы RPA (Robotic Process Automation), мимикрию под поведение пользователя (Human Mimicry) и LLM для обхода смысловых фильтров. (Дисклеймер: Статья носит исследовательский характер. Мы не призываем нарушать правила площадок, а разбираем технические методы эмуляции браузера).

https://habr.com/ru/articles/983318/

#Искусственный_интеллект #RPA #Playwright #Selenium #Парсинг #AntiFraud #Fingerprinting #Web_Scraping #LLM #Автоматизация_рутины

Show HN: Tasker – An open-source desktop agent for browser and OS automation
https://automatewithtasker.com/
#ycombinator #browser_automation #AI_automation #web_scraping #workflow_automation #RPA #robotic_process_automation #desktop_app #productivity_tool

Show HN: Tasker – An open-source desktop agent for browser and OS automation
https://automatewithtasker.com/
#ycombinator #browser_automation #AI_automation #web_scraping #workflow_automation #RPA #robotic_process_automation #desktop_app #productivity_tool

Show HN: Tasker – An open-source desktop agent for browser and OS automation
https://automatewithtasker.com/
#ycombinator #browser_automation #AI_automation #web_scraping #workflow_automation #RPA #robotic_process_automation #desktop_app #productivity_tool

Show HN: Tasker – An open-source desktop agent for browser and OS automation
https://automatewithtasker.com/
#ycombinator #browser_automation #AI_automation #web_scraping #workflow_automation #RPA #robotic_process_automation #desktop_app #productivity_tool

Автоотклики на hh.ru своими руками: когда API закрыт, выручит эмуляция интерфейса (часть 1)

Рынок найма IT-специалистов в России, кажется, реально «сломался» под натиском автоматизации. Соискатели массово вооружились нейросетями: автогенерация резюме, шаблонные сопроводительные письма и скрипты, которые пачками откликаются на вакансии. В ответ работодатели подкручивают фильтры, ATS и чат-ботов для первичного отбора — по сути, соискатели штурмуют рынок ИИ-откликами, а работодатели отбиваются ИИ-фильтрами. Флоу превращается в «битву двух ИИ», где люди — где-то рядом, иногда даже живые. ( Habr ) Доходит до абсурда: HR пишет кандидату «Вы откликались на вакансию…», а кандидат отвечает «Это не я, это робот откликнулся». И вроде бы смешно, но рекрутеру — не всегда. ( Сетка ) Решение hh.ru : с 15 декабря 2025 закрыли публичный API для соискателей. Старый добрый автоотклик через API (когда сервисы отправляли отклики «по кнопке» программно) — всё, приехали. Теперь, чтобы автоматизация продолжала жить, приходится возвращаться в «ручной режим 2.0»: парсить HTML, эмулировать браузер и нажимать кнопки так, будто вы — очень мотивированный человек с бесконечным терпением.

https://habr.com/ru/articles/981764/

#Карьера_в_ITиндустрии #web_scraping #парсинг_html #поиск_работы #отклик_на_вакансии #playwright #python #автоматизация #отклики

Автоотклики на hh.ru своими руками: когда API закрыт, выручит эмуляция интерфейса (часть 1)

Рынок найма IT-специалистов в России, кажется, реально «сломался» под натиском автоматизации. Соискатели массово вооружились нейросетями: автогенерация резюме, шаблонные сопроводительные письма и скрипты, которые пачками откликаются на вакансии. В ответ работодатели подкручивают фильтры, ATS и чат-ботов для первичного отбора — по сути, соискатели штурмуют рынок ИИ-откликами, а работодатели отбиваются ИИ-фильтрами. Флоу превращается в «битву двух ИИ», где люди — где-то рядом, иногда даже живые. ( Habr ) Доходит до абсурда: HR пишет кандидату «Вы откликались на вакансию…», а кандидат отвечает «Это не я, это робот откликнулся». И вроде бы смешно, но рекрутеру — не всегда. ( Сетка ) Решение hh.ru : с 15 декабря 2025 закрыли публичный API для соискателей. Старый добрый автоотклик через API (когда сервисы отправляли отклики «по кнопке» программно) — всё, приехали. Теперь, чтобы автоматизация продолжала жить, приходится возвращаться в «ручной режим 2.0»: парсить HTML, эмулировать браузер и нажимать кнопки так, будто вы — очень мотивированный человек с бесконечным терпением.

https://habr.com/ru/articles/981764/

#Карьера_в_ITиндустрии #web_scraping #парсинг_html #поиск_работы #отклик_на_вакансии #playwright #python #автоматизация #отклики

Автоотклики на hh.ru своими руками: когда API закрыт, выручит эмуляция интерфейса (часть 1)

Рынок найма IT-специалистов в России, кажется, реально «сломался» под натиском автоматизации. Соискатели массово вооружились нейросетями: автогенерация резюме, шаблонные сопроводительные письма и скрипты, которые пачками откликаются на вакансии. В ответ работодатели подкручивают фильтры, ATS и чат-ботов для первичного отбора — по сути, соискатели штурмуют рынок ИИ-откликами, а работодатели отбиваются ИИ-фильтрами. Флоу превращается в «битву двух ИИ», где люди — где-то рядом, иногда даже живые. ( Habr ) Доходит до абсурда: HR пишет кандидату «Вы откликались на вакансию…», а кандидат отвечает «Это не я, это робот откликнулся». И вроде бы смешно, но рекрутеру — не всегда. ( Сетка ) Решение hh.ru : с 15 декабря 2025 закрыли публичный API для соискателей. Старый добрый автоотклик через API (когда сервисы отправляли отклики «по кнопке» программно) — всё, приехали. Теперь, чтобы автоматизация продолжала жить, приходится возвращаться в «ручной режим 2.0»: парсить HTML, эмулировать браузер и нажимать кнопки так, будто вы — очень мотивированный человек с бесконечным терпением.

https://habr.com/ru/articles/981764/

#Карьера_в_ITиндустрии #web_scraping #парсинг_html #поиск_работы #отклик_на_вакансии #playwright #python #автоматизация #отклики

Автоотклики на hh.ru своими руками: когда API закрыт, выручит эмуляция интерфейса (часть 1)

Рынок найма IT-специалистов в России, кажется, реально «сломался» под натиском автоматизации. Соискатели массово вооружились нейросетями: автогенерация резюме, шаблонные сопроводительные письма и скрипты, которые пачками откликаются на вакансии. В ответ работодатели подкручивают фильтры, ATS и чат-ботов для первичного отбора — по сути, соискатели штурмуют рынок ИИ-откликами, а работодатели отбиваются ИИ-фильтрами. Флоу превращается в «битву двух ИИ», где люди — где-то рядом, иногда даже живые. ( Habr ) Доходит до абсурда: HR пишет кандидату «Вы откликались на вакансию…», а кандидат отвечает «Это не я, это робот откликнулся». И вроде бы смешно, но рекрутеру — не всегда. ( Сетка ) Решение hh.ru : с 15 декабря 2025 закрыли публичный API для соискателей. Старый добрый автоотклик через API (когда сервисы отправляли отклики «по кнопке» программно) — всё, приехали. Теперь, чтобы автоматизация продолжала жить, приходится возвращаться в «ручной режим 2.0»: парсить HTML, эмулировать браузер и нажимать кнопки так, будто вы — очень мотивированный человек с бесконечным терпением.

https://habr.com/ru/articles/981764/

#Карьера_в_ITиндустрии #web_scraping #парсинг_html #поиск_работы #отклик_на_вакансии #playwright #python #автоматизация #отклики

Обзор рынка Rotating Residential proxy — осень 2024

Ссылка на полный обзор с графиками Доброго времени суток, меня зовут Григорий, мне интересны сетевые технологии, производительность и добыча данных в public internet. Хочу поделиться исследованием, которое я недавно закончил для локации US. Несколько базовых терминов активно используемых в индустрии: GEO filler - описание локации в которой прокси сервис будет искать устройства. Target - целевой ресурс, с которым мы работаем через Proxy. Latency - в этом исследовании я использую 90 квантиль TTFB(от старта до получения первого байта от Target). Residential IPs - адреса принадлежащие настоящим пользвательским устройствам: TV присатвкам, телефонам, лептопам, домашним роутерам через которые осуществляется доступ в public internet. Tech SR(Technical Success Rate) - кол-во запросов с успешными ответами на уровне L7(Application layer) делить на общее кол-во запросов. Сразу к выводам(TL; DR)

https://habr.com/ru/articles/864586/

#proxy #web_scraping #analysis #benchmark

Insights from over 10,000 comments on "Ask HN: Who Is Hiring" using GPT-4o
https://tamerc.com/posts/ask-hn-who-is-hiring/
#ycombinator #Natural_Language_Processing #Data_Science #Large_Language_Models #Web_Scraping

Анализ системы защиты от ботов на примере letu.ru

Анализ системы защиты сайта от ботов на примере letu.ru с использованием javascript reverse engineering.

https://habr.com/ru/articles/787706/

#Javascript #reverseengineering #web_scraping