#crawling — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #crawling, aggregated by home.social.
-
FYI: PatronView blocks Amazon's AI crawler after 117,000 daily page reads: Anthropic's crawler hit a 35,000 to 1 crawl ratio, and CAPTCHA solve rates measured just 0.24%. The findings show why small operators are locking down servers. https://ppc.land/patronview-blocks-amazons-ai-crawler-after-117-000-daily-page-reads/ #AI #WebSecurity #DataPrivacy #Crawling #CAPTCHA
-
FYI: PatronView blocks Amazon's AI crawler after 117,000 daily page reads: Anthropic's crawler hit a 35,000 to 1 crawl ratio, and CAPTCHA solve rates measured just 0.24%. The findings show why small operators are locking down servers. https://ppc.land/patronview-blocks-amazons-ai-crawler-after-117-000-daily-page-reads/ #AI #WebSecurity #DataPrivacy #Crawling #CAPTCHA
-
Go-juggler и протокол Juggler
ИИ-агентам нужно ходить по настоящему вебу. Но настоящий веб враждебен к автоматизации: Playwright блокируют, headless-версия Chrome палится по отпечаткам, а стелс-плагины просто становятся частью отпечатка. Если вы когда-нибудь писали скраперы или инструменты для агентов, вы знаете, как это бывает - всё работает локально, а потом продакшен разваливается за Cloudflare-челленджем. Несколько проектов пытались решить эту проблему со стороны браузера. Проект https://camoufox.com патчит Firefox на уровне C++, так что navigator.hardwareConcurrency, WebGL-рендереры, AudioContext, геометрия экрана и WebRTC подменяются ещё до того, как JavaScript их увидит. Браузер https://github.com/jo-inc/camofox-browser оборачивает этот движок в REST API, заточенный под агентов: снимки доступности вместо раздутого HTML, стабильные ссылки на элементы для кликов и изоляция сессий. Остаётся только одна дыра: инструментарий вокруг этой экосистемы завязан на JavaScript/Python. Если вы живёте в Go - а весь стек Go-агентов, взорвавшийся за последние пару лет, весомый аргумент в его пользу - вам оставалось писать сырые вызовы curl. Пакет https://github.com/yvv4git/go-juggler исправляет это. Это Go-клиент для протокола автоматизации Juggler (того самого, который патчит и расширяет Camoufox) под лицензией MIT. Он управляет Firefox/Camoufox из Go с единственной зависимостью и чистым, слоистым API.
-
CW: Lewd fantasy - He Debases Me
#erotica #humiliation #crawling #debasement #Domination #submissive
“If you check in my bag, you’ll find something special,” he said.
Curiosity piqued, I began to rise. His hands shot out, pressing down on my shoulders, and he made a negating noise.
“Crawl,” he said.
Uhh.
1/6
-
CW: Lewd fantasy - He Debases Me
#erotica #humiliation #crawling #debasement #Domination #submissive
“If you check in my bag, you’ll find something special,” he said.
Curiosity piqued, I began to rise. His hands shot out, pressing down on my shoulders, and he made a negating noise.
“Crawl,” he said.
Uhh.
1/6
-
🕸️ us/crw
A fast web scraper, crawler and search API with MCP server for AI agents, Firecrawl-compatible and self-hostable
⭐ Stars: 511
📅 Last Update: Aug 02, 2026#selfhosted #homelab #selfhost #selfhosting #opensource #webscraping #crawling
-
FYI: Cloudflare ties AI payouts to citations as 50% of crawls waste: Ceramic.ai and You.com will now pay publishers per query result, not per page fetch, since over half of good-bot crawls only re-fetch pages that never changed. https://ppc.land/cloudflare-ties-ai-payouts-to-citations-as-50-of-crawls-waste/ #Cloudflare #AI #Crawling #CeramicAI #YouDotCom
-
FYI: Cloudflare ties AI payouts to citations as 50% of crawls waste: Ceramic.ai and You.com will now pay publishers per query result, not per page fetch, since over half of good-bot crawls only re-fetch pages that never changed. https://ppc.land/cloudflare-ties-ai-payouts-to-citations-as-50-of-crawls-waste/ #Cloudflare #AI #Crawling #CeramicAI #YouDotCom
-
Crawling BitTorrent DHTs for Fun and Profit [pdf]
https://www.usenix.org/legacy/event/woot10/tech/full_papers/Wolchok.pdf
#HackerNews #Crawling #BitTorrent #DHTs #Fun #Profit #BitTorrent #DHTs #Research
-
Crawling BitTorrent DHTs for Fun and Profit [pdf]
https://www.usenix.org/legacy/event/woot10/tech/full_papers/Wolchok.pdf
#HackerNews #Crawling #BitTorrent #DHTs #Fun #Profit #BitTorrent #DHTs #Research
-
Seiten über 2 MB HTML werden von Googlebot bei 2 MB abgeschnitten. 🪚
Eine Marken-Übersichtsseite, die ich auditiert hab: 3,8 MB reines HTML. Alles ab der Hälfte – Markenlinks, interne Links, strukturierte Daten – erreicht den Crawler nicht.
Prüfen: HTML-Quellcode-Größe der größten Seiten. Nicht Seitengewicht gesamt, nur das HTML.
-
Seiten über 2 MB HTML werden von Googlebot bei 2 MB abgeschnitten. 🪚
Eine Marken-Übersichtsseite, die ich auditiert hab: 3,8 MB reines HTML. Alles ab der Hälfte – Markenlinks, interne Links, strukturierte Daten – erreicht den Crawler nicht.
Prüfen: HTML-Quellcode-Größe der größten Seiten. Nicht Seitengewicht gesamt, nur das HTML.
-
Beyond robots.txt: Implementing ai.txt and llms.txt for Purpose-Based Scraping Control, by (not on Mastodon or Bluesky):
-
Beyond robots.txt: Implementing ai.txt and llms.txt for Purpose-Based Scraping Control, by (not on Mastodon or Bluesky):
-
Amazonbot is finally respecting robots.txt
https://xeiaso.net/notes/2026/amazonbot-respecting-robots-txt/
#HackerNews #Amazonbot #robots #txt #web #crawling #tech #news
-
Amazonbot is finally respecting robots.txt
https://xeiaso.net/notes/2026/amazonbot-respecting-robots-txt/
#HackerNews #Amazonbot #robots #txt #web #crawling #tech #news
-
Scopri il testo della canzone “Crawling” di Linkin Park
#LinkinPark #Crawling
https://daletra.online/linkin-park/testi/crawling.html -
Смотрите, я сделал поиск по новостям
Привет! У многих разработчиков есть периоды, когда хочется сделать гениальный пет проект на 300кк в наносекунду. Весеннее обострение не обошло меня стороной, и мне захотелось сделать свой Palantir. На момент старта я еще не до конца понимал, что хочу сделать, но было видение и вдохновление - большего, обычно, не нужно - даже свободное отобранное время находится само по себе. Вернемся к проблеме: а что мы делаем, и, естественно, второстепенный вопрос, - зачем? Вдохновившись видео про завайбкоженный палантир , у меня появилась первый тезис - "Хочу получить полную картину об интересующем событии". Это уже дает некие очертания - какой-то сервис, который соберет за меня релевантную информацию и предоставит удобный отчет. /cut Что этот безумец натворил читать в ...
-
Standing Up Now Illegal After Snake Fossil Discovery
Nation forced to crawl. Developers rush to build flat apartments.
-
Standing Up Now Illegal After Snake Fossil Discovery
Nation forced to crawl. Developers rush to build flat apartments.
-
Lyrics for the song “Crawling” by Linkin Park
#LinkinPark #Crawling
https://daletra.com/linkin-park/lyrics/crawling.html
