#kicrawler — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #kicrawler, aggregated by home.social.
-
@kaffeeringe das hatte ich auch schon, ebenfalls der Hinweis, per htaccess einfach gewisse/die meisten IP Netze zu sperren.
Was ich aber nicht verstehe: wenn so ein KI Bot eine Website "abgrast" sollte das doch mit einem Aufruf pro Seite erledigt sein. Wozu müssen die das 10.000e Male machen? Oder ist diese Technik des Einlesens einfach genauso schlecht und unausgereift, wie die Ausgaben?
#KIBot #KICrawler #AIBot #AICrawler #AICrawlers #AI -
Hat jemand Tipps wie ich ein Wordpress mit Podlove Publisher gegen #KiCrawler abgedichtet bekomme? Nachdem sowohl HTTP-Header und robots.txt missachtet werden und es halt auffälliger wird wenn der komplette Podcast Bestand runtergeladen wird von Chrome.
#AiCrawler -
Nachdem Creative Commons (CC) Anfang des Jahres ein Rahmenwerk für ein offenes KI-Ökosystem angekündigt hatte, spricht sich die gemeinnützige Organisation nun für die „Pay-to-Crawl“-Technologie aus, ein System zur automatisierten Vergütung von Website-Inhalten beim Zugriff beispielsweise durch KI-Webcrawler und erklärt, sie stehe Pay-to-Crawl-Systemen nun „vorsichtig positiv“ gegenüber.
#creativecommons #cc #ki #kicrawler #aiwebcrawlers #paytocrawl
-
Die HTML-Bombe ist eine neuartige Verteidigung gegen KI-Crawler. Sie bläht eine Seite auf über 10 GB auf und lässt Bots abstürzen. Ein kreatives Mittel gegen unerwünschtes Crawling.
https://polente.de/2025/08/22/die-html-bombe-digitale-abwehr-gegen-ki-crawler/
-
Websites beginnen, ihre Inhalte gezielt gegen #KI-Crawler zu vergiften: Statt echten Infos bekommen sie Fake-Daten. Kochseiten liefern absurde Rezepte – für Menschen unsichtbar, für #Ai tödlich.
-
Ja, doch schon jetzt werden täglich mehr & immer bessere #KICrawler eingesetzt, die auch Archive durchstöbern. Die Dimension der #Zeit wird immer mächtiger…