home.social

#kicrawler — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #kicrawler, aggregated by home.social.

  1. Hat jemand Tipps wie ich ein Wordpress mit Podlove Publisher gegen #KiCrawler abgedichtet bekomme? Nachdem sowohl HTTP-Header und robots.txt missachtet werden und es halt auffälliger wird wenn der komplette Podcast Bestand runtergeladen wird von Chrome.
    #AiCrawler

  2. Hat jemand Tipps wie ich ein Wordpress mit Podlove Publisher gegen #KiCrawler abgedichtet bekomme? Nachdem sowohl HTTP-Header und robots.txt missachtet werden und es halt auffälliger wird wenn der komplette Podcast Bestand runtergeladen wird von Chrome.
    #AiCrawler

  3. Hat jemand Tipps wie ich ein Wordpress mit Podlove Publisher gegen #KiCrawler abgedichtet bekomme? Nachdem sowohl HTTP-Header und robots.txt missachtet werden und es halt auffälliger wird wenn der komplette Podcast Bestand runtergeladen wird von Chrome.
    #AiCrawler

  4. Hat jemand Tipps wie ich ein Wordpress mit Podlove Publisher gegen #KiCrawler abgedichtet bekomme? Nachdem sowohl HTTP-Header und robots.txt missachtet werden und es halt auffälliger wird wenn der komplette Podcast Bestand runtergeladen wird von Chrome.
    #AiCrawler

  5. Hat jemand Tipps wie ich ein Wordpress mit Podlove Publisher gegen #KiCrawler abgedichtet bekomme? Nachdem sowohl HTTP-Header und robots.txt missachtet werden und es halt auffälliger wird wenn der komplette Podcast Bestand runtergeladen wird von Chrome.
    #AiCrawler

  6. Die HTML-Bombe ist eine neuartige Verteidigung gegen KI-Crawler. Sie bläht eine Seite auf über 10 GB auf und lässt Bots abstürzen. Ein kreatives Mittel gegen unerwünschtes Crawling.

    https://polente.de/2025/08/22/die-html-bombe-digitale-abwehr-gegen-ki-crawler/